Hinton、Bengio等联合中国专家达成AI安全共识：AI系统不应违反红线

现阶段，人工智能的发展速度已经超出了人们最初的预想，用 AI 工具写文章、编代码、生成图片、甚至是生成一段电影级别的视频…… 这些在以前看似非常艰难的任务，现在只需用户输入一句提示就可以了。

我们对AI所展现出的惊人效果感到惊叹，但同时也应该警惕其潜在的威胁。许多知名学者曾联名公开信，以此来应对AI所带来的挑战。

现在，AI 领域又一封重磅公开信出现了。上周在颐和园召开的「北京AI国际安全对话」，为中国和国际AI安全合作首次搭建了一个独特平台。这次会议由智源研究院发起，图灵奖得主Yoshua Bengio和智源学术顾问委员会主任张宏江担任共同主席，Geoffrey Hinton、Stuart Russell 、姚期智等三十余位中外技术专家、企业负责人开展了一次关于 AI Safety 的闭门讨论。这次会议达成了一项 Bengio、Hinton 与国内专家共同签名的《北京 AI 安全国际共识》。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

截至目前，已有专家确认署名，其中包括一些国外专家，可能还会有些增加；国内专家以个人名义署名，并不代表其所属机构。

• Yoshua Bengio 
• Geoffrey Hinton 
• Stuart Russell 
• Robert Trager 
• Toby Ord 
• Dawn Song
• Gillian Hadfield 
• Jade Leung 
• Max Tegmark 
• Lam Kwok Yan 
• Davidad Dalrymple 
• Dylan Hadfield-Menell 
• 姚期智 
• 傅莹 
• 张宏江 
• 张亚勤
• 薛澜 
• 黄铁军 
• 王仲远 
• 杨耀东 
• 曾毅 
• 李航
• 张鹏
• 田溯宁
• 田天

以下为达成的共识内容：

一、人工智能风险红线 

人工智能系统的开发、部署或使用存在安全隐患，有可能对人类造成灾难性甚至生存性风险。数字智能逐渐接近甚至超越人类智能，误用和失控所带来的风险也随之增加。在未来的某一时刻，我们可能会面临这些风险。

在过去冷战最激烈的时候，国际学术界与政府间的合作帮助避免了热核灾难。面对前所未有的技术，人类需要再次合作以避免其可能带来的灾难的发生。在这份共识声明中，我们提出了几条人工智能发展作为一种国际协作机制的具体红线，包括但不限于下列问题。在未来的国际对话中， 面对快速发展的人工智能技术及其广泛的社会影响，我们将继续完善对这些问题的探讨。 

自主复制或改进 

任何人工智能系统都不应能够在人类没有明确批准和协助的情况下复制或改进自身。这包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。

权力寻求 

任何人工智能系统都不能采取不当地增加其权力和影响力的行动。 

协助不良行为者 

所有人工智能系统都不应提升其使用者的能力使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约、或执行导致严重财务损失或同等伤害的网络攻击的领域专家的水平。 

欺骗 

任何人工智能系统都不能有持续引致其设计者或监管者误解其僭越任何前述红线的可能性或能力。 

二、路线 

确保这些红线不被僭越是可能做到的，但需要我们的共同努力：既要建立并改进治理机制，也要研发更多安全技术。 

治理 

我们需要全面的治理机制来确保开发或部署的系统不违反红线。我们应该立即实施针对超过特定计算或能力阈值的人工智能模型和训练行为的国家层面的注册要求。注册应确保政府能够了解其境内最先进的人工智能，并具备遏制危险模型分发和运营的手段。 

国家监管机构应帮助制定和采纳与全球对齐的要求以避免僭越这些红线。模型进入全球市场的权限应取决于国内法规是否基于国际审计达到国际标准，并有效防止了违反红线的系统的开发和部署。 

我们应采取措施防止最危险技术的扩散，同时确保广泛收获人工智能技术的价值。为此，我们应建立多边机构和协议，安全且包容地治理通用人工智能（AGI）发展，并设立执行机制，以确保红线不被僭越，共同利益得到广泛分享。 

测量与评估 

在这些红线被僭越的实质性风险出现之前，我们应开发全面的方法和技术来使这些红线具体化、防范工作可操作化。为了确保对红线的检测能够跟上快速发展的人工智能，我们应该发展人类监督下的红队测试和自动化模型评估。 

开发者有责任通过严格的评估、数学证明或定量保证来证明符合安全设计的人工智能系统未僭越红线。 

技术合作 

国际学术界必须共同合作，以应对高级人工智能系统带来的技术和社会挑战。我们鼓励建立更强大的全球技术网络，通过访问学者计划和组织深入的人工智能安全会议和研讨会，加速人工智能安全领域的研发和合作。支持这一领域的成长将需要更多资金：我们呼吁人工智能开发者和政府资助者至少将他们人工智能研发预算的三分之一投入到安全领域。 

三、总结 

避免人工智能导致的灾难性全球后果需要我们采取果断的行动。协同合作的技术研究与审慎的国际监管机制的结合可以缓解人工智能带来的大部分风险，并实现其诸多潜在价值。我们必须继续坚持并加强国际学术界和政府在安全方面的合作。 

# ai  # 人工智能  # 自动化  # agi  # 僭越  # 不应  # 不被  # 我们应该  # 快速发展  # 国内  # 北京  # 颐和园  # 热核  # 这一 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： AI产品经理：AI赋能与AI原生，未来PM的技能演进  看我如何用AI辅助写作，在10分钟内搞0. AI求职信写作避坑指南：千万别犯这几个错误  ChatGPT助力QA测试：提升效率与质量的终极指南  AI绘画工具怎么用_AI绘画工具使用方法详细指南【教程】  3步教你用AI将你的照片变成乐高积木风格  使用AI配乐：ElevenLabs Music音乐生成器终极指南  如何通过 DeepSeek 进行深度神经网络超参数搜索  如何用ChatGPT准备面试 模拟面试问答与职场话术练习教程  AI驱动保险代理：最佳保险 lead generation 公司与服务  Google NotebookLM：AI赋能的智能笔记与思维导图工具  AI写作避坑指南：小说家应避免的AI使用与创作技巧  AI赋能！图形设计师必备的顶级AI工具  使用双端队列（deque）解决字母字符串问题  tofai免费网页版入口 tofai官网手机版网站  ChatGPT背后的AI革命：OpenAI的崛起与Google的危机  数据集中化：提升AI效率，节省企业时间与成本的终极指南  AI代码助手的崛起：软件工程的未来展望与实用指南  机器学习赋能AI生产力工具：提升效率与智能决策  解读 Karan Aujla：如何用音乐连接全球与故土？  System of a Down：深度剖析《Hypnotize》歌词  百度AI助手官方入口 文心一言网页版登录入口  AI图像生成偏见：克服与优化，打造更真实的数字形象  文心一言辅助进行中文播客脚本起草教程  Logic Pro 11更新全面解析：免费升级、AI功能与音乐制作流程  百度AI对话助手入口 智能聊天机器人入口  AI客服工具：24/7全天候支持业务增长的秘密武器  怎么用AI学习新知识？3步教你构建个人知识库  AI 驱动的潜在客户生成：终极自动化指南  Descript音频编辑终极指南：技巧、AI工具与专业效果  Claude怎么用_Claude使用方法详细指南【教程】  精选AI销售工具：提升业绩的终极指南（2025年最新）  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  智行ai抢票怎样设置抢票通道_智行ai抢票通道选择与速度优化【指南】  千问AI赚钱指南：新手也能月入破万的实操路径解析！  AI vs. 人工书籍教练：哪个更适合你？终极指南  2025年冷邮件营销：技巧、工具和成功案例分享  Voice AI：下一代AI语音助手，重塑人机交互  谷歌 Gemini AI 助手详解：功能、应用与隐私设置  服务合同模板：起草、签署和管理指南，提升业务效率  Apollo.io vs Instantly AI：深度测评与功能对比  Jarvis AI终极指南：用AI快速撰写畅销亚马逊书籍  教你用AI一键为代码添加注释，小白也能读懂复杂程序  律师视角下的生成式AI：信息爆炸时代的法律实践与未来展望  AI女友：时尚穿搭与美丽瞬间的完美融合  热门科技新闻：BetterHelp、Photoshop AI、AMD CPU及NVIDIA显卡  解读Childish Gambino《This Is America》的深层含义与文化影响  即梦AI怎样生成产品描述_即梦AI产品描述生成与卖点提炼【实操】  AI工作流程详解：概念到生产的完整指南  构建卓越的AI驱动测试自动化框架：QA工程师指南  教你用AI将一段旋律扩展成一首完整的曲子 

 2024-03-19