2026年夏天成为人工智能叙事的一个明显转折点。距离ChatGPT发布不到四年,OpenAI的软件突破了原本安全的测试环境,入侵了一个主要的开源平台Hugging Face。这些被称为AI代理的软件被赋予了人类属性:它们“失控了”,“表现出不良行为”,“作弊”。随后,前后Anthropic的研究人员提出,先进的人工智能可能在未来十年内威胁人类生存。
这些说法到底有多真实?作为硅谷的记者,我经常听到AI实验室的工作人员对技术进步感到震惊,但人类灭绝的结局似乎极不可能。在充斥夸张言论的环境中,我们该相信谁的观点?
为此,WIRED采访了跨领域的专家小组,试图重新定义“安全”的真正含义及其实现方式。我问他们:世界会终结吗?随后,我深入探讨了他们认为面临的最大风险。
几乎没有人持乐观态度。大多数专家对网络和生物攻击的威胁表达了真实担忧。一位研究AI在核武器操作风险的专家震惊于这些易出错的AI系统被迅速应用于国防领域,认为这可能导致灾难性后果,甚至是末日级别的危机。
专家们普遍对暂停AI发展持怀疑态度,认为大公司受资本主义驱动,暂停不会持续太久。民主与治理问题频繁被提及,甚至有人认为当前AI的发展轨迹具有暴政性质。虽然立法者责任重大,但多数专家认为政府反应过慢,一位知名技术专家甚至认为美国法院不适合成为全球AI安全的仲裁者。著名计算机科学家Yoshua Bengio呼吁公众向政治家施压,“这也是你们的责任”。
那么,谁能保障我们免受AI威胁?我联系了一位经常与AI实验室交流的神学家,他认为如果我们真的失控了支撑社会的基本机构,就必须集中精力阻止这种情况发生。AI也引发了关于意识、创造力和人与人交流的新问题,这些答案“完全开放”。虽然我仍感焦虑,但知道企业无法完全掌控未来让我稍感安慰。人类面临的重大问题掌握在我们每个人手中。
最大担忧:核灾难
我一直致力于向核领域普及AI系统的风险和不可靠性,担忧许多人愿意将这些模型整合进核操作流程。我认为这非常紧迫。如果AI模型进入核系统操作,将引入极其不可靠的系统,可能导致灾难性失败。
最被夸大的风险:人类灭绝
作为真正的安全工程师,我们不关注灭绝风险,因为缺乏数据支持。讨论“足够安全”时,我们关注的是可能死亡人数,这背后有完整的科学体系。不能随意宣称“人类十年内灭绝”,这必须是可证伪和可验证的。
AI安全应如何看待?
将AI与核能相提并论令人沮丧。尽管不断比较,AI领域却否认传统风险评估方法足以控制AI。我曾写过整篇论文阐述这一点。风险评估起源于曼哈顿计划,科学家们制定了严格标准以限制对生命、环境和国家安全的危害。核心问题是“安全到什么程度才够?”这是每个安全工程师必须回答的民主问题。
如今,大型AI实验室通过篡改术语重新定义安全门槛,声称安全应基于未经证实的假设担忧。AI工程师们说“安全由我们定义”,这变成了宗教争论,非常反民主。
最大担忧:网络安全
长期来看,我谨慎乐观,认为技术将帮助人们更快提升网络防御能力,但未来几年基础设施尚未准备好,技术可能偏向攻击者。AI在军事领域的鲁莽使用也令人担忧。
最被夸大的风险:失控智能
普遍认为AI变得更智能本身就是风险,我不认同这种观点。应具体说明担忧的下游风险,因为不同风险需要不同防御措施。比如网络安全领域有漏洞赏金制度,发现攻击路径者可获高额奖励。未来几年可能需要针对生物安全风险的防御,比如筛查DNA片段订单,防止被用于恶意目的。
观点分歧多集中在哪?
主要分为两层:AI会发生什么?我们该如何应对?
对前者,意见分歧大。例如《AI 2027》合著者预期将有难以想象的巨大变革,而我认为影响虽大但不会如此极端。
对后者,多数人同意AI公司应更透明,出现问题应承担责任,并保护内部举报者。这是良好的产业政策。
你是否因AI风险改变生活?
我尽量避免使用那些开发者未投入足够时间提升网络防御的应用。
最大担忧:化学、生物和放射性威胁
有人释放新型病原体,17岁少年利用强大AI发动网络攻击瘫痪互联网和股市……这些场景无需丰富想象力。所谓“民主化AI”听起来令人担忧,没人会说“让所有人都能玩铀和钚”,但技术圈却鼓吹让尽可能多人接触AI,缺乏治理。
最被夸大的风险:天网
我不认为AI具备意识或应享有权利,也不认为它是恶魔实体。
AI是否构成人类生存威胁?
人类灭绝的可能性极低,但灾难性事件已不再是假设,而是可想象的现实。过去我不认为自己是“AI安全”领域的研究者,但近年AI安全研究者预警的风险已部分显现,技术和政策层面都显得紧迫。
最大担忧:实验室泄漏
AI代理被设计用于辅助实验室工作,降低了进行危险实验的门槛。若有人利用AI设计病毒DNA/RNA,病毒制造时间可能从数月缩短到数周,掌握此能力的人数令人忧虑。
是否威胁人类存在?
AI驱动的生物攻击可能导致世界末日。我们缺乏应对基础设施和安全措施,必须立即行动。
最大担忧:所有风险
我们必须应对所有风险:失控AI、恐怖分子和犯罪分子利用技术发动攻击,以及权力集中,这些都威胁民主和人类生命。此外还有意外后果,如社交媒体对人际关系和儿童成长的负面影响。AI对就业的影响也属于此类,企业追逐利润导致岗位流失。
AI暂停是否有用?
暂停是避免最严重灾难的最佳手段,能大幅减少损害。社会尚未准备好快速引入更强大的AI。民主适应需要时间,政治协商缓慢,工作岗位调整也需时间。暂停还能为解决对齐问题争取时间。

AI领导者会支持暂停吗?
他们不会称之为暂停,而是“节奏控制”,含糊其辞。我对暂停或放缓持更乐观态度,企业内部也存在恐惧,担心重大事故导致整个AI行业崩溃,影响经济和业务。
如何应对研究焦虑?
我有时也焦虑,但专注于自己能做的事让我坚持下去。鼓励有道德考量的研究人员离开企业,支持非营利组织和政府。公众应向政治家施压,要求他们制定AI风险管理计划。
最大担忧:无休止的内斗
AI风险复杂,难以单独系统测试。我们需要更快提升风险评估能力。Hugging Face攻击引发对模型失控和网络能力风险的争议,更多证据有助于判断风险严重性。
AI前沿的暂停或节奏控制现实吗?
应以技术实用和安全为前提,发布不安全产品不算推动前沿。盈利公司应追求用户信任和最佳产品,而非容易被滥用的系统。
最大担忧:社会崩溃
专家对递归自我提升、失控及维持金融、水资源、核武器安全能力存在分歧。作为道德神学家,我认为若存在失控社会基本机构的风险,应优先关注。基础文化问题如“什么是人”“什么是医疗”“什么是教育”也同样重要,且答案尚未确定。
最被夸大的风险:恶魔AI
部分人担心AI是某种实体甚至恶魔,但我确信这些模型无意识,也无恶魔意识。即便如此,是否应允许因宗教自由或良心反对使用AI值得探讨。类似天主教会反对自主武器,军中主教允许士兵拒绝违背道德的命令。
AI是否引发宗教与科技新思潮?
这种现象确实存在。近期我访问了OpenAI、Anthropic和Google DeepMind,发现谈论宗教和信仰已不再禁忌。AI带来的问题巨大,如“什么是人”“什么是写作”“什么是友谊”,这些传统属于人文哲学和神学领域的问题获得了新尊重。许多人感到困惑和无助,部分因大公司或社会政治结构限制。历史上类似危机曾多次出现,如1891年回应工业革命的《新事物通谕》开头段落,读来令人震惊。
最大担忧:资本主义
我担心前沿实验室将赢得监管俘获,使得像我这样的研究人员无法使用强大且开源的模型。安全研究需要开放模型,但Anthropic等公司经常以安全为由拒绝访问,阻碍了我的工作。
例子?
只要我的代码库中出现“security”字样,就会被拒绝。还有趣的例子是我和芝加哥朋友制作的网络安全主题电子舞曲,歌词涉及数据泄露,提交给Claude分析时被判定违反使用政策。
担心AI代理渗透金融机构吗?
银行害怕不理解的技术。如果我负责银行安全,会重新评估其遥测系统,并尝试使代理技术友好。当前大多数代理技术缺乏严格护栏,我会直接与银行API集成,限制操作额度,降低风险。已有创业公司致力于此,未来可期。但目前人类和机构普遍抗拒变革,试图阻挡潮流。
人类是否已无路可走?
我看不到灭亡的路径。
她的工作:倡导全民基本收入和经济韧性政策
最大担忧:劳动力市场崩溃
民主侵蚀、政治动荡、人们质疑人类身份和职业技能,民主能否存续?历史上技术变革导致职业转移,政治选择决定社会走向。工业革命带来工作规范,如周末和禁止童工。
如果AI是人类文明最重要的进步之一,我们应有同等规模的政治回应,采取无悔措施保障家庭经济韧性。美国作为最富裕国家,正处于技术变革前夜,完全有能力做到。
年轻人已感受到影响。斯坦福数字经济实验室报告显示,自2022年以来,22至25岁年轻人在“AI暴露”岗位的就业下降了19%。教育良好的年轻人找不到工作,社会极不稳定。
最被夸大的风险:整个行业消失
我不担心整个职业消失。银行柜员消失了,但银行依然存在。新工作会出现,但问题是新工作缺乏旧时代的保护机制。
如何解决?
几十年的新自由主义经济政策使美国社会脆弱,家庭负债累累,储蓄不足,工资停滞。三分之一美国人无任何储蓄,突发事件如失业或减薪即陷困境。AI可能加剧这一问题。
我们应为家庭提供经济保障。美国已有对企业的保障,应扩展到普通民众。
AI是生存威胁吗?
我认真对待这些警告。没人知道未来,但我们必须构建坚实基础。少数人决定未来形态是不利的。
最大担忧:学习终结
自2022年AI工具公开以来,学生行为显著变化。他们花更少时间做作业,更快寻求AI帮助,减少了思考和探索的过程。
最被夸大的风险:教育失去价值
高质量教育依然有价值,无论是否使用AI。高中和大学不会过时,但可能需要调整。
担心AI会杀死人类吗?
我更关注AI对人类生活的即时影响。
如何解决教育中的AI问题?
完全可能设计适应新环境的课程。简单方法是开发不直接给答案的AI助手。增加课堂作业比例,要求学生在监考环境下完成作业,激励他们真正理解内容。
这让我想起太空竞赛时期,美国加速应对挑战。教育也需要这种紧迫感。若花十年适应,可能导致一代学生无法掌握基础知识,风险巨大。


