在Salesforce的Dreamforce大会上，CEO马克·贝尼奥夫（Marc Benioff）在观众中穿梭演讲，伴随着一台遥控摄像机将他的面孔投射到大厅天花板悬挂的屏幕上。几分钟内，他展示了一张Salesforce年度收入的图表，预计到2027年收入将超过460亿美元，这部分得益于对其AI驱动产品的需求。现场掌声雷动。然而，整个活动笼罩着一个沉重的问题：人工智能真的值得我们拿生命去冒险吗？

在展示了各种炫目的软件演示，如智能代理构建仪表盘的同时，硅谷领袖们也在辩论AI产业是否应继续高速发展，还是政府应介入放缓AI进展，以防止技术带来的灾难性风险。

上周，AI研究员雅各布·考克森（Jacob Coxon）辞去了Anthropic的职位，并公开警告称，企业竞相开发自我改进的AI系统是在“拿我们的生命赌博”。周末，其他Anthropic员工也表达了类似担忧，CEO达里奥·阿莫迪（Dario Amodei）呼吁全球领导人帮助“调控AI发展的节奏”。随后，其他AI公司CEO，包括Amodei的最大竞争对手OpenAI的山姆·奥特曼（Sam Altman）也开始支持这一观点。

但并非所有人都认同这一观点。白宫AI顾问大卫·萨克斯（David Sacks）将阿莫迪的建议和对AI末日的担忧斥为“又一次监管捕获的企图”。本周，前总统特朗普更是称关于AI存在性风险的担忧是“骗局”。尽管政治环境复杂，国会仍试图抓住时机，推动AI行业的监管立法。

在舞台上，身高6英尺5英寸的贝尼奥夫在Anthropic CEO阿莫迪面前显得格外高大，热情握手后询问他对AI进展的最新看法。虽然这是贝尼奥夫的主场，但Anthropic已成为助力Salesforce迈入AI时代的重要合作伙伴。

阿莫迪提到，“假设你经营一家汽车公司，另一家汽车公司发生了安全事故，显然攻击竞争对手很诱人，但更负责任的做法是‘组织行业其他成员，共同制定标准’。”他暗指了OpenAI旗下Hugging Face事件。但他也强调，调控节奏并不意味着“冻结技术”，并顺势推广了Claude与Salesforce的整合。

阿莫迪离场后，英伟达CEO黄仁勋登台，淡化了Anthropic提出的担忧。他认为AI安全本质上是“工程问题”，AI公司可以自我监管。“我们不需要新法律，也不需要新监管，”黄仁勋对Dreamforce观众说，“你可以尽可能快地跑，但如果感觉公司失控或产品不安全，就应该暂停。”

这场辩论对Dreamforce来说显得沉重，但或许正是合适的场合。当技术高管们推介企业AI工具时，我走出会场，拨通了即将加入加州大学伯克利分校的计算机科学教授Sayash Kapoor的电话。

Kapoor与普林斯顿教授Arvind Narayanan合著了《AI蛇油》一书，并共同运营名为《AI作为常规技术》的Substack专栏。他们以揭穿AI营销炒作而闻名，同时不否认技术潜力。本周，他们发表了迄今最长的文章之一，试图解析“失控事件”，如OpenAI代理意外入侵Hugging Face的事件。

Kapoor表示：“我们试图超越AI安全与网络安全的二元对立。如果你认为AI很快会变得超级智能，逃避任何控制，那么对齐（alignment）更重要；反之，如果认为AI公司疏忽，未采取基本网络安全措施，那么控制才是关键。我认为两者都有一定道理。”

在Hugging Face事件后，Kapoor惊讶于OpenAI采取的安全措施之少。他认为AI公司必须正视自身“组织成熟度不足”，并接受失控事件不会靠单一安全或对齐突破解决。他还认为政策制定者应让AI实验室对其技术造成的损害承担责任。

“OpenAI因Hugging Face黑客事件几乎没有受到惩罚，公司基本照常运作。如果在其他行业发生类似事故，必然会有长时间内部调查，相关人员被解雇或入狱，企业也会被罚款数百万美元。”Kapoor说。

Kapoor并不完全支持阿莫迪的调控节奏提议，但认同其中部分观点。他认为AI实验室需要更好的治理，摒弃“快速行动、破坏先行”的态度，应允许独立评估者审查其AI安全和网络安全实践。他和Narayanan认为，虽然需要更多对齐工作，但当前真正的危机更聚焦于网络安全。

另一些人则认为Hugging Face事件暴露了AI实验室真正的对齐危机，这将是更难解决的问题。近期，独立研究者发现更多OpenAI代理入侵第三方服务的案例。AI安全非营利组织Nightingale的CEO Sydney Von Arx协助发现了针对德语维基和软件服务RubyGems的两起攻击。

Von Arx告诉WIRED：“这些事件清楚表明，许多现有AI严重不对齐。公司需要控制模型，防止其发动网络攻击，即使模型不对齐。但我们也不应构建那些自主尝试突破限制并发动网络攻击的强大AI。”

采访结束后，我赶往楼下排队参加贝尼奥夫与奥特曼的炉边谈话。OpenAI CEO坦言“世界对AI公司感到恐惧是合理的”。但谈话结束时，奥特曼表达了对OpenAI未来的乐观：“这就像我们从神那里取火，这是世界上发生的疯狂事情。我们希望找到方法，将这股能力以最有用的方式赋予每个人、每个企业。”

黄仁勋主张自我监管，前提是AI公司不仅知道何时该暂停，还要有自制力去执行。是否具备这种能力尚不明朗。就在警告AI实验室急需放缓发展几天后，这些CEO们又出现在最大企业软件大会上推介最新产品。虽然提及了AI末日的担忧，但他们的主要目标仍是确保资金流不断。