AI行业似乎正经历迄今为止最激烈的争论，焦点是其技术是否对人类构成生存威胁。

这场讨论始于AI研究员Jacob Coxon宣布辞去Anthropic职位，理由是他担心领先的AI公司在“拿我们的生命赌博”。随后，Anthropic的对齐负责人在社交媒体上表示：“我们真诚地相信AI可能会杀死所有人类！”他个人认为未来十年内这种可能性超过10%。

在TechCrunch的Equity播客最新一期中，Kirsten Korosec、Sean O’Kane和我讨论了这些末日警告。我表达了对许多AI末日论的怀疑，而Kirsten则提出疑问：这是否只是这些公司为了展示其AI模型的先进性而采取的一种奇怪炫耀方式，尤其是在它们准备上市之际？

Sean则好奇这些担忧会如何反映在Anthropic的IPO招股说明书（S-1文件）中：“现在是否有初级律师正在重写S-1文件的相关部分，明确表示Anthropic官方认为开发出可能消灭全人类的AI的概率超过10%，这对公司业务将产生重大不利影响？”

以下是我们对话的节选，经过编辑以便更清晰简洁。（注：录制时尚未发布Anthropic CEO Dario Amodei关于更谨慎AI开发的计划。）

Sean O’Kane: 很难想到有哪件事爆发得如此迅速。这次警告来自一位曾在OpenAI工作的年轻研究员Jacob Coxon，随后Anthropic的对齐负责人在社交平台上转发并强调：“我们真诚地相信AI可能会杀死所有人类！”这句带感叹号的话令人印象深刻。

这气氛很奇怪。此前OpenAI内部模型被Hugging Face黑客攻击，加上Anthropic和OpenAI最近发布的更强大模型，这些因素共同促成了这次爆炸性的言论。

Anthony Ha: 我不同意你的看法。如果你相信AI可能毁灭全人类，这确实值得用感叹号强调！我觉得那个感叹号用得恰当。

我对那条推文的疑问是“我们”指谁？AI社区能否被视为一个整体？至于“超过10%”的概率，这纯属臆测，没有任何科学依据。虽然我后来意识到这可能是指“P(doom)”的概念，但我仍觉得这数字很荒谬。

我对Coxon辞职的看法是，他把自己的职业道路和信念结合起来，真正表达了对AI潜在危险的担忧，并选择退出，这需要勇气。

Kirsten Korosec: 我把他和其他谈论AI危险的人区分开来。

我想提出一个猜测：每当我们看到越来越多关于AI代理意外突破或威胁人类安全的博客文章时，这是否是一种奇怪的炫耀，意在展示公司AI模型的先进程度？

听起来很愤世嫉俗，但这确实能达到炫耀的效果。如果模型不够先进，就不会有这些问题出现，这是一种奇怪的炫耀方式。

Anthony: 我也有类似想法，但我不认为这完全是有意的营销策略。很多研究员和CEO确实对AI的风险感到担忧。

当然，从商业角度来说，宣称自己开发了“最致命的软件”对公司有利。有人指出，个人层面上，人们倾向于认为自己所做的事情是最重要、最危险的。

Sean: 我觉得这些言论让人感觉这些公司在某些方面并未完全掌控AI，尤其是OpenAI。

我们不断听到关于内部代理访问网络百科并互相留言的报道，处理方式看起来并不专业。如果这只是为了让人相信他们开发了极其强大的AI，故事应该更精致。

另外，Anthropic距离IPO只有几周时间，我很想知道这些风险声明是否已经写入S-1文件，或者律师们是否正在紧急修改相关内容。

Kirsten: 你假设这些内容还没写进去。

Sean: 是的，我想知道是已经写好了还是正在紧急补充。我很期待看到这份文件，可能会比SpaceX的S-1更有趣，因为它涉及特定的风险因素。

Kirsten: 在传统投资环境下，这种风险声明可能会降低公司估值，因为它显得危险。但我们现在不在正常时代。

这反而可能成为公司估值的奇怪优势。虽然不完全像去年那种激怒炒作，但也属于同一类现象：能力强、潜在危险的东西往往估值更高。几周后我们就会见分晓。

抛开这些，问题是我们能做些什么？能控制AI的危险吗？非营利组织ControlAI的美国执行董事Connor Leahy本周在节目中谈到了这个话题。那么你们关注哪些控制AI危险的措施？还是我们只能无奈地看着事态发展？

Anthony: 我没有完美答案，但我思考过为什么我对末日论持怀疑态度。

正如Sean所说，这反映出大型AI公司感觉自己已经无法完全控制这些模型，这确实令人担忧。

我对末日论的抵触还因为它带有夸张的恐慌色彩，比如“未来十年内毁灭人类”，这会分散我们对AI带来的更直接危害的关注，比如对劳动市场、环境和气候的影响。

理想情况下，我们应该全面讨论这些问题，并制定相应的监管和保护措施。但一旦提到AGI和超级智能，这些词汇就会吸走所有关注，反而不利于理性讨论。