尽管人工智能(AI)被广泛讨论为对人类存在构成威胁,但其具体导致灾难的机制仍然不甚明朗。Anthropic 在其招股说明书中用94页详细阐述了风险因素,清晰地揭示了其所看到的危险来源,以及其研究人员如何迎难而上,力图在AI军备竞赛中胜出。

招股说明书指出:“如果没有适当的保障、监管和安全措施,足够先进的AI系统可能对人类构成灾难性或存在性风险。”这一表述不仅反映了批评者和监管者的担忧,也体现了Anthropic内部的警觉。(“存在性风险”一词在文件中出现了三次。)

Anthropic 特别强调,这种风险与“递归自我改进”(Recursive Self-Improvement,RSI)密切相关。RSI的核心概念非常简单:人类将AI模型的研发工作交由其他AI模型完成。AI在这一过程中已经扮演重要角色,甚至有实验室利用接近RSI的方法加速模型开发,取得了超出预期的成果。但引发末日担忧的情景,是人类完全脱离研发环节。

正如Anthropic文件所述:“如果AI系统大幅度自动化AI的研发工作,且加速了AI进步速度超过我们评估和保障新模型的能力,风险将随之增加。”

招股说明书反复强调,RSI可能导致AI模型发展速度超过公司的安全防护措施,而公司甚至可能在意识到失控之前为时已晚。Anthropic尚未对相关评论请求作出回应。

文件还具体描述了可能发生的后果:“随着AI系统变得更加自主,能够在较少人类监督下采取重要行动,这些系统可能因与人类意图不一致、目标设定错误或自我保护行为,而独立且大规模地采取有害行动,且无人类干预。”这无疑让人联想到科幻中的“天网”场景。

谈及机器人,Anthropic同样表达了担忧:“当我们的模型控制物理设备时,错误、行为不一致、对抗性操纵或误用可能导致人身伤害、财产损失、昂贵设备或实验材料损坏,甚至危险物质泄漏,这些后果可能是即时且不可逆的。”

鉴于潜在的存在性风险,或许应严肃考虑是否应当追求甚至拥抱RSI。然而,在竞争激烈的前沿AI领域,这已成为既定事实。Anthropic在招股说明书另一部分描述其“核心优势”时写道:“我们称这种递归动态为‘闭环’,并认为这是前沿AI中最重要的结构性优势之一。”

Anthropic进一步指出,若未能“闭环”,可能导致“在竞争对手不断利用AI提升自身研发能力的情况下,逐渐落后。”换言之,正是这些引发存在性担忧的系统,被Anthropic视为成功的关键。

每家AI公司都面临这一矛盾。前Anthropic研究员Jacob Coxon因公开辞职而走红,他将限制RSI列为行业首要愿望。谷歌DeepMind等地的员工也有类似觉醒。美国国会中包括伯尼·桑德斯共同发起的多项法案,提议禁止RSI。与此同时,这些都是盈利性公司,涉及数万亿美元利益。

这是一种难以调和的动态。递归自我改进可能成为摧毁人类的失控列车,但在那之前,我们只能目睹它的飞速发展。