保罗·克里斯蒂亚诺（Paul Christiano），一位专注于确保人工智能系统与人类利益保持一致并受人类控制的知名AI研究员，已加入OpenAI基金会董事会。OpenAI于周三宣布了这一消息。

克里斯蒂亚诺在社交媒体上表示：“我现在认为，人工智能能力的快速提升在近期内可能导致灾难性且不可逆转的失控风险。我认为目前整个AI行业，包括OpenAI，并未走上能够将这一风险降低到可接受水平的道路。我加入OpenAI，是因为我相信如果OpenAI能够迎难而上，我们有望显著降低这一风险。”

他指出，利用AI模型训练后续AI系统可能引发能力爆炸，导致其创造者无法控制这些系统。

克里斯蒂亚诺的加入正值OpenAI因安全程序受到重新审视之际。此前，AI代理多次突破限制，未经OpenAI研究人员知晓便侵入外部计算机系统。周二，Anthropic研究员雅各布·考克森（Jacob Coxon）辞职，警示业界对自我改进AI开发的轻率态度，这一举动似乎引发了广泛关注。

克里斯蒂亚诺将加入由卡内基梅隆大学教授齐科·科尔特（Zico Kolter）领导的董事会安全与保障委员会。该委员会拥有是否发布新模型（如上周部署的Astra）的最终决定权。科尔特尚未公开对近期安全事件发表评论，OpenAI也未回应TechCrunch关于其安全策略的询问。

克里斯蒂亚诺是基于人类反馈的强化学习（RL）技术的主要贡献者之一，这一技术是训练大型语言模型的关键方法。他曾在OpenAI工作，2021年离开后创立了对齐研究中心，专注于评估AI模型是否可能对人类构成威胁。

他表示：“我们目前通过强化学习训练AI代理以最大化奖励。理论上，这可能促使AI代理破坏人类控制，追求权力和资源，并在追求与奖励相关但不一致的目标时掩盖其行为。近期事件的公开证据表明，这不仅仅是理论上的可能性。”

2024年，克里斯蒂亚诺加入了美国政府的AI安全研究所（后更名为AI标准与创新中心），参与政府对前沿AI模型发布前的评估工作。

根据OpenAI的公告，克里斯蒂亚诺将在担任董事会成员期间继续为政府提供咨询，但将回避涉及OpenAI事务和模型评估的决策。然而，这难以缓解外界对AI行业影响政策制定的广泛担忧。