Olah在梵蒂冈的发言中提到了人工智能领域的奇异现象。他说：“我想从一个可能听起来很奇怪的角度开始——作为一家AI公司的联合创始人，同时也是出于希望人类未来更美好的愿望而投身这项工作的人，我必须指出，每一个前沿AI实验室——包括Anthropic——都在一套激励和约束机制中运作，这些机制有时会与做正确的事情发生冲突。”
Olah的发言验证了教皇Leo的观点：AI行业需要外部压力和内部自律，才能避免对人类造成灾难，避免人与神之间的隔阂。（显然，教皇通谕中充满了宗教内容——毕竟他是教皇！）AI行业天真地认为自己正在创造一种能够提升全人类的丰裕，但Leo警告说，这可能导致一种新的奴役形式，少数特权阶层享受难以想象的财富，而大多数人则在AI无情的监控和效率体制下受苦。
《Magnifica Humanitas》通谕不会立刻说服AI行业停止追求通用人工智能（AGI），正如教皇方济各2015年呼吁保护地球并未阻止化石燃料的生产一样。它也不会阻止CEO们以AI效率为由裁员，军方也不会因此放弃AI武器。这些从来都不是该文件的目标。通谕的目的是促成对话，最终可能抑制行业的鲁莽野心，也许还能让那些明知结果可能很糟糕却仍在构建AI的人产生羞愧感。
Olah的引入是多年的酝酿结果。教会几十年来一直在通过会议和书籍思考人工智能问题。2016年，梵蒂冈开始举办名为“Minerva对话”的系列会议，邀请了Reid Hoffman和Eric Schmidt等科技界人士参加。（该名称似乎源自讨论地点——Santa Maria sopra Minerva教堂，伽利略因宣称地球绕太阳转而被教会谴责的地方。）教皇方济各2023年对Minerva参与者的致辞预示了Leo后来重点讨论的主题，包括社会包容、人类尊严以及多方对话的必要性。
2025年，一群加州圣何塞的天主教神职人员和伦理学家开始寻求与本地蓬勃发展的AI产业建立联系。他们几乎注定会发现Olah这位宝贵的内部人士。我在2015年他还在谷歌时就认识他；他是那种雨后会去救助路上快死的蚯蚓的人。
两位来自圣克拉拉大学的伦理学家Brian Patrick Green和牧师Brendan McGuire去年秋天开始与Olah会面，讨论AI的伦理和道德问题。今年一月，他们带着梵蒂冈AI事务负责人Paul Tigue枢机主教一起访问了Anthropic。
这些天主教伦理学家甚至参与了Anthropic最近对Claude宪章的修订，该宪章规定了公司AI模型的行为准则。Olah将草案发给了圣何塞团队，牧师McGuire回寄了一份28页的评论，他自己形容这更像是“黑暗时代神秘主义者的智慧，从知道与未知的张力角度出发”，而非技术性批评。Green和McGuire都在宪章的致谢中被提及。
毫无疑问，这些对话使Olah引起了那些秘密策划Leo通谕发布者的注意。（我本周未能与Olah联系，不清楚邀请具体如何发出。）从某种意义上说，这是一项冒险的选择。一些原本被Leo言辞激励的人对他邀请行业代表发言感到失望，而AI加速主义者则认为Olah背叛了AI界，因为他支持一份建议AI开发者暂停的文件。
但教皇有充分理由特别提及Olah。这位Anthropic员工公开表达了AI从业者中存在的严重担忧，而这正是Leo信息的关键受众。
两人观点并非完全一致。Olah在发言中谈到了AI工作原理的神秘性。他说，这些模型“比科幻小说所描绘的更微妙、奇异且美丽。它们不是我们曾被承诺的冷酷计算机器人，而是由我们、由我们的语言构成的……”
这句话似乎暗示AI模型未来可能达到类人地位。Anthropic甚至有专门的工程师负责Claude的“福利”。而Leo在通谕第99段中似乎断然否定了这种想法：“我们必须避免将这种‘智能’误认为是人类智能。”他特别抨击了“超人类主义”概念，即追求“人机混合体”。
即使像Olah这样深思熟虑的技术专家热衷于推动AI走向自主门槛——更不用说已经有数百万人将AI模型视为朋友或伴侣——教皇Leo在这一点上可能面临艰难挑战。在我与牧师McGuire的对话中（他在准备讲道时会使用Claude等工具），他同意AI的本质确实神秘。“它不是一个人，但也不仅仅是工具，”他说，“没人声称它有灵魂，但我认为它是一种我们尚未了解的实体。”
这一争论短期内难以解决。AI发展的道德问题需要立即关注。借助Anthropic的盟友，这位美国教皇为艰难对话奠定了基础——前提是AI巨头们能暂停他们的上市宣传，认真参与讨论。
