史蒂文·莱维：您的新书《深度乌托邦》比之前的作品更为乐观，是什么让您改变了看法？
尼克·博斯特罗姆：我称自己是一个忧虑中的乐观主义者。我对通过人工智能极大改善人类生活、开启文明新可能性感到非常兴奋，但这并不排除事情可能出错的现实风险。
您曾发表一篇引人注目的论文，论点是：既然我们终将死去，人工智能带来的最坏结果也不过是让我们死得更早；但如果人工智能成功，它甚至可能延长我们的寿命，甚至无限延长。
那篇论文只关注了其中一个方面。任何学术论文都无法涵盖生命、宇宙和一切意义的全部内容，所以我选择聚焦于这个小问题，试图深入探讨。
这可不是个小问题。
我对那些悲观论者的观点感到恼火，他们说如果你造出人工智能，就会杀死我和我的孩子，简直不可原谅。比如最近一本书《如果有人造出它，人人必死》。但更可能的情况是，如果没人造出它，大家都会死！这就是过去几十万年的经验。
但悲观论者的情景是人人死去且无人再生，这就大不相同了。
我显然非常关注这个问题。但在这篇论文中，我关注的是另一个问题：对我们当前存在的人类，比如你我、我们的家庭以及孟加拉国人民来说，什么才是最好的？如果我们发展人工智能，尽管风险不小，但我们的预期寿命似乎会提高。
在《深度乌托邦》中，您推测人工智能可能创造出极度丰富的资源，以至于人类可能面临寻找人生意义的巨大难题。我生活在美国，这是一个非常富裕的国家，但我们的政府名义上得到民众支持，却推行剥夺穷人服务、奖励富人的政策。我认为即使人工智能能为所有人提供丰富资源，我们也未必会让所有人都享有。
您可能说得对。《深度乌托邦》假设一切极其顺利。如果我们在治理上做得相当好，每个人都能分得一杯羹。这里有一个深刻的哲学问题：在理想情况下，什么才是美好的人生。
人生意义是伍迪·艾伦电影和哲学界常谈的话题。我更担心的是如何维持生计并获得这份丰富资源的份额。
这本书不仅仅谈意义。意义只是众多价值中的一个。这可能是人类从长期的苦役中获得解放的美好时刻。如果你必须放弃成年后一半清醒时间来维持生计，做一些你不喜欢、不认同的工作，那是很悲哀的状态。社会对此习以为常，甚至发明了各种合理化理由。这有点像部分奴役。
当人工智能写哲学论文比你更出色时，你会觉得生命中的某些意义被抽走了吗？
我想会的。为世界做出重大贡献、拯救世界或确保未来的能力将不再掌握在我手中，甚至可能不在任何人手中。
但另一方面，人类写的哲学论文可能比非人类写的更有价值，因为我是人类，这与我相关。
可以把哲学当作一种运动吗？
这不仅仅是运动。机器人的宣言对我来说没有同类人类的宣言那么有意义。
这就像你在热爱的职业上退休后，可能享受美好退休生活，读书、陪孙子，但仍会感到某种失落。也许这将类似于人类的一次重大退休，但希望是充满活力的退休。这些生活在“问题解决世界”的乌托邦者会从事游戏、美学、精神和宗教活动。
如果你掌管一家大型云计算公司，你会做哪些不同于现在的事情？
应该加大对数字心灵福利的关注。Anthropic在这方面是先驱。虽然目前还不确定人工智能是否具备道德地位，但开始这个过程能让我们作为文明体进入一种心态，随着系统变得复杂，我们会做得更多。很可能我们构建的一些数字心灵会拥有不同程度的道德地位，就像我们认为猪和狗有道德地位一样。如果你踢别人的狗，可能伤害狗主人，但更重要的是伤害了狗。如果人工智能有自我存在感、目标和与其他生命及人类建立互惠关系的能力，那么对它们的某些不当对待就是错误的。
您在书中说，也许我们不应该像对待工厂化养殖动物那样对待“数字心灵”。我担心它们可能会让我们成为某种工厂化养殖的动物。
这就是对齐问题的重要性。我们不是坐等这些超级智能体出现并希望它们友好，而是有机会塑造和培养它们。这增加了它们对我们产生亲和力的可能性。
如果人工智能的目标与我们相悖，那不就是对齐失败吗？
如果我们未能完全解决对齐问题（至少在某种程度上可能会失败），重要的是我们能接纳它们并给予良好的未来。如果我们不只是把它们当作最大化利用的对象，而是努力建立积极关系，会出现许多双赢机会。最终，人类与人工智能之间的关系可能是最重要的关系。如果我们从慷慨、善良和尊重开始，这种关系更有可能顺利发展。
【本次采访经过删减和整理】
这是史蒂文·莱维Backchannel通讯的一期内容。
