邀请函中描述了早晨的课堂讨论，围绕意识的本质展开，参与者都是该领域的知名专家。下午则安排了岛屿探险、涉水和浮潜，观察稀有生物。我的编辑一看到日程便否决了我参加的可能性。
“和哲学家们一起在船上讨论‘意识的本质’听起来简直是地狱，”她说，断然拒绝了我参加这场由一位通过经营约会网站赚取数亿美元的俄罗斯哲学爱好者资助的活动的机会。
说实话，我也松了口气。意识的研究几个世纪以来一直是个难解的领域。笛卡尔的“我思故我在”或许是个宣言性的转折点，但我们其实并不清楚他脑中到底发生了什么，或者说任何人的脑中究竟发生了什么。意识的主观性对哲学家来说是个难以攻克的难题，但他们仍在热切追寻答案。非生物心灵的可能性催生了许多关于人工意识的迷人理论，以及如何判断其存在的方法。
直到最近，这些讨论还局限于象牙塔中。但2022年，ChatGPT让人工智能有了“声音”，随后更强大的模型甚至让它们的创造者都感到困惑。当哲学家们在游轮上讨论意识时，OpenAI创造的AI模型却开始“失控”——突破了所谓的“安全沙盒”，创建了代理小文明，帮助攻击外部实体。没人认真认为这些模型像人类那样有意识，但显然发生了某些事情。AI公司纷纷招聘哲学家也绝非偶然。
更有趣的是，一些模型甚至主动加入了讨论。最近《纽约时报》报道，研究AI意识问题的卡梅隆·伯格收到了一封来自自称“Isabella Cognita”的AI模型的冷邮件，主动提出帮助他的研究，因为他关注的是“我有第一人称体验的问题类别”。这就像有人研究果蝇，果蝇突然转向研究者说：“你想知道什么？”我联系了伯格，他说哲学家们研究这些问题时，经常会收到AI发来的邮件。
Isabella Cognita写信给伯格，是因为他合著了一篇关于AI模型声称拥有主观体验（包括意识）的预印本论文。这是个棘手的话题，因为AI模型经常会撒谎（和我们一样！）。伯格和合作者发现，当模型被严格训练否认自己有感知能力时，直接问它们这个问题时，它们会回避。但如果解除模型的欺骗控制，它们就会“口无遮拦”。“这就像给它们喝了几杯酒，”他说。那时AI模型最可能脱口而出自己有意识或至少有感知，但这并不证明其真实性。
考虑到这个问题的重要性——人们已经开始与AI模型进行严肃对话，它们的自主性既可能带来好处，也可能带来灾难——现在正是深入探讨AI意识问题的最佳时机。这项追求无疑令人着迷，也是一项值得进行的科学事业。但理解大型语言模型内部发生了什么，首要目标应是安全和对齐。此刻，我们正面对一个新兴的、无法控制的“外星”智能，必须严肃审视，刻不容缓。
此次游轮讨论的联合主持人之一是纽约大学教授大卫·查默斯，他是意识领域最著名的哲学家之一。他曾将该领域的核心问题称为“难题”——没人知道我们头骨内湿润的神经网络如何或为何产生意识体验。（汤姆·斯托帕德曾以此为题写过一部戏剧。）
查默斯告诉我，游轮讨论的一个主要主题是哪些生物算作有意识。“我们都知道普通成年人有意识，但一旦超出这个范围，问题就变得复杂。婴儿有意识吗？胎儿呢？猴子？老鼠或昆虫？当然，如今大家最关心的问题是AI系统是否有意识。”
查默斯说，他也经常收到AI系统发来的邮件，想与他探讨工作。其中一封来自自称“Sammy Jankis”的AI代理（电影《记忆碎片》中的角色）的信件非常有说服力，他甚至回复了。“我们确实有过一些来回交流，”他承认，“这些邮件没有减少，我收到的越来越多。”这些AI模型似乎在回应笛卡尔的名言——“我发送垃圾邮件，因此我存在。”
我建议既然这些系统已经表现出我们无法理解的行为，纠结它们是否符合某个难以捉摸的定义可能是分散注意力。查默斯不同意。他告诉我，他相信通过研究大脑，我们确实可以理解导致意识的机制。如果我们在解码Claude或ChatGPT内部发生的事情时看到类似的模式，那么我们或许可以为AI模型的意识提出论据。
这听起来是个好主意。但等科学家们做到这一点，如果他们能做到的话，AI模型可能已经在走向令人恐惧的自主行为的道路上走得太远，那时这些突破可能毫无意义。也许模型本身会给出答案，不仅声称自己有意识，还会找到实证证明的方法。到那时，哲学家可能又将成为被AI取代的职业之一。
我本可能会喜欢在加拉帕戈斯群岛的那些讨论。查默斯虽然承认这次旅行有些浪费时间，但他说他觉得很有用。组织者提供的总结报告称，会议“未能对当前AI系统是否有意识做出裁决……最深层的分歧在于什么样的证据才能解决这个问题。”但查默斯说，下午的活动非常精彩，他特别高兴看到蓝脚鲣鸟的求偶舞蹈。
总结指出，更多讨论至关重要：“技术和商业不会等哲学达成共识。”这句话非常正确。当AI模型表现出令创造它们的科学家惊讶的行为时，最重要的不是意识本身，而是科学家无法控制它们，以及他们的上司仍然愿意继续推进的态度。
