一位科学家在众人面前展示他的最新研究成果时，遭遇了意想不到的尴尬。天体物理学家兼科学传播者保罗·萨特（Paul Sutter）分享了他的一段亲身经历，揭示了生成式人工智能（AI）在科研中的潜在风险。
今年二月，萨特在一场汇报会上向合作伙伴们介绍了他改进的“空洞检测算法”，该算法用于识别星系间的空旷区域。新版本不仅速度提升了十倍，还能更复杂地处理真实数据中的各种问题，且能够应对规模大百倍的调查数据。萨特强调，这一进步部分得益于他大量借助AI辅助编写代码的“情感编码”技术，他称其为“不可或缺”。
然而，演讲进行到十分钟时，一位同事提出算法在处理调查边缘数据时存在问题。萨特后来承认，这并非简单的笔误或引用错误，而是一个非常微妙但严重的错误，导致后续所有结果都不准确。更令人尴尬的是，他是在一群信任他的同行面前分享了这份有缺陷的工作。
萨特的经历生动地反映出，许多科研人员在使用AI工具时未能充分警惕，甚至在学术界的高端领域也难以避免AI带来的误导。科学界正面临一场关于AI生成内容的严峻考验，学者们必须对自己发表的每一份研究成果负责，包括那些可能由AI“幻觉”引发的错误。
萨特指出，尽管AI编码工具表现得像是“理解”了任务，但它们本质上只是复杂的下一个词预测器。正如他所说，语言模型的流畅性并非偶然，而是人类有意培养的特质，就像人类驯化狼变成会看着我们手中零食袋的狗一样。
他提出了一个关键问题：“我们如何使用一个有时会出错但总是让人满意的工具？我们如何信任AI？”他的答案是：“简单来说，就是不要盲目信任。”
萨特将当前对AI的广泛使用比作炼金术，这是古代“前科学家”的实践。他认为我们正处于AI的“前化学时代”，虽然炼金炉尚未打开，但我们不会停止使用它。
为了追求真理，萨特强调必须仔细追踪AI的推理链条，审查其每一个输出。经历了这次尴尬事件后，他承诺今后会以不同的方式工作，随时准备对AI的任何结论保持怀疑态度。
这则故事提醒我们，即使是最有才华的思想家，也容易被AI的魅力所诱惑。值得注意的是，当我们将萨特为《Nautilus》撰写的最新文章输入AI检测工具Pangram时，结果显示有56%的内容可能由AI生成，尽管该工具并不完美。
更多关于AI幻觉的内容，请参考： 学术界因AI幻觉负全责，陷入混乱
