我曾问过AI：“你知道滑雪之歌的改编歌词吗？”并给出了歌词的开头：
“清晨四点半左右，提着便当盒，父亲的身影走出家门～♪”
然而，无论是哪个AI，都没能给出我预期中的歌词结尾：
“啊啊啊，闪耀着光芒，头脑是100瓦特～♪”
反而显示出一些奇怪且从未听过的歌词（笑）。这到底是AI的创作，还是AI确实存在这样的版本，我们无从考证……
AI“说谎”？这就是“幻觉”
随着以ChatGPT为代表的生成型AI普及，“幻觉（Hallucination）”这一词汇也变得常见。在AI领域，这指的是AI输出基于事实不准确、看似合理的错误信息或虚假内容。
例如，AI可能会自信地给出不存在的书名、错误的统计数据或虚构的历史事实。刚才提到的歌词如果是AI凭空创作的，也属于“幻觉”。这并非AI有意欺骗，而是其结构性特征导致的现象。
幻觉产生的原因——不知道的事情无法理解，因此会出错
为什么AI会产生幻觉？主要原因在于生成型AI的机制是“预测下一个最合适的词”。
AI会从大量学习数据中，依据上下文生成最自然的回应。即使学习数据中缺乏准确信息，或上下文模糊，AI也有强烈的“必须生成内容”的驱动力，结果就可能输出不真实的“捏造”信息。
此外，如果学习数据本身存在偏差或错误，或者用户的问题非常专业、冷门，超出AI知识范围，也会导致类似情况。
应对幻觉的措施——不可忽视事实核查
幻觉是生成型AI不可避免的特性之一，但采取一些措施可以降低风险。
最重要的是“不要盲目相信AI的输出”。尤其是涉及重要信息或专业内容时，务必通过网络搜索或可信信息源进行事实核查。
虽然AI非常便利，但养成“这是真的吗？”的质疑习惯，将变得越来越重要。技术层面上，针对幻觉的对策也在推进，如引入“RAG”“Grounding”等机制。
