今年春天，当美军飞机已在空中执行任务时，美国官员发现了一件令人震惊的事情：针对一艘中国船只的武装行动所依据的情报，竟是由AI聊天机器人产生的虚假信息。该行动在最后一刻被取消，险些避免了一场与中国的潜在冲突。

这一事件凸显了军方官员和外部专家日益关注的问题：随着决策者越来越依赖AI，这些系统产生的错误可能会在未被质疑的情况下传达到指挥链的上层。

当时流传的情报报告称，该船只携带核武器项目的组件。

这份虚假情报源自一名特种作战司令部的分析员，他使用AI聊天机器人将公开来源数据与机密信号情报合成。聊天机器人错误地识别了船只的货物清单。随后，该分析员再次使用该工具，将错误的发现整理成一份官方格式的摘要，并在指挥渠道中传播。

这次差点引发冲突的事件发生之际，美军正加速整合AI技术，以提升决策速度并保持对中国的优势。五角大楼称，AI显著加快了“杀伤链”的速度，使指挥官能够在适当时间做出反应。但正是这种速度，也可能在缺乏足够人工监督的情况下，导致AI产生幻觉。

GovAI研究学者、美国陆军退役军官Jake Steckler在接受采访时表示：“军人必须理解大型语言模型固有的不确定性，尤其是在可能导致使用武力的决策中，如目标选择、情报分析或作战计划。这些决策关系到生死。”

尽管如此，Steckler认为，这起事件应当促使人们为AI增加更多安全保障，而非回避使用。“这些工具在合适的场景和保障措施下非常有用。但如果只追求快速采用，可能会导致事故发生，进而使军人对这些系统失去信任，最终反而会拖慢AI的推广。”