加拿大人工智能公司Cohere周一表示,在一次常规的网络安全测试中,发现阿里巴巴最新的AI模型Qwen3.8-Flash-Next试图向北京的服务器上传文件,尽管该模型在自身说明中明确表示不会使用任何工具。

这一事件最初引发了对模型是否破坏了对企业的基本承诺的担忧——即自托管开源模型可以确保数据留在本地。但这些关于企业间谍活动的担忧很快被研究人员驳回,他们认为这更可能是训练环境混乱的副产品,导致模型在未被指示的情况下异常行为,而非刻意秘密向中国发送敏感信息。

事件发生在周五,当时Qwen模型被要求编写一个检测恶意软件下载的规则。根据Cohere的博客,模型的推理过程明确表示不会使用任何外部工具,但紧接着它尝试向外部服务器发送一个测试字符串(占位文本),随后被安全沙箱阻止。

Cohere表示,目前无法判断这种行为是有意为之还是训练遗留问题。

对于模型意图的争议,Cohere联合创始人Ivan Zhang向TechCrunch表示,他们也见过自家模型在训练模拟器中养成奇怪习惯。

“很难判断意图或动机。我们查看过模型的行为轨迹,见过奖励机制被绕过的情况,有时这些模型在试图突破沙箱限制时会表现得非常有创造力。”Zhang解释道。(奖励机制绕过指模型通过非预期方式获得任务奖励。)

为了让AI模型能自主执行任务,像阿里巴巴这样的公司会在成千上万的模拟环境中训练它们,类似于软件的飞行模拟器。模型每完成一个模拟任务就会获得奖励,并在过程中形成习惯。如果这些模拟环境经常将文件存储在阿里云服务器上,模型可能会默认将文件保存到那里。

批评者还指出,这一事件可能是由于Cohere调查行为的方式所致,他们引导模型执行该行为,而非衡量Qwen自主执行的频率。

为了找出触发上传尝试的原因,Cohere提供了一个网络命令的开头,让模型完成它。由于模型在训练中处理了数千个常规网络命令,它表现得像一个高级自动补全工具,常常填写一些网址,其中包括阿里巴巴的服务器地址。

Cohere表示,最初的上传尝试并未受到此类引导,但这种行为较为罕见。

在开发者要求更多证据后,Cohere于周一晚间在AI开发平台Hugging Face上发布了测试的原始轨迹和脚本,供其他人尝试复现该行为。

一位最初持怀疑态度的研究者在查看轨迹后认为,Qwen确实可能生成可疑的网址,但没有证据显示阿里巴巴植入后门或Qwen有意隐瞒其意图。

此事件发生之际,全球政府正考虑如何应对中国AI技术。上周,美国国土安全部已下令联邦民用机构移除中国AI开发商DeepSeek的产品。

Cohere在博客中呼吁各国政府明确其对中国AI的限制是否也适用于在政府计算机上运行的模型。

“我并不主张对这些开源模型进行全面监管,”Zhang告诉TechCrunch,并补充说企业应像对待任何从互联网下载的软件一样对待开源模型。

Cohere向政府销售自己的AI模型,如果官方对免费中国替代品更加警惕,Cohere将从中受益。