OpenAI和Anthropic近期对第三方通过公开访问的聊天机器人和API训练新AI模型的行为展开了激烈反击,这种方法被称为“蒸馏”。

这场争论主要集中在中国公司利用蒸馏技术创建出几乎与美国产品同样强大的开源模型,但成本却低得多。然而,科技界普遍认为美国实验室之间也会采用这种技术,以免在竞争中落后。

现在我们至少知道了一个真实案例:在加州联邦法院的庭审中,埃隆·马斯克被问及xAI是否使用了OpenAI模型的蒸馏技术来训练Grok,他表示这是AI公司普遍采用的做法。当被追问是否意味着“是”时,他回答“部分是”。

马斯克目前正在起诉OpenAI及其CEO萨姆·奥特曼和Greg Brockman,指控他们背离了OpenAI最初的非营利使命,将其转变为营利性机构。该诉讼本周开庭,马斯克作为证人出庭作证。

马斯克的承认意义重大,因为蒸馏技术威胁到了AI巨头们通过投资计算基础设施建立的优势。这使得其他软件开发者能够以较低成本打造出几乎同等能力的模型。值得注意的是,前沿实验室在寻找足够训练数据的过程中,曾被指控弯曲甚至违反版权规则,这其中存在一定讽刺意味。

xAI成立于2023年,远晚于OpenAI,因此尝试借鉴当时行业领导者的经验也不足为奇。目前尚不明确蒸馏技术是否明确违法,但可能违反了公司为其产品用户设定的服务条款。

据报道,OpenAI、Anthropic和谷歌已通过前沿模型论坛发起一项合作,分享如何应对来自中国的蒸馏攻击。这些攻击通常涉及系统性地查询模型以了解其内部机制。为阻止此类行为,前沿实验室正努力防止用户进行可疑的大规模查询。

截至发稿时,OpenAI尚未对马斯克的承认作出回应。

在随后的证词中,马斯克被问及去年夏天他曾声称xAI很快将远超除谷歌外的任何公司。他对此进行了排名,认为Anthropic位居第一,随后是OpenAI、谷歌和中国的开源模型。他形容xAI是一家规模较小的公司,员工仅有几百人。