模型蒸馏示意图

近年来,AI领域频繁出现“小型模型却能达到过去大型模型性能”的话题。正如第24回中介绍的“参数”概念,大型AI虽然性能强大,但运行时需要大量内存和计算资源,甚至有些巨型模型无法在普通个人电脑上运行。

因此,“模型蒸馏”(又称知识蒸馏)技术应运而生,它通过让大型AI充当“老师”,指导小型AI“学生”进行学习和训练。

从“老师AI”到“学生AI”,传授智慧精华

“蒸馏”原指通过加热液体使其气化,再冷却提取精华的过程。在AI领域,模型蒸馏指的是将大型模型的核心能力提炼并传授给小型模型。

在这个过程中,大型模型称为“教师模型”,小型模型称为“学生模型”。可以把它比作考试备考,学生不必从头自学所有教材,而是跟随经验丰富的老师,通过老师提供的示范答案和讲解,高效掌握知识。

需要注意的是,学生模型并非简单复制老师模型的参数,而是通过观察老师模型对问题的回答和选项的评价,调整自身参数进行学习。

不仅仅是“正确答案是A”,学生模型还能学习到“B选项也接近正确,但哪里不同”的细微判断。近年来,还有通过老师模型生成的解题步骤作为教学内容的蒸馏方法。

例如,开发客服AI时,可以让教师模型回答各种问题,学生模型则以这些答案为学习样本,避免从零开始试错,更高效地掌握特定任务。

完成蒸馏后,通常无需每次调用庞大的教师模型,学生模型即可独立完成回答,显著降低使用时的计算负担。

小型但智能的AI带来的三大优势

第一,降低运营成本。用小型模型替代大型模型执行相同任务,可减少计算资源消耗和费用,同时提高响应速度。

第二,提升本地设备上的AI性能。与第14回介绍的“小型语言模型(SLM)”和第26回的“本地推理”相关,蒸馏是培养适合智能手机和个人电脑使用的小型AI的重要方法之一。

第三,继承特定能力。比如第5回提到的“推理模型”,通过学习其生成的解题方案和解释,提升小型模型在数学、编程等领域的表现。蒸馏不仅能传承全部知识,还能针对优势领域进行重点训练。

模型蒸馏应用示意

“老师”出错,“学生”也会犯错

当然,模型蒸馏并非万能。学生模型不一定能达到教师模型的全部性能,且可能继承教师模型的偏见、错误甚至幻觉(hallucination)。

此外,若使用其他公司的商用AI回答进行训练,需注意服务条款和授权限制。即使是公开模型,也需确认是否允许输出再利用和蒸馏。

蒸馏有时通过第12回介绍的“微调(Fine-tuning)”实现,而与通过减少数值表示精度来减轻模型负担的“量化”技术不同。

如今,AI并非“越大越好”。模型蒸馏技术让我们能将大型AI的智慧以合适的形式传递给小型AI,推动高性能AI在我们身边的设备和工作中广泛应用,具有重要意义。