在研究开源AI模型或阅读最新AI新闻时，经常会看到“9B”、“40B”或“数千亿参数”等词汇。很多人会觉得数字越大，AI越聪明，但究竟什么是参数呢？
AI模型中的“可调数值（权重和偏置）”
参数，简单来说，就是AI模型内部通过学习不断调整的数值，主要以“可调数值（权重和偏置）”的形式存在。
AI并非一开始就聪明，训练前模型内部的参数尚未调整到能给出正确答案的状态。通过输入大量文本，让模型预测“下一个词”，并根据预测与实际的差异，逐步调整内部数值。经过无数次这样的训练，形成了参数集合。
AI并不是简单地存储百科全书的内容，而是通过学习将语言使用方式和知识模式反映在大量数值中。
顺便提一下，在之前介绍的大规模语言模型（LLM）中，参数数量是衡量模型规模的重要指标之一。
参数就像“数十亿个调节旋钮”
可以把参数比作音响设备中的“调节旋钮”。音响通过调整多个旋钮来平衡音量和音质，AI则通过数十亿个参数进行计算，最终输出结果。
例如，模型名称中的“9B”表示约90亿个参数，“40B”则是约400亿个参数。想象90亿个旋钮，数量之庞大令人震惊。
这些数十亿个旋钮并非人工逐一调节，而是通过训练数据自动微调。训练完成后，模型便使用这些参数进行推理。
参数越多越好吗？
参数数量多的模型通常能表达更复杂的模式，但AI性能不仅由参数数量决定，还受训练数据质量、模型设计和训练方法等因素影响。
此外，模型越大，所需的内存和计算资源也越多，可能需要高性能GPU和大容量内存，影响推理速度、功耗和使用成本。
因此，小规模语言模型（SLM）受到关注。通过限定用途或改进训练方法，小模型也能展现出色性能。
最近还有像“MoE（专家混合）”这样的技术，只使用巨大模型中的部分参数进行计算，不能单纯通过总参数数比较AI速度和计算成本。
关注“是否适合用途”而非数字大小
参数数量是了解AI模型规模的便利指标，也能帮助估算所需计算资源。
无论是在PC或智能手机上流畅运行，还是利用云端大型计算机处理复杂任务，关键不是选择参数最多的模型，而是选择适合自己需求的规模。
当新闻中提到“○B模型”时，这个数字并非AI“脑袋”的大小，而是内部调节数值的数量指标，理解这一点会更清晰。
