当我们使用ChatGPT或Gemini等生成型AI时，通常是通过互联网与远端的数据中心通信。我们发送问题，数据中心内的AI生成回答后再返回给我们。
然而，在处理公司机密或个人信息时，往往不希望将数据传输到外部。此时，“本地推理”技术便成为关注焦点。
即使没有网络连接，AI也能在本地设备运行
“推理”指的是将新数据输入已训练好的AI模型，进行计算以得出回答或预测的过程。
云端AI服务通常在服务提供商的服务器上完成这类计算。而本地推理则是在个人电脑、智能手机等设备上部署AI模型，利用设备的CPU、GPU或NPU进行处理。
例如，运行在电脑上的“本地大型语言模型（LLM）”可以在无网络环境下生成文本或回答问题。
本地推理不仅限于LLM，像手机拍摄的照片识别主体、语音转文字等AI功能，只要在设备内完成计算，也属于本地推理范畴。
本地推理已广泛应用于我们身边的智能手机
本地推理技术其实已经渗透到我们日常生活中，典型例子是智能手机摄像头的“图像识别”功能。
当手机摄像头对准狗或猫时，AI会分析图像并识别出拍摄对象。
如果是云端推理，拍摄的图片会通过互联网传送到服务器，由服务器上的AI进行分析，再将结果返回手机。
而本地推理则利用手机内置的CPU、GPU或NPU，在设备内部完成图像分析和识别，无需将图片发送到外部，也不依赖网络连接。
虽然图像识别与生成文本的LLM属于不同类型的AI，但它们都属于使用已训练模型进行推理的范畴。
当然，本地推理受限于设备的处理能力，对于复杂图像生成或大型AI模型处理，云端推理仍更为适合。
换言之，AI推理不必总在远端数据中心完成，根据需求和处理能力，也可以在本地设备上执行。
本地推理的安全性、成本和响应速度优势
本地推理有三大优势：
- 数据安全：无需将信息发送到外部，能在本地处理客户个人信息或未公开的源码（前提是设备本身具备安全防护）。
- 成本控制：避免了按使用量计费的API费用，虽然需要购买和维护设备，但长期看可降低开支。
- 低延迟：避免网络传输延迟，适合语音识别、图像识别、机器人控制等对响应速度要求高的场景。
当然，缺点是设备性能限制了可运行的AI模型规模和速度。
不过，随着开放权重模型的普及、小型高效AI模型的出现以及搭载NPU的电脑增多，普通电脑也越来越容易实现本地推理。
截至2026年10月，笔者使用配备32GB内存和Intel Core Ultra 7的笔记本电脑运行本地LLM。虽然性能无法与大型云端AI相比，但在轻量级文档检查和修改等场景下，完全能满足需求。
云端与本地推理的合理搭配
本地推理并非否定云端AI的价值。
对于需要使用大型模型完成复杂任务的情况，云端AI依然是首选。而处理不能外传的信息或需要不受网络限制的场景，则本地推理更合适。
此外，也可以根据需求结合使用：简单任务在本地完成，复杂任务交由云端处理。
在AI应用中，除了“让AI做什么”，还需考虑“在哪里计算”。本地推理技术为这一选择提供了更多可能。
