如果你使用过 ChatGPT、Claude、Perplexity 或其他 AI 平台，那么你实际上是在使用大型语言模型（LLM）。但鲜为人知的是，这些大型语言模型其实可以在本地电脑上运行。这样做的主要好处是可以离线使用，且隐私性更强，因为你的数据不会被上传到云端供他人分析或查看。
此外，你无需支付任何 AI 公司的月费订阅，也不会受到使用次数的限制。许多大型语言模型都可以免费下载，包括 Meta 和 Google 等大公司的产品。虽然这些本地模型通常没有付费应用中的模型那么先进或快速，但它们足够满足日常使用需求，而且你可以根据需要自由选择。
当然，本地运行需要更多维护工作，比如你需要自己处理更新，失去了一些直接打开 ChatGPT 应用的便利性。但你会拥有一个更个性化、更私密的 AI 系统，且入门并不复杂。
运行本地大型语言模型所需条件
本地 LLM 可以在 Windows、macOS 和 Linux 上运行，不过 macOS 通常是 AI 爱好者的首选平台。Mac 设备的系统更统一且一致，且 Apple Silicon 芯片将 CPU、GPU 和内存集成在一起，这对 AI 模型非常友好。
无论选择哪个平台，充足的内存都很重要。最低要求是 8GB RAM，但如果只有这个配置，运行的模型大小和速度都会受到限制。16GB 更理想，想要运行最大、最快的模型则需要 32GB 或更多。为了获得最佳效果，配备独立显卡且显存（VRAM）充足（8GB 以上）非常关键，因为显存专门优化了 AI 模型所需的计算任务。
Windows 用户配备 Nvidia 独立显卡会有很大帮助：显卡比普通处理器更适合运行 AI 任务，这也是 Nvidia 与 AI 热潮紧密相关的原因之一。独立显卡自带显存，为 AI 模型提供额外的“思考空间”。
虽然没有严格的“最低配置”要求，但尽可能多的内存和独立显卡肯定会提升体验。你还需要一个软件来运行模型（作为界面），以及模型本身。市面上有很多选择，可以根据需求自由搭配。
对于初学者来说，LM Studio Bionic 通常被认为是 Windows 和 macOS 上最好的 AI 应用，且免费。其他受欢迎且可靠的选择包括 vLLM、Llama.cpp、Ollama 和 GPT4All，这些软件也支持多种操作系统，但相对技术性更强。
选择好 AI 应用后，接下来就是选定一个大型语言模型。上述软件通常会推荐一些模型，此外还有在线模型库，最著名的是 Hugging Face，拥有超过 300 万个模型可供选择。
本地 LLM 设置示例
本地 LLM 的设置方式多种多样，这里以 Windows 上的 LM Studio Bionic 为例，介绍基本流程。首先从官网下载并安装 LM Studio Bionic，启动后点击“创建项目”，为你的第一个项目命名。
打开一个空白对话窗口，点击提示框中的“选择模型”，然后选择“获取本地模型”，即可进入 LM Studio Bionic 的模型选择界面。每个模型都会显示大小、受欢迎程度和一些详细信息。你可以关注“编辑推荐”来挑选入门模型。较小的模型功能稍弱，但下载更快，占用空间更少。
回到聊天界面，操作类似普通 AI 聊天机器人应用。底部提示框可以切换不同的 AI 模型（如果安装了多个），提示框左侧有“+”号图标，用于提交图片和文件（如果当前模型支持）。
界面左侧是导航栏，可以在不同项目间切换。左下角的“设置”链接进入偏好设置界面，你可以自定义软件的多种功能，比如删除聊天的处理方式和界面元素。
在设置中点击“库”管理已有模型，或通过“探索”菜单查找新模型。如果需要支持图片和文档，建议选择多模态模型（虽然它们基于 LLM，但通常也被称为 LLM）。
界面右侧的侧边栏可以通过右上角按钮显示或隐藏，提供更多文件管理选项，并允许程序访问电脑文件系统（如有需要）。
