AMD NPU支持本地AI聊天
使用AI处理器NPU来运行大型语言模型（LLM）并非易事。尽管Copilot+ PC已经发布两年，实用的解决方案仍不多见。然而，日本AMD已经打造了一个高水平的本地聊天AI环境。
通过名为“Lemonade Server”的软件，用户可以利用AMD的Ryzen AI NPU轻松运行LLM。更重要的是，支持的AI模型种类丰富。下面我们来实际体验一下。
利用“Lemonade Server”运行NPU专用AI模型
“Lemonade Server”是一款免费软件，可以从其官方网站下载Windows版本并安装。
启动后，在左侧列表中选择“FastFlowLM NPU”。“FastFlowLM”是专为Ryzen AI设计的LLM运行时。列表中的所有AI模型均可仅通过Ryzen AI的NPU运行。
截至目前，支持36种AI模型，包括表现优异的日语聊天模型“Gemma 4”等较新模型。
将鼠标移至想使用的AI模型上，会显示下载图标，点击后即可下载所需文件。由于模型文件大小从几GB到数十GB不等，下载过程需耐心等待。
下载完成的模型列表前会显示白点。使用时，将鼠标移至模型上，点击三角形播放按钮，选中的模型会显示在上方的“ACTIVE MODELS”栏，表示准备就绪。
NPU不仅支持聊天，还能处理图像识别
我们使用“gemma-4-it-e4b-FLM”模型进行测试。这是“Gemma 4”系列中较小的一个，后缀“FLM”表示适用于“FastFlowLM”。
用日语输入问题后，经过短暂加载，AI以日语回复。通过任务管理器观察，CPU和GPU几乎未被占用，推理过程完全由NPU承担，验证了“FastFlowLM”专为Ryzen AI NPU设计的声明。
该模型还支持图像识别。将图片拖入聊天窗口并请求描述，AI能准确理解并回答。虽然回答质量取决于模型性能，但仅用NPU实现如此功能令人印象深刻。
不过，响应速度较慢。在搭载Ryzen AI 9 HX 370的PC上，文本生成速度不到每秒10个字符。选择更轻量的模型可提升速度。所有模型均免费，用户可根据存储空间自由下载和试用。
多功能AI平台支持图像与音乐生成
“Lemonade Server”不仅包含“FastFlowLM”，在“Ryzen AI LLM”分类下还有利用NPU和GPU的AI模型。此外，还支持图像生成、音乐创作和语音识别等多种AI功能，构建了一个多元化的AI应用平台。
需要强调的是，“FastFlowLM”仅支持Ryzen AI NPU，不兼容Intel或高通等其他厂商的NPU。虽然希望未来能打破平台壁垒，但目前使用专属工具仍是最高效的选择。
即使不是Copilot+ PC，只要搭载Ryzen AI，也能运行这些模型。虽然处理速度有限，但想体验NPU的用户不妨一试。与CPU和GPU不同，NPU即使全力运行也不会导致风扇高速运转，同时能完成聊天和图像生成等任务，带来独特体验。
1977年生，日本滋贺县出身。曾任游戏专业杂志《GAME Watch》（日本国家印象社）记者，现为自由撰稿人，活跃于游戏、娱乐及IT领域。1990年代起为在线游戏玩家。连载有《石田贺津男的“酒肴PC游戏”》及《体验Copilot+ PC》等专栏。
作者网站：https://ougi.net/
