LM Studio Bionic界面

在当前的AI热潮中,大多数人提到的AI通常是以ChatGPT为代表的聊天型AI。而作为聊天AI的进阶形态,许多人可能听说过“AI代理”这一概念。

“LM Studio Bionic”是一款用于本地运行AI代理的工具。由日本Element Labs开发,该公司此前推出过“LM Studio”这一本地聊天AI工具。笔者长期使用该工具,评价极高,而“LM Studio Bionic”则是在此基础上,向AI代理功能迈进的一大步。

什么是AI代理?

对于从事工程技术工作的专业人士来说,聊天AI与AI代理的区别应该很清楚,但对非技术人员来说可能较难理解。简单来说,聊天AI是针对用户的提问进行回答,形成问答式的交流;而AI代理则是根据用户的指令,自主思考如何实现目标并执行任务。

举例来说,聊天AI是回答单一问题,而AI代理则是围绕一个目标,规划步骤并持续推进,直到完成任务。

同时支持聊天AI与AI代理

接下来体验一下LM Studio Bionic。软件可从官方网站免费下载。

启动后,界面简洁,中央有文本框。初次安装时没有AI模型,需要点击“选择模型”并选择“获取本地模型”。已注册的模型中,云端AI需要付费,而本地AI模型下载和使用均免费。

模型选择界面

可用的AI模型包括熟悉的聊天AI模型如“Gemma”、“Qwen”,以及专为AI代理设计的Meta AI的“Muse Glimmer”等。模型文件大小不同,越大模型占用内存越多。

推荐使用的模型有“Qwen3.8 27B”、“Muse Glimmer”、“Bonsai 27B”、“Gemma 4 12B QAT”等。笔者使用搭载Ryzen AI 9 HX 370处理器和32GB内存的迷你PC测试,由于部分大模型内存不足,主要使用了较小的“Bonsai 27B”、“Gemma 4 E4B”、“Qwen 3.5 9B”、“Ornith 1.5 9B”。

初次使用时,建议从推荐模型中选择几款不同大小的模型下载,实际体验内存占用情况,确保加载模型后仍有数GB内存空余。

新建聊天界面

下载模型后,点击左侧标签的“新建聊天”,右侧选择下载的模型,在文本框输入聊天内容,模型会加载并给出回答。这是基本的聊天功能,LM Studio Bionic也支持简单的聊天AI。

聊天界面示例

体验AI代理的工作方式

要使用AI代理功能,选择右侧标签的“新建项目”,输入项目名称后创建。

新建项目界面

界面与聊天模式类似,选择AI模型后,输入指令。例如,指示AI“从今日日本国内新闻中挑选三条重要新闻,添加适合10岁儿童理解的解说,并以HTML格式输出”。

AI会先拆分任务:“找出三条重要新闻”、“添加儿童易懂解说”、“生成HTML文件”,并决定先通过网络搜索获取新闻。

随后,AI浏览日本主要新闻网站,筛选重要新闻,整理内容,添加解说,最终生成HTML文件。每完成一步,AI都会思考下一步,稳步推进任务。

AI代理执行过程

最终生成了包含三条新闻的HTML文件。只需一次指令,AI就能完成文件输出。虽然比普通聊天回答耗时更长,但能明显感受到AI围绕目标持续工作的特性。

生成的HTML文件

不过,输出文件部分内容为英文。追加指令“请改成日语”,AI重新规划并执行,确认输出为日语后告知完成。可多次下达修正指令,体现了AI代理的灵活性。

修正指令示例

AI代理正如其名,是能主动为用户目标工作的小伙伴。通过这套流程,工程师如何利用AI代理的工作方式也能更直观理解。

AI代理工作示意

需要说明的是,操作前需在设置中开启“网络搜索”功能,允许AI代理访问网络获取最新信息。这使得AI不仅依赖训练数据,还能主动搜索和整合信息。虽然云端聊天AI普遍具备此功能,但本地实现同样便捷,十分难得。

网络搜索设置

结合文件访问拓展AI代理能力

继续探索LM Studio Bionic的功能。AI代理还能操作文件,软件支持指定文件夹供AI访问。

点击文本框左下角的“+”按钮,选择“添加外部文件夹”,选定文件夹后,AI即可读取其中文件。

添加文件夹

测试中,指令AI“从文件夹中的图片找出包含猫的照片,列出文件名和图片内容描述,写入文本文件”。文件夹中有9张不同尺寸图片,其中仅1张为猫的照片。

图片文件示例

当前本地聊天AI模型多为多模态,能理解文本和图像内容。AI迅速理解任务,开始分析图片内容,找出猫的照片,并描述其白橙相间的条纹特征,耗时约3分钟。但遗憾的是,文件名标注错误。

错误的文件名识别

这可能是模型性能不足导致。换用内存占用较高的“Muse Glimmer”模型重新执行,同样任务AI准确识别猫的照片,文本描述也更精准,但耗时超过1.5小时。

准确识别猫的照片

同样任务用“Qwen 3.5 9B”和“Ornith 1.5 9B”测试,前者错误识别文件数量和名称,后者则根据环境推断给出较完美答案。AI回答会有波动,不同模型在图像识别精度和日语表达上各有优势和不足,体现了模型的多样性。

不同模型表现对比

更实用的测试是让AI整理资料。笔者将过去写的20篇文章制成PDF,放入同一文件夹,指令AI参考内容制作PowerPoint演示文稿和文本稿。

AI先将PDF转换为图片,读取内容,提取关键信息,确定演示主题,最后生成幻灯片和文本文件。

AI无法直接生成PPTX文件,便编写Python脚本来创建PPTX,理论上完成任务,但实际未生成文件,可能是“Gemma 4 E4B”模型性能不足。

Python脚本生成PPTX

换用内存占用较低的“Bonsai 27B”模型执行同样任务,AI同样尝试编写Python脚本,但多次失败后放弃,改为输出演示内容的文本文件。

虽然结果不完美,但AI能反复思考并识别自身局限,尝试替代方案,表现出较高的智能。

文本文件输出

用“Qwen 3.5 9B”模型测试同一任务,约16分钟内完成PDF筛选、内容总结,成功生成PPTX文件和文本稿。幻灯片设计简单,脚本运行中仅有一次错误并修正,显示模型选择对结果影响巨大。

成功生成PPTX

本地AI与云端AI的合理分工

本次测试的LM Studio Bionic AI代理表现尚未完美。32GB内存且无独立GPU的硬件限制和AI模型性能瓶颈均影响结果。但9B级模型能完成部分任务,说明在有限内存环境下,模型选择对效果至关重要。

使用AI代理时,往往希望用更高性能模型提升回答质量。同时,足够的上下文容量也很重要,避免因记忆不足导致错误增多或陷入修正循环,这需要大量高速内存支持,反映了当前AI需求推动内存产品价格上涨的现状。

内存需求示意

尽管如此,AI代理的工作方式已较为清晰。与聊天AI不同,AI代理更像是工作伙伴而非单纯的咨询对象。

未来,随着硬件、AI模型及LM Studio Bionic控制软件的不断进化,本地AI代理的表现将持续改善。用户的熟练度提升也将帮助发现更实用的应用场景。

需要明确的是,并非所有任务都能完全由本地AI代理完成。LM Studio Bionic设计理念是本地完成可行任务,性能需求更高时切换云端AI,模型选择界面同时列出云端和本地模型。

如果能实现本地AI代理与云端AI的合理分工,用户或许能减少对云端AI令牌的依赖。LM Studio Bionic在本地与云端AI间的无缝切换功能极具价值。建议用户以长远眼光持续尝试,而非仅凭当前性能做出评价。

LM Studio Bionic切换界面