理光日本推出的本地部署LLM套件

日本理光公司在其面向本地部署环境的生成式AI应用支持套件“RICOH本地部署LLM入门套件”的边缘模型中,新增搭载了自我改进型AI代理“赫尔墨斯代理(Hermes Agent)”,并已开始提供该产品。

随着生成式AI的应用范围从定型业务自动化扩展到调查、分析及决策支持等非定型业务,市场对能够自主执行任务的“AI代理”需求日益增长。然而,API使用费用的增加以及对机密信息外泄的担忧,成为推广和应用的主要障碍。

此次搭载的“赫尔墨斯代理”由Nous Research公司开发,是一款开源的自我改进型AI代理。它能够通过与用户的对话判断业务流程,自主执行操作系统操作、文件处理等任务。代理具备将执行过程中获得的操作步骤作为“技能”进行积累和复用的自我改进功能,随着使用次数的增加,能够不断积累经验,提高效率和任务的可复现性。

此外,由于该代理运行于本地部署环境,用户无需将机密信息传输至外部,保障了数据安全。同时,避免了云服务按令牌数量计费的费用模式。该套件预装了理光自家的LLM和生成式AI应用开发平台“Dify”,并配备了超小型桌面AI服务器“Dell Pro Max with GB10”,用户无需复杂设置即可构建安全的AI应用环境。

理光表示,借助“Dify”处理定型业务,“赫尔墨斯代理”负责带有个别判断的非定型业务,将支持实现超越传统自动化的高级自主业务流程。

理光本地部署LLM套件示意图