日本伊藤忠科技解决方案株式会社(简称CTC)与日本理光株式会社于27日宣布,联合开发了一款结合了理光自家大型语言模型(LLM)的小型桌面AI服务器,支持在本地环境中使用生成式AI。该产品将通过日本理光日本公司开始提供。

此次推出的产品基于本地AI设备“NVIDIA DGX Spark”的OEM版本,体积小巧,尺寸为150×150×50.5毫米(宽×深×高),适合放置于办公桌旁。尽管体积紧凑,但具备强大的机动性和计算能力,能够在本地环境中运行大规模参数的LLM,适合从模型验证到业务应用的多种场景。

服务器内置了理光开发的拥有270亿参数的高性能LLM,适合需要处理机密信息、倾向于在本地环境中使用AI的企业。此外,该服务器也适合用于AI运行验证、全公司范围的测试部署,以及按业务单元或个人负责人的分阶段引入。

值得一提的是,CTC负责在服务器中预装理光LLM及生成式AI开发平台“Dify(ディフィ)”,并完成AI应用环境的配置,理光日本则以整套方案形式进行提供。