NEC cotomi Gateway

日本国家NEC公司宣布,将于11月推出名为“cotomi Gateway”的软件版本,该系统在确保机密信息安全的同时,通过自动分配至最合适的AI模型或外部工具,实现AI令牌(token)成本的最优化。未来还计划逐步以SaaS形式推广该服务。

cotomi Gateway综合评估机密性、任务难度、回答质量及成本等多个因素,自动选择并路由至最适合的AI模型。该系统支持与现有系统和应用程序通过API接口联动,无需大幅调整业务流程或运营方式,即可通过统一的网关实现AI应用的高效管理。

cotomi Gateway功能示意

此外,cotomi Gateway通过压缩提示语中的冗余和无关信息,减少令牌消耗。系统还结合轻量级回归模型和统计模型,综合考虑提示内容、历史使用记录、对话上下文及缓存状态等多方面因素,进一步优化令牌成本。

安全性保障

在安全性方面,cotomi Gateway能够自动检测并对机密信息进行掩码处理,确保在调用外部AI模型时信息保持隐匿状态。对于难以通过掩码处理的任务,则采用部署在本地环境的AI模型进行处理。通过自动化的隐匿和路由机制,显著降低了人工运维负担。

系统还配备实时监控仪表盘,用户可以直观查看AI使用情况及成本节约效果,便于及时评估和调整运营策略。