日本GMO网络安全公司(GMOサイバーセキュリティ byイエラエ株式会社)于27日宣布,正式推出一项名为“AI代理渗透测试”的服务。该服务针对企业内部使用的AI代理、聊天机器人以及基于检索增强生成(RAG)技术的系统,采用与真实攻击者相同的手法,由白帽黑客执行渗透测试,帮助企业识别潜在的安全风险。

“AI代理渗透测试”服务通过模拟网络攻击,全面评估企业AI系统在业务流程、权限设置及与外部应用的联动等方面的安全隐患。白帽黑客将针对AI处理的数据权限及与外部系统的交互环节,检测信息泄露、非法操作及权限越权等风险,并提供切实可行的防护建议。

测试流程首先由白帽黑客对企业的AI使用情况进行详细访谈,制定专属测试方案。随后借用企业内部用于测试的员工工作电脑,模拟真实攻击者的攻击手法,深入检测AI系统潜在的安全漏洞。测试内容涵盖对大型语言模型(LLM)进行提示注入攻击验证,评估AI系统权限及其处理数据的安全性,重点揭示可能导致信息泄露和非法操作的具体风险。

此外,该服务还支持基于AI安全研究机构(AI Safety Institute,AISI)发布的《AI安全红队测试方法指南》进行检测,确保风险评估符合行业标准。

适用范围包括日本微软365 Copilot、Azure OpenAI等企业级AI服务,面向业务自动化和内部运营支持的AI代理,企业内部知识检索及回答生成的RAG系统,聊天机器人,以及集成文件管理、工单系统、客户关系管理(CRM)、工作流程等内部工具的AI功能。

AI代理渗透测试示意图