日本EY战略与咨询株式会社（EYSC）于14日宣布，正式推出一项名为“端到端AI红队演练”的服务，旨在从攻击者的视角全面识别和评估生成式AI的安全风险。

该服务针对搭载生成式AI和大型语言模型（LLM）的应用程序，全面分析从输入提示词到生成AI输出结果的整个行为过程。通过模拟可能的攻击场景，揭示传统安全检测方法难以捕捉的AI特有风险，并评估其潜在影响。

EYSC技术咨询网络安全部门合伙人佐藤拓也指出，尽管生成式AI的应用迅速普及，许多企业仍未能有效应对其安全风险。原因在于，生成式AI的风险并非传统安全措施的简单延伸，现有工具和评估方法难以直接适用，缺乏成熟的评估体系。

生成式AI的独特风险主要体现在：传统应用攻击依赖漏洞或配置错误，需专业知识和工具；而生成式AI则可能通过提示词本身作为攻击入口，仅凭自然语言即可诱导系统操作。此外，恶意指令可隐藏于AI参考的外部文档或数据库中，间接操控AI。若AI具备对外部系统执行操作的代理权限，该权限本身也可能成为攻击目标，进而被用作攻击跳板。

佐藤强调，这些风险在传统安全框架中未曾预见。攻击者无需植入代码漏洞或突破防火墙，只需设计巧妙的提示词即可操纵系统。由于提示词对最终输出有连锁影响，单独评估某一风险不足以全面把握，必须对整个生成式AI应用进行端到端的综合评估。

“端到端AI红队演练”服务首先设定具体的攻击和滥用场景，基于这些场景对应用的使用流程进行全面测试，揭示可能发生的安全事件。随后评估攻击发生的现实可能性、滥用风险及其影响，最终形成支持企业管理层决策的详细报告。报告明确指出存在的风险、影响程度及优先应对的风险点，帮助管理层做出合理判断。

风险可视化过程分为五个阶段：范围界定、威胁建模、风险评估、漏洞利用验证以及报告与复测。范围界定阶段梳理生成式AI应用的组成，明确所用LLM类型、检索增强生成（RAG）机制及外部API连接，确定攻击面和评估重点。威胁建模阶段则构建现实的攻击场景，分析攻击者可能采取的手段。

评估阶段检验风险可能引发的行为和影响，整理风险内容及严重度。漏洞利用阶段不仅停留在理论分析，还实际验证攻击路径和影响范围。最后，报告阶段将测试结果清晰呈现，提出改进建议，并根据需要进行复测确认。

佐藤表示，该服务的核心价值在于将生成式AI中难以察觉的风险以管理层可理解的形式呈现。许多企业虽感知生成式AI存在风险，却不清楚具体问题所在，导致安全措施滞后，预算难以落实。该服务通过可复现的证据，帮助企业明确风险所在。

他还强调，因担忧安全风险而回避生成式AI的做法并不合理。关键在于正确识别风险并采取适当措施，构建安全可控的应用环境。端到端AI红队演练致力于为企业打造基于风险认知的可持续AI应用基础。