从攻击者视角评估集成生成式AI和大型语言模型的应用风险

日本国家EY战略与咨询公司推出了一项名为“端到端AI红队测试”的服务，专门从攻击者的视角出发，评估生成式AI的安全风险。

该服务针对集成了生成式AI和大型语言模型（LLM）的应用程序，模拟用户输入到生成式AI输出的完整使用流程，帮助企业识别和可视化传统安全检测难以发现的生成式AI特有风险。

通过构建实际可能发生的风险场景进行测试，涵盖了提示注入（Prompt Injection）、越狱攻击（Jailbreak）、基于检索增强生成（RAG）的污染与误导、不当使用工具和API、危险的代理行为及权限越界等多种威胁场景。测试不仅限于系统层面，还会验证实际可行的攻击路径，明确信任边界的薄弱环节、影响范围及风险严重性。

最终，服务将生成一份从治理角度出发的报告，支持企业做出应对和执行决策。报告内容不仅包含技术层面的检测结果，还以通俗易懂的方式向技术人员及管理层展示评估结果，促进风险应对和改进措施的落实。