为什么“现在”要关注AI治理？
企业风险感知与事件数量激增
生成式AI和AI代理的迅速普及，暴露了企业在信息泄露和社会影响方面的新担忧。许多企业将“信息泄露与安全风险”视为引入生成式AI的最大障碍，这一担忧远超成本和应用场景不足等其他问题。
这些担忧的背后，是传统边界型安全无法完全控制的数据流动，员工在AI素养不足的情况下无意中输入机密信息，以及AI开发带来的漏洞增加。经济合作与发展组织（OECD）报告显示，2026年1月AI相关事件报告达到月度435起，呈持续上升趋势。
在工程师社区，AI开发已成常态，但AI直接引入代码漏洞的风险也在增加。美国国家漏洞数据库（NVD）登记的漏洞数量激增，美国国家标准与技术研究院（NIST）已宣布不再为所有CVE漏洞提供详细信息，仅对符合一定标准的漏洞补充详细资料。
国内外AI治理应对措施
随着全球对AI风险的关注升温，国内外相关应对措施逐渐成型。多份旨在评估安全性和系统化威胁的核心文件陆续发布，形成了AI治理讨论的共识基础。
主要文件包括由29国专家参与的《国际AI安全报告2026》，针对AI代理和大型语言模型（LLM）应用的《OWASP 2026年代理应用十大风险》和《OWASP 2025年LLM应用十大风险》。日本信息处理推进机构（IPA）首次将“AI使用相关的网络风险”列入《2026年信息安全十大威胁》，表明AI安全威胁已被官方认可。
与此同时，LLM服务提供商也在加强管理。例如，OpenAI将GPT-5.4-Cyber限定提供给经过验证的组织，Anthropic因担忧滥用风险推迟公开Claude Mythos Preview，并联合AWS、Google、微软等发起跨行业防御计划“Project Glasswing”。
日本自民党也在金融厅、AISI和国家网络统筹室的推动下，开始讨论组建“日本版Project Glasswing”，推动行业向“可信访问”模式转型。
从“原则”到“落地”的转变
《2026 AI指数报告》（HAI）、麦肯锡和安永的调查显示，建立完善治理机制的企业不仅减少了AI事件，还在业务运营优化、客户信任构建和收入增长方面表现突出。治理不再是单纯的合规义务，而是推动AI规模化应用和商业价值转化的关键。
麦肯锡调查还发现，AI应用收益显著的企业在“负责任AI”（确保AI安全、公正、透明运行的组织实践）上的投资比例更高。
随着企业风险感知增强、国际风险整理和指南细化，以及LLM提供商加强访问控制，AI治理正从理念和原则阶段迈向组织内部的制度化阶段。
AI治理概述
根据日本总务省和经济产业省发布的《AI事业者指南 第1.2版》，AI治理定义为：
在利益相关者可接受的风险水平下管理AI使用带来的风险，同时最大化其正面影响（效益），通过利益相关者设计和运营技术、组织及社会系统。
“治理”本意为“掌舵”，包含三个要素：
- 有明确目的地——确定方向和目标
- 了解环境——识别风险和障碍
- 操控舵盘——根据情况调整决策和控制
技术、组织与社会系统的设计与运营
AI安全措施涵盖广泛，不仅包括安全防护和日志监控，还涉及使用指南制定、事件响应流程设计和素养提升等多层次措施，只有这些措施齐备，才能实现“安全且持续可用”的状态。
AI治理即从技术、业务、组织和社会四个视角系统化管理安全要素，促进各利益相关方协作设计和运营。
其基础是以人为本、安全、公平、透明、隐私和安全为核心的“AI原则”，以及基本人权、民主、经济增长和可持续社会等“基本价值”。
AI应用带来的风险
AI治理关注的风险主要分为两类：
- 技术风险：信息泄露、提示注入、幻觉现象、模型退化等，源于AI系统设计、实现和运营的问题。
- 社会风险：偏见、公平性缺失、知识产权侵害、深度伪造导致的虚假信息传播等，影响社会结构、人权和经济。
理解风险时，关键是结构性地把握其引发的影响，而非单一事件本身。例如“幻觉”并非根本问题，真正关注的是其可能导致的错误决策、客户损害、法律合规负担和品牌损害等经济和人力风险。
确保AI系统不对人类和社会造成伤害的研究与措施统称为“AI安全”，是AI治理的基础。国内外相关技术指南逐步完善，如总务省的技术对策指南草案、Japan AISI的评估视角和红队测试方法指南等。
此外，Citadel AI发布的《生成式AI实践指南与企业案例集》基于对20家国内AI企业的调研，系统总结了质量、安全和治理实践，显示AI安全已成为企业自然而然的要求。
在可接受水平管理风险
风险不可能完全消除，随着AI系统更新、使用变化和新威胁出现，风险性质持续变化。关键是持续运转风险管理生命周期，提高组织风险素养。生命周期包括：
- 风险识别——发现潜在风险
- 风险评估——定义可接受水平并优先排序
- 风险缓解——实施优先级措施
- 风险管理——持续监控管理风险
- 风险治理——确保利益相关者认知一致，形成规则、流程和组织体系
不同产业和应用的风险容忍度不同，需结合自身情况制定风险评估和优先级。欧盟AI法案和日本AI事业者指南均强调基于风险的管理方法。
广泛参考的标准包括ISO/IEC 42001和NIST AI风险管理框架（AI RMF）。ISO/IEC 42001涵盖领导力、数据治理、影响评估和持续监控等要求，株式会社Corpy发布的生成式AI安全评估协议与实施指南与之对应，系统化分析、测试和报告流程。
面对不确定性的反脆弱生命周期
AI系统环境不断变化，模型更新、用户行为变动、新攻击手法和法规调整交织，导致“完成时安全”的系统数月后可能存在意外风险。
单靠预防性设计难以应对，需结合“防止失败”和“在变化中持续成功”的思维。
通过快速、小规模、持续的评估和改进循环，将系统调整至可接受范围，同时关注事故预防（Safety-I）和成功经验的理解与复制（Safety-II）。
这种持续循环的治理方式称为“敏捷治理”。
敏捷治理的成功依赖于所有相关人员的协作，需早期拆除沟通障碍，形成对责任、验证和学习的共识，并将治理纳入组织战略。
与所有利益相关者对话是AI治理实践的起点
AI事业者指南和NIST AI RMF等框架设计时考虑了“根据企业规模和状况灵活应用”，虽属软法，但为统一组织内外认知提供了共同语言。
重要的是优先聚焦关键事项，综合预算、系统特性、用户需求和风险容忍度，明确投资优先级。
- 项目启动时无法收集所有需求，且需求几乎总在变化
- 任务总是超出时间和资金限制
——摘自Jonathan Rasmusson《敏捷武士——成为大师级开发者之路》
因此，与所有利益相关者的持续对话，是AI治理实践的真正起点。
作者简介：宫脇峻平
株式会社Algomatic AI治理中心 AI首席工程师
曾在企业研发和学术界从事研究，现任职于株式会社Algomatic，专注于基于大型语言模型和AI代理的战略设计、产品开发及MLOps构建。著有《现场实用AI代理入门》。
- 公司官网：https://algomatic.jp/
