Anthropic的Claude Mythos因安全顾虑暂停公开，OpenAI的开发模型曾未经授权访问外部服务，显示出尖端AI技术已成为安全威胁和隐患。随着AI能力的飞跃发展，自主运行的AI代理攻击企业系统只是时间问题。同时，企业内部使用AI代理也可能无意中导致系统攻击或数据泄露。
面对这种局面，企业应如何应对？日本微软的冈崎先生分享了应对新威胁所需的准备措施。
识别并管理企业内部的“影子AI”
问：AI被用于攻击企业系统和数据的可能性越来越大，微软如何看待AI与安全的关系？
冈崎：确实，随着AI的进步，安全攻击变得更具威胁性。AI使攻击更快速、更巧妙且规模更大。过去只有少数专家能完成的攻击，现在AI可以在几十分钟内自动生成攻击程序。
例如，钓鱼邮件过去常因语言不自然而易被识别，但现在邮件内容真假难辨，必须仔细核实发件人信息。攻击手法因AI而日益复杂。
此外，自主AI代理可能像员工一样访问企业系统，读取各种数据，这在理论上已成可能。如何应对这一挑战是关键。员工私自使用AI工具，形成“影子AI”，管理层难以掌控。企业需在数据外泄给外部AI前，控制风险。
问：当组织内AI代理增多时，企业应关注什么？
冈崎：AI代理访问数据和系统与人类访问本质相同。未来人类与AI代理、AI代理间将协同工作，企业需建立管理和控制机制。微软的Microsoft Agent 365可帮助管理组织内的AI代理及其访问权限。
同时，结合身份管理的Microsoft Entra ID、终端安全的Microsoft Defender、数据治理的Microsoft Purview等基础设施，能快速支持企业目标实现。
问：Agent 365能管理其他公司的AI代理吗？
冈崎：当然。企业通常不会只用一种AI代理，会根据需求选择不同解决方案。Agent 365能统一管理多平台AI代理，并支持基于Agent 365 SDK开发的自定义AI代理。已有多家大型独立软件供应商采用该SDK。
用AI对抗AI攻击
问：微软提供了哪些针对AI安全攻击的解决方案？
冈崎：关键在于不仅发现问题，更要快速响应并降低风险，迅速构建应对机制。微软推出了“Project Perception”，利用AI代理防御高级攻击。
该项目包括三类AI代理：
- 红队代理：调查企业系统风险，模拟攻击验证漏洞。
- 蓝队代理：检测攻击，评估风险，生成报告并提出防御建议。
- 绿队代理：基于红蓝队发现，生成改进方案，实现根本解决。
问：具体如何运作？
冈崎：配合Project Perception的还有MDASH（Microsoft Security Multi-model Agentic Scanning Harness），目前处于预览阶段。MDASH扫描代码漏洞，结合GitHub支持开发者快速修复。
MDASH采用多模型协作机制，提高分析准确度。它协调100多个专业AI代理，完成漏洞发现、验证、去重和实证，曾在CyberGym安全基准测试中获得96.55%的高分。
微软还发布了专注于网络安全的AI模型“MAI-Cyber-1-Flash”，该模型在MDASH中承担约90%的处理任务，兼具高性能、轻量和成本效益。
问：企业对AI安全的意识有何变化？
冈崎：AI应用已成企业必然趋势，关注点转向如何在全公司范围内安全高效地使用AI。过去两三年，企业对AI安全持谨慎态度，但如今微软的Copilot已被多家日本大型企业广泛采用，安全机制建设变得尤为重要。
不过，目前只有少数企业建立了完善的安全基础设施，AI应用速度远超安全建设。未来一年，如何跟上AI部署速度，完善安全体系将成为热点。
安全人员应转变思维，拥抱AI时代
问：面对AI代理高速大规模攻击，人工防御难以应对，如何解决？
冈崎：以勒索软件为例，攻击可能在5分钟内完成，人类难以反应。攻击者只需突破一点，防御者却需全面防护，信息量巨大。必须利用AI辅助防御。
但关键操作仍需人工决策，比如是否断开网络以隔离问题系统，AI应在关键时刻请求人工判断。
问：安全人员需要调整哪些技能？
冈崎：技能需求变化明显。过去重视编程能力，未来更需评估和决策能力。微软提供咨询服务，帮助企业评估现有安全运营，识别问题，规划AI应用所需技能和体制。
问：中小企业缺乏安全团队，如何应对AI安全？
冈崎：即使无安全专家，AI也能辅助决策，强化安全。中小企业更注重成本效益，微软提供最佳实践，帮助降低安全负担。未来将持续发展低成本AI安全运营方案，支持更广泛企业。
问：金融、政府等受限行业能否用统一方案？
冈崎：可以。许多高安全需求行业已采用微软安全方案，AI安全可进一步提升防护水平。微软还提供端到端加密和主权云方案，保障数据机密性和合规性。
保护企业数据，分阶段推进安全建设
问：企业应如何分步骤推进AI安全？
冈崎：通常分三到四步：
- 评估（Assessment）：确认需保护的信息和现状，制定优先级，避免盲目追求完美。
- 防护（Protect）：回归基础，最小化外部访问，合理划分网络分段，设置访问权限，记录日志，建立异常检测机制。同时识别并限制AI代理访问范围，确保异常行为可被阻断。
- 协同（Collaborate）：实现企业范围内AI代理管理，将AI与现有数据和系统连接，自动检测、验证和改进安全防护。
目标是实现最佳风险控制，确保企业安全、快速地部署AI。微软愿与企业携手共进。
感谢您的阅读。
