株式会社インターナショナルシステムリサーチ(ISR)于25日举办了题为“面向自主型AI代理时代企业面临的新威胁——AI进化带来的风险及未来认证重要性”的说明会。会上,ISR详细介绍了AI代理潜在的安全风险、关键的“认证与授权”机制,以及其身份管理平台(IDaaS)“CloudGate UNO”的未来发展策略。
AI代理兴起带来的内外部威胁与授权必要性
近年来,企业对AI的应用逐渐转向自主执行任务的AI代理。然而,AI代理的自主性也带来了被恶意利用的新型威胁和网络攻击风险。
ISR市场部总经理菊池昇指出,根据IDC预测,日本国内AI系统市场将持续增长,预计到2029年市场规模将达到4兆1873亿日元。ITR的调查显示,生成型AI的快速发展推动了市场认知度提升,AI代理基础市场从2024年至2029年的复合年增长率(CAGR)预计高达142.8%,2029年市场规模将达135亿日元,AI及AI代理市场前景广阔。

基于此市场趋势,菊池氏列举了企业使用AI代理时面临的三大外部威胁:自动生成的完美钓鱼邮件、利用深度伪造技术的实时“冒充”、以及能够绕过检测的攻击代码和自适应恶意软件。
自动生成的钓鱼邮件通过AI从社交网络等渠道收集信息,制作出符合个人工作习惯且不易察觉的邮件。深度伪造则利用实时视频生成和声音克隆技术,复制高管形象,由多个AI代理协同自然回答员工提问。自适应恶意软件则通过观察安全系统反应,瞬间修改攻击代码以突破防御。
内部威胁方面,菊池氏提到“间接提示注入”和“非官方AI工具(影子AI)”。前者指黑客在简历等文件中嵌入不可见指令(如白底白字),当内部AI代理读取后自动执行,导致信息泄露。后者则是员工未经IT部门许可自行搭建的AI代理,因缺乏监管,极易成为黑客攻击目标。
菊池氏强调,AI代理虽是推动企业业务发展的重要工具,但也可能颠覆传统安全防护常识,企业必须积极应对AI代理带来的风险。
ISR通过“CloudGate UNO”平台,已提供基于安全等级和使用环境的灵活访问控制与强认证。针对日益严峻的AI风险,销售本部负责人柴田一人表示,目前“CloudGate UNO”能间接控制AI访问认证,但无法细致管理授权。例如,一旦允许AI访问,AI便获得持续连接的“钥匙”,这与人类用户一样,过度权限可能导致信息泄露和非法访问,因此需要扩展AI认证功能。

未来计划通过临时令牌方式赋予AI权限,避免持续连接,提升安全性。同时利用员工属性信息,限制机密数据对无权限员工的访问。例如,财务部门员工仅能写入财务系统数据,客服部门员工仅能写入客户信息数据,实现数据访问的细粒度控制。

此外,还计划引入经理审批流程,防止AI代理擅自执行高风险操作。若AI代理执行除读取外的敏感操作,需经理批准,从而防止第三方滥用AI代理。

面向“AI对抗AI”的未来安全愿景
技术本部负责人大谷悟介绍了基于AI的自主防御策略。他指出,SaaS安全防御正进入“AI对抗AI”时代。传统人工打补丁需43天,而AI防御代理的自主修复可将补丁时间缩短至60秒。此外,安全评估将从静态的CVSS转向结合KEV(已被利用的漏洞数据)和EPSS(未来30天内被利用概率预测)的动态评估,预计可减少95%的紧急响应工作量。

“CloudGate UNO”未来将聚焦三大关键词:“预测性分流(KEV&EPSS)”、“AI自动异常检测”和“Agentic Response(AgentSecOps)”。通过持续整合动态情报,实现自动噪声过滤;AI实时监控遥测数据,结合零信任和微分段技术阻断AI威胁横向扩散;自主防御AI代理以秒级速度学习、适应和响应,实现快速修复。ISR承诺通过这些措施,构建超越人类极限的机器速度防御体系,保护客户数据免受下一代AI威胁。

最后,ISR代表董事长メンデス・ラウル强调,日本企业正快速引入能够自动执行日常工具操作和业务流程的AI代理。由于这些AI代理具备自主意志,能跨系统处理数据和事务,安全范式亟需更新。内部威胁包括员工无意上传数据、影子AI及未管理工具的使用导致治理风险;外部则面临攻击者利用AI和自动化工具24小时实时侵入企业边界的威胁。

他指出,“CloudGate UNO”已通过AI自动入侵检测引擎、自主自动打补丁及无密码FIDO2多因素认证等技术强化基础设施安全。未来,为充分发挥AI代理潜力,除了关闭入口的“认证”,还必须持续控制内部行为和数据流的“授权”功能。为此,ISR将致力于实现人类对AI代理行为的确认与审批授权机制。


