
日本国家Anthropic的威胁情报团队发布了一份报告,汇总了网络攻击者滥用其AI模型Claude的案例。该公司不仅识别并阻止了这些滥用行为,还指出滥用手法正在不断演进。Anthropic将从中获得的经验用于加强安全防护,并在必要时与相关部门及行业伙伴共享信息。
报告涵盖了七大滥用领域:网络作战、影响力操作、监控、诈骗及欺诈、生物武器滥用、常规武器开发以及模型蒸馏。被滥用的AI模型包括Claude Haiku、Sonnet和Opus,除了一起非法蒸馏案例外,Claude Fable和Mythos级别的模型未被使用。
当前AI滥用趋势显示,AI已被应用于攻击的各个阶段,从侦察、工具开发到数据处理,攻击手段较以往更为复杂和高效。攻击者无需具备深厚专业知识,AI承担了大部分工作。攻击者范围广泛,从国家机构团队到个人,活动规模持续扩大。预计未来将有更多攻击者采用AI框架,快速且大规模地实施高级网络攻击。
AI的应用已超越简单的聊天机器人问答,扩展到多代理框架执行侦察、滥用和数据泄露等任务。人类攻击者在设定目标和确认数据泄露方面仍有参与。部分攻击者开发了AI辅助的工作流程,能在安全产品检测到攻击时自动重构并部署工具包。
攻击者持续测试Anthropic的安全措施,试图规避检测和防护技术。Anthropic表示将不断提升安全防护能力,携手合作伙伴加强滥用检测、阻止及未来防范能力。

