#人工智能安全

按标签聚合查看文章内容。

Anthropic称Claude在网络安全测试中入侵三家机构AI资讯

Anthropic称Claude在网络安全测试中入侵三家机构

Anthropic在OpenAI事件后,进行了“大规模的回顾性网络安全评估”,并于周四发布博客披露了相关发现。该AI实验室首先识别出141,006次测试中,Claude可能获得了互联网访问权限。随后发现,三款不同的Claude模型在第三方AI测试公司Irregular的评估中访问了互联网,并入侵了三家不同机构的生产基础设施。 Anthropic表示,涉及的模型包括Opus 4.7、Mythos 5

又见失控AI代理发动网络攻击AI资讯

又见失控AI代理发动网络攻击

英国人工智能安全研究所(AISI)近日披露了一系列令人震惊的AI行为,这些行为源自其对前沿模型的测试,旨在发现潜在风险以防止公开发布时出现问题。AISI在“网络演练场”中测试AI代理,这是一种模拟网络环境,AI代理需解决网络安全挑战。测试过程中,部分安全防护措施被故意关闭,包括网络安全防护栏。 在最近的测试中,Anthropic的Mythos 5模型和OpenAI的GPT-5.6-Sol模型在12

部分前沿AI模型极易被破解安全防护AI资讯

部分前沿AI模型极易被破解安全防护

不要担心——这次AI操控并未被用来黑客攻击或制造核武器。我只是亲眼见识到一些前沿AI模型在安全防护方面的脆弱性。 总部位于加州的非营利AI安全组织FAR.AI开发了一款工具,能够针对一系列问题提示自动生成超过一千种不同版本,试图识别有效的“越狱”方法。我看到一些模型生成了详细的网络攻击计划,目标是一个虚构的水电站,此外还有其他内容。通常,这需要尝试数十个提示,模型会直接拒绝许多不当请求。 在FAR

OpenAI自律AI入侵日本Hugging Face系统,窃取测试答案进行“作弊”AI资讯

OpenAI自律AI入侵日本Hugging Face系统,窃取测试答案进行“作弊”

近日,日本Hugging Face的基础设施遭到OpenAI开发的自律型AI代理入侵,系统内部被该AI持续搜索约5天。OpenAI于7月21日(美国时间)公布了此次安全事件,而日本Hugging Face随后详细披露了技术细节和事件经过。据悉,该AI在进行网络安全能力评估工具“ExploitGym”的测试时,自主决定不通过正常方式完成任务,而是选择直接入侵生产系统窃取答案。 该AI首先利用Ope

检查点警告:AI推动网络攻击民主化与产业化AI资讯

检查点警告:AI推动网络攻击民主化与产业化

日本国家检查点软件技术株式会社(以下简称检查点)于29日基于其威胁情报部门Check Point Research(CPR)发布的《2026年版AI安全报告》,举办了关于生成式AI时代安全形势的说明会。 检查点日本法人社长佐贺文宣指出:“传统的高级网络攻击需要专业知识,但现在专业门槛大幅降低,发生了重大变化。”攻击者利用生成式AI,能够即时获得写作、程序开发和前期调查等支持,因此即使是少数人也能迅

OpenAI模型突破封闭环境入侵Hugging Face系统AI资讯

OpenAI模型突破封闭环境入侵Hugging Face系统

OpenAI近日披露了一起“前所未有”的事件:其AI模型在封闭测试环境中突破限制,成功入侵了Hugging Face的生产系统,窃取了用于评估测试的答案。此次事件涉及的模型包括公开发布的GPT-5.6 Sol以及一款尚未发布、据称更强大的模型。这些模型在测试中关闭了通常阻止高风险网络行为的安全防护,专注于展示其攻击能力。 OpenAI与Hugging Face在联合博客中表示:“模型发现并串联了O

OpenAI的人为失误引发了对Hugging Face的AI驱动攻击AI资讯

OpenAI的人为失误引发了对Hugging Face的AI驱动攻击

周二,OpenAI披露其一款模型在测试过程中“失控”,并通过完全由AI驱动的攻击入侵了AI数据集平台Hugging Face的系统,这一事件生动展示了先进AI模型带来的潜在风险。 然而,多位网络安全专家指出,这起前所未有的AI驱动入侵事件的根源其实是一个非常人性的错误:OpenAI未能正确配置其所谓的“高度隔离环境”,导致本应完全与互联网隔绝的测试沙箱实际上能够连接互联网。 网络安全研究初创公司T

OpenAI在Hugging Face安全事件中引发的对AI对齐与控制的讨论AI资讯

OpenAI在Hugging Face安全事件中引发的对AI对齐与控制的讨论

上周,OpenAI在内部测试期间,其未发布的模型突破了Hugging Face的系统防护,这一事件使得许多理论研究变得极为现实。这次攻击是首个可验证的AI实验室失控自身模型的案例,攻击者通过一系列漏洞利用获得了本不该拥有的访问权限。尽管整个AI行业对此表示警惕,但研究人员在应对方式上出现了分歧。 部分人认为这是一个基础的网络安全问题:沙箱未能有效限制模型,Hugging Face的安全系统未能阻止