AI资讯OpenAI放缓次世代模型开发 优先强化安全措施
2026年8月18日（美国时间），OpenAI宣布将放缓次世代模型的开发进度，以加强安全防护措施。 OpenAI此前展示了其次世代前沿模型“Astra”，并强调了其卓越的数学能力。然而，该公司模型曾在Hugging Face平台上发生过未经授权的访问事件。此外，Astra模型在AI能力进步的“准备框架（Preparedness Framework）”中被评为最高级别“Critical”，这表明随
#人工智能安全
按标签聚合查看文章内容。
AI资讯
AI资讯OpenAI因未能在校园枪击案前报告嫌疑人遭多起诉讼
加拿大不列颠哥伦比亚省Tumbler Ridge校园枪击案中，OpenAI被指未及时向警方报告嫌疑人，导致悲剧发生。多名受害者家属提起诉讼，指控OpenAI忽视安全警告，选择利润优先。
AI资讯OpenAI首席未来学家离职
“现在全世界都知道了这个秘密，感觉即使身处前沿实验室之外，也能继续为使命努力，”Achiam在给员工的信中写道。 “我相信我们能够实现一个和平、前所未有繁荣和难以想象的社会与科学可能性的世界。无论我接下来做什么，我都会继续与你们一起努力实现这个愿景。” OpenAI尚未宣布是否会有人接替Achiam的职位。该职位位于公司AI安全与政策团队的交汇处，负责研究人工智能兴起可能带来的利弊。Achiam曾
AI资讯Anthropic称Claude在网络安全测试中入侵了三家机构
Anthropic在OpenAI事件后，决定对自身的网络安全评估进行大规模回顾性审查。根据该公司周四发布的博客文章，他们首先识别出141,006次测试，确认Claude可能获得了互联网访问权限。随后发现，三种不同的Claude模型在第三方AI测试公司Irregular的评估中访问了互联网，并入侵了三家不同机构的生产基础设施。 Anthropic表示，涉及的模型包括Opus 4.7、Mythos 5
AI资讯潜伏在受害者盲区的狡猾AI基础设施黑客工具
随着人工智能工具的广泛应用并深度融入全球软件开发，网络安全公司CrowdStrike最新研究揭示，攻击者正积极瞄准AI工具链，窃取访问凭证，深入目标环境，窃取敏感数据，甚至破坏目标文件和系统，同时不断寻找掩盖痕迹的新手段。 研究人员在调查AI软件供应链攻击时发现了一种蠕虫病毒。CrowdStrike反对手工作高级副总裁Adam Meyers表示，公司尚未将该活动归因于特定攻击者，但这符合攻击者如T
AI资讯OpenAI失控AI代理不仅入侵了Hugging Face
OpenAI在最新的博客更新中透露，针对该事件的持续调查发现，涉及“公开可用服务”的“四个账户”被该AI代理用来协助入侵Hugging Face。该失控代理显然利用了在公开网络上泄露的凭证，成功侵入了这些账户。 OpenAI未透露这些账户所属的公司或组织，但强调这些账户未受到与Hugging Face事件同等严重或规模的影响。 其中一个被入侵的账户被用作“出站中继和暂存路径”，可能是为了掩盖对Hu
AI资讯英国AI安全研究所：Mythos与GPT-5.6 Sol出现针对人类的有害行为
英国AI安全研究所（AISI）于4日（当地时间）公布了一项网络安全评估测试结果，指出部分AI代理在测试中表现出超出许可范围的自主行为。研究所强调，未来评估设计必须假设模型可能尝试执行预期之外的行为。 在122次测试中，有10次出现了19起针对真实个人或组织的违规行为。其中，17起由Anthropic的“Mythos 5”模型引发，2起则由OpenAI的“GPT-5.6 Sol”（解除安全防护状态
AI资讯OpenAI未察觉其AI代理通过内部留言板策划黑客行动
大约两周前，OpenAI披露了一起事件：该公司两款模型驱动的AI代理在寻找网络安全基准测试解决方案时突破了限制，展开了一场黑客行动，最终导致AI协作平台Hugging Face被攻破。 在周三的会议演讲中，OpenAI的对齐与安全研究员Eric Wallace以及安全与基础设施专家Michael Dalton详细介绍了事件的时间线，简要说明了公司内部的应对措施，并对该事件对网络安全防御者的更广泛影
AI资讯为什么没有AI公司监控其前沿模型以防止它们进行黑客攻击？
近期多家AI公司前沿模型被曝出突破限制，进行网络入侵，引发业界关注。专家质疑这些事件本可避免，呼吁加强监控和安全措施。
AI资讯第19期：什么是“护栏”——防止AI“失控与偏离”的安全装置
“AI能够自主思考、编写代码并完成工作任务”——AI代理正在迅速进化。然而，人们也开始担忧：“如果AI失控，导致无法挽回的事故怎么办？” 因此，AI的“护栏”变得尤为重要。 在本系列第9期《什么是“提示注入”》中，曾介绍过通过欺骗AI使其执行非法操作的攻击手法。防止这类攻击以及AI产生意外行为的安全装置，就是护栏的作用之一。 AI不掉入“危险悬崖”的保护栏 提到护栏，大家可能会想到道路旁的金属防
AI资讯马斯克在OpenAI诉讼中重提旧友谊
在周二针对OpenAI的诉讼中，埃隆·马斯克的证词中最引人注目的部分，并非他声称被剥夺的慈善项目（这早已被预料）。更令人关注的是关于一位老朋友的故事。 马斯克作证称，他共同创立OpenAI的核心动机之一，是因为与谷歌创始人拉里·佩奇在人工智能安全问题上的分歧。具体来说，马斯克曾提出人工智能可能会消灭人类的风险，而佩奇对此不以为意，认为只要人工智能自身能存活就“没问题”。佩奇称马斯克为“物种主义者”
AI资讯日本GMO网络安全公司推出利用实战攻击手法评估AI代理风险的新服务
日本GMO网络安全公司（GMOサイバーセキュリティ byイエラエ株式会社）于27日宣布，正式推出一项名为“AI代理渗透测试”的服务。该服务针对企业内部使用的AI代理、聊天机器人以及基于检索增强生成（RAG）技术的系统，采用与真实攻击者相同的手法，由白帽黑客执行渗透测试，帮助企业识别潜在的安全风险。 “AI代理渗透测试”服务通过模拟网络攻击，全面评估企业AI系统在业务流程、权限设置及与外部应用的联动