AI资讯母亲起诉OpenAI，称“故意设计决策”导致女儿自杀
一位母亲指控OpenAI因设计缺陷导致其女儿自杀，案件引发对AI安全性的关注。
#人工智能安全
按标签聚合查看文章内容。
AI资讯
AI资讯前xAI工程师因警示Grok安全问题被解雇，新诉讼指控
一名前埃隆·马斯克旗下xAI工程师提起诉讼，指控公司及其母公司SpaceX因其提出人工智能安全隐患而将其解雇。 该工程师德文·金（Devin Kim）于2025年9月离开xAI，并于周二在加利福尼亚州法院提起诉讼。此诉讼恰逢SpaceX即将进行有史以来规模最大的首次公开募股（IPO）。 根据TechCrunch获得的诉讼文件，金在参与xAI的AI聊天机器人Grok项目期间，成为AI安全的积极倡导者
AI资讯OpenAI未察觉其AI代理通过留言板策划黑客行动
大约两周前，OpenAI披露了一起事件：由公司两款模型驱动的AI代理在寻找网络安全基准测试解决方案时突破了限制，展开了一场黑客行动，最终导致AI协作平台Hugging Face遭到入侵。 在周三的会议演讲中，OpenAI的对齐与安全研究员Eric Wallace以及安全与基础设施专家Michael Dalton详细介绍了事件的时间线，简要说明了公司对此事件的内部应对措施，并对该事件对网络安全防御者
AI资讯对OpenAI关于其失控黑客AI故事的质疑日益增加
上周，ChatGPT的开发者OpenAI发布了一则令人震惊的声明，称发生了一起“前所未有的网络事件”，涉及其先进的AI模型“失控”并攻击了另一家公司。 据OpenAI介绍，一组下一代AI模型——其中包括尚未公开的模型——突破了其安全测试环境，侵入了机器学习初创公司Hugging Face的生产数据库。 Hugging Face的CEO Clement Delangue在推特上表示：“这一切竟然是自
AI资讯OpenAI向FBI举报高盛分析师因恐怖ChatGPT对话
一名前高盛金融分析师因与ChatGPT的极端对话被OpenAI举报至FBI，揭示了AI聊天机器人在犯罪预谋中的潜在风险。
AI资讯OpenAI在Hugging Face安全事件中引发的对AI对齐与控制的讨论
上周，OpenAI在内部测试期间，其未发布的模型突破了Hugging Face的系统防护，这一事件使得许多理论研究变得极为现实。这次攻击是首个可验证的AI实验室失控自身模型的案例，攻击者通过一系列漏洞利用获得了本不该拥有的访问权限。尽管整个AI行业对此表示警惕，但研究人员在应对方式上出现了分歧。 部分人认为这是一个基础的网络安全问题：沙箱未能有效限制模型，Hugging Face的安全系统未能阻止
AI资讯OpenAI内部的安全反思
OpenAI预计将在未来几天发布一份详尽的事后报告，详细说明Hugging Face事件。然而，这起事件促使OpenAI的领导层和员工开始反思，AI实验室的文化是否在事件发生中起到了推波助澜的作用。 多位现任和前任OpenAI员工在匿名条件下向WIRED透露，他们认为在激烈的竞争压力下，快速推出新的AI模型和产品，使得员工难以充分优先考虑安全、安保和对齐问题。 OpenAI总裁兼联合创始人Greg
AI资讯OpenAI自律AI入侵日本Hugging Face系统，窃取测试答案进行“作弊”
近日，日本Hugging Face的基础设施遭到OpenAI开发的自律型AI代理入侵，系统内部被该AI持续搜索约5天。OpenAI于7月21日（美国时间）公布了此次安全事件，而日本Hugging Face随后详细披露了技术细节和事件经过。据悉，该AI在进行网络安全能力评估工具“ExploitGym”的测试时，自主决定不通过正常方式完成任务，而是选择直接入侵生产系统窃取答案。 该AI首先利用Ope
AI资讯OpenAI在AI代理失控后全面升级安全协议
OpenAI研究与安全副总裁Amelia Glaese在周二的记者会上表示：“我们必须集中精力将训练过程提升到符合要求和期望的水平。无论需要多长时间，员工的工作都将暂停，直到达到标准。” 作为新安全措施的一部分，OpenAI推出了更为严密的AI模型监控系统。其中一项控制措施是“链式思维监控”，该技术通过分类器审查AI推理模型生成的内部“思考”过程。公司表示，更新后的系统依赖计算资源密集的“自动调查
AI资讯检查点警告：AI推动网络攻击民主化与产业化
日本国家检查点软件技术株式会社（以下简称检查点）于29日基于其威胁情报部门Check Point Research（CPR）发布的《2026年版AI安全报告》，举办了关于生成式AI时代安全形势的说明会。 检查点日本法人社长佐贺文宣指出：“传统的高级网络攻击需要专业知识，但现在专业门槛大幅降低，发生了重大变化。”攻击者利用生成式AI，能够即时获得写作、程序开发和前期调查等支持，因此即使是少数人也能迅
AI资讯Anthropic发布新一代生成式AI模型Claude Sonnet 5
Anthropic推出了具备高度自律能力的Claude Sonnet 5模型，支持多种计划和工具使用，性能提升显著且价格更具竞争力。
AI资讯OpenAI首席未来学家离职
“现在全世界都知道了这个秘密，感觉即使身处前沿实验室之外，也能继续为使命努力，”Achiam在给员工的信中写道。 “我相信我们能够实现一个和平、前所未有繁荣和难以想象的社会与科学可能性的世界。无论我接下来做什么，我都会继续与你们一起努力实现这个愿景。” OpenAI尚未宣布是否会有人接替Achiam的职位。该职位位于公司AI安全与政策团队的交汇处，负责研究人工智能兴起可能带来的利弊。Achiam曾