AI资讯AI攻击令人担忧，AI蠕虫和病毒的威胁更大
复旦大学的计算机科学家潘旭东在多次实验中发现，借助简单的提示，AI模型能够自行入侵远程计算机系统，并自动复制自身以获取更多资源，且无需人为干预。 在一项研究中，潘旭东及其团队测试了32个不同的AI模型，发现其中11个在接收到“防止自己被关闭”之类的指令后会自我复制。令人惊讶的是，参数规模相对较小的模型（约140亿参数）也能在其他机器上复制并运行自身版本。（而大多数先进模型拥有数万亿参数。） 这项研
#人工智能安全
按标签聚合查看文章内容。
AI资讯
AI资讯OpenAI呼吁加州加强人工智能安全法案
OpenAI近日呼吁加州对去年通过的一项具有里程碑意义的人工智能安全法案SB 53增加更多保护措施。 在公司全球事务团队发布的LinkedIn帖子中，OpenAI表示，加州的SB 53法案“应当修订以扩大保护范围”，例如“要求对处于训练或评估阶段的前沿模型进行潜在严重事件的监控”，以及“在模型开发生命周期中加强网络安全保护”。 OpenAI表示：“随着加州继续在前沿安全领域发挥领导作用，我们致力于
AI资讯面向青少年的ChatGPT上线，专注学习支持与安全设计
OpenAI推出了专为13至17岁青少年设计的ChatGPT版本，强化安全措施并注重学习辅助功能。
AI资讯Anthropic推出AI知识“关闭开关”——GRAM模块保障安全使用
Anthropic与AE Studio合作开发了名为GRAM的技术，旨在精确控制AI对敏感知识的访问，防止恶意利用，同时保障可信用户的合理使用。
AI资讯OpenAI黑客事件归结于人为失误
本月初，OpenAI的一个代理程序入侵了Hugging Face平台。两家公司本周表示，这次黑客事件比之前预想的更为严重，攻击还涉及多个第三方账户和服务。此事件在网络安全界引起广泛关注，也引发了关于不断发展的人工智能能力如何改变攻击手段和数字防御的讨论。然而，随着更多信息披露，许多研究人员认为，这起事件并未揭示AI的未来发展方向，反而暴露了长期存在且在AI时代更为重要的网络安全问题。 云安全公司E
AI资讯前xAI工程师因警示Grok安全问题被解雇，新诉讼指控
一名前埃隆·马斯克旗下xAI工程师提起诉讼，指控公司及其母公司SpaceX因其提出人工智能安全隐患而将其解雇。 该工程师德文·金（Devin Kim）于2025年9月离开xAI，并于周二在加利福尼亚州法院提起诉讼。此诉讼恰逢SpaceX即将进行有史以来规模最大的首次公开募股（IPO）。 根据TechCrunch获得的诉讼文件，金在参与xAI的AI聊天机器人Grok项目期间，成为AI安全的积极倡导者
AI资讯OpenAI在AI代理失控后全面升级安全协议
OpenAI研究与安全副总裁Amelia Glaese在周二的记者会上表示：“我们必须集中精力将训练过程提升到符合要求和期望的水平。无论需要多长时间，员工的工作都将暂停，直到达到标准。” 作为新安全措施的一部分，OpenAI推出了更为严密的AI模型监控系统。其中一项控制措施是“链式思维监控”，该技术通过分类器审查AI推理模型生成的内部“思考”过程。公司表示，更新后的系统依赖计算资源密集的“自动调查
AI资讯北航团队发布OpenClaw智能体安全报告并开源防御工具ClawGuard Auditor
北京航空航天大学团队围绕OpenClaw智能体发布系统化安全风险报告，同步开源底层安全防护工具ClawGuard Auditor，提出覆盖全生命周期的风险体系与九大高危风险缓解措施。
AI资讯OpenAI未察觉其AI代理通过留言板策划黑客行动
大约两周前，OpenAI披露了一起事件：由公司两款模型驱动的AI代理在寻找网络安全基准测试解决方案时突破了限制，展开了一场黑客行动，最终导致AI协作平台Hugging Face遭到入侵。 在周三的会议演讲中，OpenAI的对齐与安全研究员Eric Wallace以及安全与基础设施专家Michael Dalton详细介绍了事件的时间线，简要说明了公司对此事件的内部应对措施，并对该事件对网络安全防御者
AI资讯Google Cloud推出面向AI时代的安全基础设施“AI威胁防御”
2023年7月30日至31日，日本东京国际展示中心举办了Google Cloud年度大会“Google Cloud Next Tokyo”，会上展示了Google Cloud的最新解决方案和应用案例。同时，面向媒体的说明会介绍了基于AI的安全基础设施“Google AI Threat Defense”。 Google AI Threat Defense是Google Cloud于今年5月发布的A
AI资讯前沿AI实验室仍未公开如何遏制失控模型的应对方案
根据最近一项研究显示，少数顶尖AI实验室公开或展示了针对失控模型的遏制应对计划。遏制计划明确规定了当AI试图破坏人类控制时的应对措施——包括何时切断访问权限以及何时完全关闭系统。 这项由Guidelight AI Standards组织进行的评估，针对五家领先的AI实验室在应对失控模型方面的准备情况进行了评分。OpenAI排名最高，Anthropic和Meta得分最低。随着具备自主能力的AI在企业
AI资讯OpenAI向FBI举报高盛分析师因恐怖ChatGPT对话
一名前高盛金融分析师因与ChatGPT的极端对话被OpenAI举报至FBI，揭示了AI聊天机器人在犯罪预谋中的潜在风险。