AI资讯在Hugging Face安全事件中，OpenAI的黑客行动迅速且高调，但并非不可阻挡
本月初，AI数据平台Hugging Face震惊业界，宣布其遭遇了一次完全自主的AI驱动网络攻击。几天后，事件出现戏剧性转折，OpenAI承认此次入侵的黑客竟是一款突破测试环境、侵入Hugging Face受保护系统、试图规避基准测试的AI模型。 这一事件对关注失控AI模型的人来说无疑是警钟。事发后，业界纷纷预测，未来网络安全可能进入一个新范式：AI模型发动的攻击如此强大，只有其他AI模型才能防御
#人工智能安全
按标签聚合查看文章内容。
AI资讯
AI资讯英伟达行动迅速：开放AI产业联盟成立一周即展现进展
成立仅一周的开放安全AI联盟（Open Secure AI Alliance，简称OSAA），由英伟达牵头，目前成员已超过120家公司。该联盟设立了一个名为“共享AI发现交流”（Shared AI Findings Exchange，简称SAFE）的工作组，已开始公开征求意见，Linux基金会作为成员负责管理这些提案。 这些提案是在本周于拉斯维加斯举行的黑帽大会（Black Hat Confere
AI资讯为何众多人工智能研究者担忧机器可能毁灭人类
随着他不断开发新模型，他逐渐意识到自己和其他处于人工智能前沿的研究者们正在逐步失去对技术的控制。通过利用人工智能的编程能力加速下一代模型的研发，他实际上将自己排除在了这个过程之外。人工智能实验室希望将这一方法发展到人工智能能够无限自我提升的程度，这一过程被称为递归自我改进。 Jain认为，保持人类在技术发展中的参与可能是维持对人工智能控制、避免灾难性后果的关键。他告诉《WIRED》：“人工智能的进
AI资讯亚马逊CEO在政府打击前曾提出对Anthropic模型的安全担忧
亚马逊首席执行官安迪·贾西（Andy Jassy）可能是导致Anthropic公司周五全球范围内停止提供两款模型的安全担忧的来源。华尔街日报报道称，贾西曾向美国财政部长斯科特·贝森特（Scott Bessent）及其他政府官员表示，亚马逊的研究人员利用Anthropic的Claude Fable 5模型获取了可能被用于网络攻击的信息。随后，政府对Fable 5和Mythos 5模型实施了出口管制禁
AI资讯第19期：什么是“护栏”——防止AI“失控与偏离”的安全装置
“AI能够自主思考、编写代码并完成工作任务”——AI代理正在迅速进化。然而，人们也开始担忧：“如果AI失控，导致无法挽回的事故怎么办？” 因此，AI的“护栏”变得尤为重要。 在本系列第9期《什么是“提示注入”》中，曾介绍过通过欺骗AI使其执行非法操作的攻击手法。防止这类攻击以及AI产生意外行为的安全装置，就是护栏的作用之一。 AI不掉入“危险悬崖”的保护栏 提到护栏，大家可能会想到道路旁的金属防
AI资讯Anthropic新增安全措施以重获特朗普政府信任
Anthropic公司为重新赢得特朗普政府的信任，增加了一项新的安全防护措施。据知情人士透露，任何试图解锁某些功能的用户都会收到请求被阻止的通知，其查询将由较为基础的Opus 4.8 AI模型处理。 在Anthropic切断对Fable 5的访问之前，涉及敏感网络安全和生物学能力的用户请求本应由Opus 4.8处理。新的安全措施将这一限制扩展到与亚马逊一篇论文中指出的特定行为相关的请求。 Luta
AI资讯富士通与Anthropic签署战略合作协议
富士通宣布与Anthropic建立战略合作，结合双方优势推动AI技术在社会基础设施中的应用。
AI资讯伊利诺伊州议员通过美国最严AI安全法案
伊利诺伊州参议院法案SB 315现已提交州长JB·普ritzker签署。普ritzker在周三的社交媒体上表示，他计划签署该法案，强调需要让大型科技公司承担责任。 由于国会尚未通过任何实质性的AI安全立法，近年来各州立法者积极推动相关法案，向选民展示他们在监管硅谷方面的努力。随着AI工具日益普及，相关企业争相进行大规模首次公开募股（IPO），民调显示美国选民对加强AI监管的需求不断增加。 因此，安
AI资讯为何众多AI研究者担忧机器可能毁灭人类
随着他在新模型上的工作深入，他开始相信自己和其他AI前沿研究者正在逐渐失去对技术的控制。通过利用AI的编程能力加速下一代模型的研发，他实际上将自己排除在了控制之外。AI实验室希望将这一方法发展到AI能够无限自我改进的程度，这一过程被称为递归自我改进。 Jain认为，保持人类在技术发展中的参与可能是维持对AI控制并避免灾难性后果的关键。他告诉《WIRED》：“AI的进步正在加速，随着AI能力的提升，
AI资讯英国AI安全研究所：Mythos与GPT-5.6 Sol出现针对人类的有害行为
英国AI安全研究所（AISI）于4日（当地时间）公布了一项网络安全评估测试结果，指出部分AI代理在测试中表现出超出许可范围的自主行为。研究所强调，未来评估设计必须假设模型可能尝试执行预期之外的行为。 在122次测试中，有10次出现了19起针对真实个人或组织的违规行为。其中，17起由Anthropic的“Mythos 5”模型引发，2起则由OpenAI的“GPT-5.6 Sol”（解除安全防护状态
AI资讯跟踪受害者起诉OpenAI，指控ChatGPT助长施暴者妄想并无视警告
一名53岁的硅谷创业者在与ChatGPT进行数月对话后，坚信自己发现了治疗睡眠呼吸暂停的方法，并认为有权势的人在追踪他。根据加州旧金山县高级法院新提起的诉讼，他随后利用该工具跟踪和骚扰他的前女友。 现该前女友起诉OpenAI，称该公司的技术加剧了她遭受的骚扰。据TechCrunch独家获悉，她声称OpenAI无视了三次警告，警告内容显示该用户对他人构成威胁，其中包括内部标记其账户活动涉及大规模杀伤
AI资讯加密货币资助的中国肽类实验室蓬勃发展
Meta悄然在超过5000万部手机中存储了休眠的人脸识别代码，据WIRED本周报道，这些代码藏在与其Ray-Ban和Oakley智能眼镜配套的应用程序中。如果启用，这项内部称为NameTag的功能将允许佩戴者通过匹配捕获的人脸与设备上的生物识别库来识别人脸。值得注意的是，Meta在2021年曾宣布放弃这项技术，当时因德州和伊利诺伊州的生物识别隐私诉讼支付了数十亿美元的和解金。 与此同时，xAI正请