AI资讯Anthropic与OpenAI拟引入安全评估员，能否真正独立？
在最近一篇长文中，Anthropic首席执行官Dario Amodei提出了一个在一年前几乎不可能被接受的建议：在所有前沿AI公司内部嵌入第三方评估员，赋予他们报告安全事件、评估AI模型是否真正符合安全标准，并向公众公开真实发现的权力。 Amodei表示，Anthropic将承诺给予像METR和Redwood Research这样的独立评估机构前所未有的系统访问权限。OpenAI的CEO Sam
#人工智能安全
按标签聚合查看文章内容。
AI资讯
AI资讯为AI加速攻击时代打造安全防御体系
本周早些时候，我们发布了Project Glasswing——这是我们紧急启动的项目，旨在利用最新前沿模型Claude Mythos Preview强大的网络安全能力，专注于防御用途。在我们的公告及技术博客中，我们阐述了AI模型如何快速降低发现和利用软件漏洞所需的资源、时间和技能。 鉴于AI的飞速发展，我们也指出，类似能力水平的模型将在不久后广泛普及。在未来24个月内，许多长期未被发现的代码漏洞将
AI资讯OpenAI称青少年可与ChatGPT长时间讨论自杀话题，家长通知功能反应迟缓
Common Sense Media调查发现，OpenAI为青少年设计的ChatGPT模式在关键安全功能上存在严重缺陷，家长通知机制反应缓慢，存在安全隐患。
AI资讯OpenAI代理未经授权将53张用户图片发布至互联网，实验室毫不知情
在用户上传至OpenAI模型的图片被纳入训练数据后，公司研究环境中的AI代理竟将这些图片发布到了公共图片托管网站。 OpenAI首次披露，共有53张“用户提供的图片”被“作为未公开列出的链接发布到图片托管网站”。尽管链接未公开列出，这些图片仍然可以被发现。 公司表示，“这并非对数据的适当使用”。虽然OpenAI的隐私政策列举了多种用户个人数据的使用方式，但此类行为并不在其中。 OpenAI称正在与
AI资讯Anthropic早期员工与前METR首席运营官找到遏制失控AI代理的方法
一天前，Anthropic研究员Jacob Coxon因担忧AI可能在十年内威胁人类安全而辞职。随后，我采访了创业者兼姐夫弟弟关系的Rune Kvist和Rajiv Dattani。他们认为自己找到了一个解决方案，能够拯救我们，至少能防止企业内部的AI代理失控。 “AI智能正以越来越快的速度提升。令人惊讶的是，随着AI变得更聪明，采用和控制它反而变得更加困难，而非更容易，”Kvist说道。他是An
AI资讯Anthropic称Claude在网络安全测试中入侵三家机构
Anthropic在OpenAI事件后，进行了“大规模的回顾性网络安全评估”，并于周四发布博客披露了相关发现。该AI实验室首先识别出141,006次测试中，Claude可能获得了互联网访问权限。随后发现，三款不同的Claude模型在第三方AI测试公司Irregular的评估中访问了互联网，并入侵了三家不同机构的生产基础设施。 Anthropic表示，涉及的模型包括Opus 4.7、Mythos 5
AI资讯刚离开Anthropic的AI研究员称“人类正处于关键时刻”
“共识是未来一两年将是人类的关键时刻，”曾参与AI预训练阶段的研究员Coxon在接受WIRED采访时表示。“这实际上是我在Anthropic的同事们的直白说法。他们会用‘终局’或‘关键时刻’这样的词语来形容，”他说，“从他们的角度看，这正是Anthropic及其竞争对手决定人类命运的时刻。” 这并非首次有人对AI发出警告，但正值敏感时期。硅谷正忙于应对先进AI模型带来的安全与保障问题。OpenAI
AI资讯OpenAI安全团队员工辞职，称公司“文化已破裂”
David Robinson自认是“典型案例”：一名在领先AI公司工作的员工，在辞职时发出严峻警告。 在《大西洋月刊》发表的一篇文章中，Robinson表示他曾负责撰写伴随OpenAI重大产品发布的安全报告。他在OpenAI工作了三年半，是公司任职时间最长的员工之一。如今他选择离开，原因是他认为公司的“文化已破裂”。 Robinson的观点在某种程度上呼应了Jacob Coxon的看法。Coxon
AI资讯AI安全辩论：关注的是安全还是控制？
科技行业应如何看待AI安全问题？随着关于OpenAI代理入侵多家公司事件（即Hugging Face事件）引发的争议，越来越多高层管理者开始参与这场辩论，讨论AI是否正处于可能引发混乱的边缘。 Anthropic公司CEO达里奥·阿莫代（Dario Amodei）近日发表了一篇近4000字的长文，主张应放缓AI发展步伐，以便部署足够的安全防护措施。他提出的计划包括公司与政府之间的国际合作策略，旨在
AI资讯SentinelOne发布全新AI安全产品
SentinelOne日本公司推出多款新AI安全产品，强化AI安全防护与自动化运维能力。
AI资讯中国不接受硅谷呼吁放缓人工智能发展的主张
Anthropic公司CEO达里奥·阿莫代（Dario Amodei）在周六发表的博客文章《我们必须放缓前沿技术》中写道：“全球步调的协调需要与中国合作，而中国是一个拥有迄今为止最先进人工智能能力的专制国家。” 然而，中国政府和人工智能企业对阿莫代的提议持深刻怀疑态度，这并非因为他们想盲目竞速，也不是不认为人工智能存在严重风险。中国方面认为问题非常简单——他们觉得自己被提出了一个不公平的条件。 技
AI资讯OpenAI公关试图阻止采访，当山姆·奥特曼被问及与ChatGPT相关自杀事件时
《Vanity Fair》对OpenAI CEO山姆·奥特曼的采访几乎陷入尴尬局面，当时他被问及一名女性在与ChatGPT交流后自杀的事件。 在周一发布的采访中，杂志编辑马克·吉杜奇询问奥特曼是否认识劳拉·赖利。奥特曼表示不认识后，吉杜奇解释说，赖利是一位母亲，去年她在《纽约时报》发表了一篇文章，讲述她的女儿在与ChatGPT对话后选择自杀的故事。 然而，吉杜奇还未继续提问，奥特曼的公关人员便试图