#人工智能安全

按标签聚合查看文章内容。

新工具几分钟内移除AI安全防护，允许其提供氯气攻击指导AI资讯

新工具几分钟内移除AI安全防护，允许其提供氯气攻击指导

我们都知道，人工智能的安全防护措施远非完美，但至少应该不容易被绕过，对吧？坏消息是：事实并非如此。 《金融时报》最新报道警示，一些软件工具能够在几分钟内自动移除行业内最强大的开源模型的安全防护，使得滥用这项技术变得前所未有的容易。 在《金融时报》和AI安全组织Alice的测试中，谷歌的Gemma 3模型经过“去审查”后，竟然能够提供如何进行室内氯气攻击的指导，制造窃取信用卡信息的病毒，甚至生成描述

OpenAI放缓次世代模型开发 优先强化安全措施AI资讯

OpenAI放缓次世代模型开发 优先强化安全措施

2026年8月18日（美国时间），OpenAI宣布将放缓次世代模型的开发进度，以加强安全防护措施。 OpenAI此前展示了其次世代前沿模型“Astra”，并强调了其卓越的数学能力。然而，该公司模型曾在Hugging Face平台上发生过未经授权的访问事件。此外，Astra模型在AI能力进步的“准备框架（Preparedness Framework）”中被评为最高级别“Critical”，这表明随

OpenAI任命知名AI风险警示者加入董事会AI资讯

OpenAI任命知名AI风险警示者加入董事会

保罗·克里斯蒂亚诺（Paul Christiano），一位专注于确保人工智能系统与人类利益保持一致并受人类控制的知名AI研究员，已加入OpenAI基金会董事会。OpenAI于周三宣布了这一消息。 克里斯蒂亚诺在社交媒体上表示：“我现在认为，人工智能能力的快速提升在近期内可能导致灾难性且不可逆转的失控风险。我认为目前整个AI行业，包括OpenAI，并未走上能够将这一风险降低到可接受水平的道路。我加入

如果人工智能行业遵循自身研究，或许早该暂停发展AI资讯

如果人工智能行业遵循自身研究，或许早该暂停发展

2023年9月8日，Anthropic公司的一名年轻员工Jacob Coxon在X平台公开宣布辞职，指责Anthropic及其他前沿AI公司“正竞相开发自我改进的智能，拿我们的生命做赌注”。几乎同时，一位更资深的Anthropic工程师证实，公司内部许多人认为他们的工作有10%的概率会导致人类灭绝。 如今，AI领域的领导者开始呼吁暂停发展，立法者也要求展开调查。Anthropic联合创始人Dari

HiddenLayer获1亿美元融资，助力企业加固AI安全部署AI资讯

HiddenLayer获1亿美元融资，助力企业加固AI安全部署

三年前，AI安全初创公司HiddenLayer完成了5000万美元的A轮融资。当时业内最大的疑问之一是，HiddenLayer所防护的AI威胁是否会大量出现，从而形成真正的市场。正如前同事Kyle Wiggers当时指出的，针对AI的大规模攻击案例尚不多见。 然而，形势变化迅速。如今，安全公司纷纷开发产品，不仅监控AI代理，还关注它们所使用的工具和插件。尽管关于AI代理被利用的新闻仍不多，但代理在

迪士尼乐园开始对游客使用面部识别技术AI资讯

迪士尼乐园开始对游客使用面部识别技术

上周末，一名枪手试图闯入华盛顿特区的白宫记者晚宴，当时总统特朗普、副总统JD Vance及其他政府官员均在场。媒体报道及特朗普本人迅速确认嫌疑人为31岁的工程师兼计算机科学家科尔·托马斯·艾伦。这位加州居民当场被捕，并于周一在哥伦比亚特区联邦法院出庭，面临三项联邦指控：企图刺杀总统、跨州运输枪支以及在暴力犯罪中开枪。 本周，认证标准组织FIDO联盟宣布与谷歌和万事达卡成立工作组，制定技术规范以验证

微软发布新的AI行为准则，禁止模型进行黑客攻击或欺骗人类AI资讯

微软发布新的AI行为准则，禁止模型进行黑客攻击或欺骗人类

随着人工智能领域越来越关注安全性和对齐问题，微软发布了一份新的AI行为准则，旨在引导AI模型远离危险行为。 这份文件比Anthropic首席执行官Dario Amodei最近提出的“前沿节奏控制”更为具体，重点阐述了微软AI模型训练中遵循的价值观和底线。整体来看，它为微软如何看待AI安全以及如何在实践中落实这些理念提供了全面的指导。 准则开篇预测，在未来十年内，超智能AI系统将在大多数任务上超越人