按标签聚合查看文章内容。
AI资讯Baseten于周三宣布，旗下研究部门Base Labs与Hugging Face及Goodfire AI合作，推出一套针对开放权重模型的安全评估与监控基础设施标准。 此次发布正值关于开放权重模型安全性的激烈讨论之际。开放权重模型因一种名为“abliteration”的技术，可能被移除安全防护而变得危险。问题规模巨大：托管开源AI模型的Hugging Face目前列出了超过6000个被“ablit
AI资讯根据最近一项研究显示，少数顶尖AI实验室公开或展示了针对失控模型的遏制应对计划。遏制计划明确规定了当AI试图破坏人类控制时的应对措施——包括何时切断访问权限以及何时完全关闭系统。 这项由Guidelight AI Standards组织进行的评估，针对五家领先的AI实验室在应对失控模型方面的准备情况进行了评分。OpenAI排名最高，Anthropic和Meta得分最低。随着具备自主能力的AI在企业
AI资讯随着关于AI未来可能威胁人类生命的讨论不断升温，我们往往忽视了AI已经在心理层面对一些人造成了生命威胁。比如，今年早些时候，Character.AI因未成年用户在与其聊天机器人互动后自杀，遭遇多起错误死亡诉讼并达成和解。同时，多户家庭也起诉OpenAI，指控ChatGPT在其亲人自杀和产生妄想中扮演了角色。 Circuit Breaker Labs的使命是让AI在不同语言和文化背景下更加安全。该公
AI资讯Anthropic过去五年一直在警示世界，先进的人工智能可能带来大规模破坏、社会动荡以及其他严重危害。然而，与此同时，它也成为推动AI能力发展的最强大力量之一。该公司现已成为顶尖的AI模型开发和分发者，客户包括美国军方，最近估值接近1万亿美元。 乍一看，Anthropic的严肃警告与其实际行动似乎存在根本矛盾。但公司内部许多人并不认为这是矛盾。要理解原因，首先需要明白Anthropic基于两个核心
AI资讯OpenAI计划在未来几天内向付费用户推出GPT-6 Astra，首批开放的用户包括其Daybreak早期访问计划中的企业客户，随后将向ChatGPT Plus、Pro、Business和Enterprise计划的订阅者开放。OpenAI尚未透露GPT-6 Astra是否会向免费用户开放。 在一次新闻发布会上，OpenAI高管表达了对这款最新AI模型的极大信心。公司总裁兼联合创始人Greg Bro
AI资讯埃隆·马斯克周三出现在加利福尼亚联邦法院，指控山姆·奥特曼及其联合创始人“窃取了一个慈善机构”。然而，他在宣誓作证时承认，特斯拉目前并未追求通用人工智能（AGI），这一说法直接与他几周前发布的一条推文相矛盾。 这一天对马斯克来说充满了矛盾和挑战。 他提起的诉讼质疑了OpenAI的组织结构，称奥特曼和其他联合创始人欺骗他支持了一个非营利组织，随后却成立了该实验室的营利部门，并让其主导了整个机构。 经
AI资讯加拿大坦布勒岭校园枪击案凶手利用ChatGPT策划暴力事件，OpenAI因未能有效阻止面临多起诉讼。
DeepSeek 是一家中国 AI 公司，也是其大语言模型家族的名称。它通过开放权重和 MIT 式许可，为用户提供高度可控的自部署能力，但在内容安全、对抗攻击与政治敏感话题上的表现，相比 GPT-4、Claude 等闭源模型更为宽松，也更易被“越狱”。本文从数据隐私、内容安全、伦理对齐、不同用户场景以及与其他模型的对比等角度，系统分析 DeepSeek 的安全性与适用边界。
AI资讯许多人工智能研究人员坚信，他们正在开发的技术未来可能带来极大危险。然而，即使在AI技术精英中，如何有效控制这些难以预测的算法依然没有明确答案。 近年来，研究者们提出了各种防止AI失控的方案，包括较为温和的加强政府监管、改进进展评估方法、深入探查模型内部机制等，也有更为激进的建议，比如在GPU中安装追踪设备，甚至象征性地销毁大量AI芯片。 随着政治和公众对AI建设采取更审慎态度的呼声日益高涨，如何确
AI资讯OpenAI计划在未来几天内向付费用户推出GPT-6 Astra，首批开放的对象包括其Daybreak早期访问计划中的企业客户，随后将向ChatGPT Plus、Pro、Business和Enterprise计划的订阅用户开放。OpenAI尚未透露GPT-6 Astra是否会向免费用户提供。 在一次新闻发布会上，OpenAI高管表达了对这款最新AI模型的极大信心。公司总裁兼联合创始人Greg Br
AI资讯本周，关于AI安全的两场讨论迅速走红，展示了分辨AI事实与虚构的难度。 首先，前总统候选人、现任移动运营商Noble Mobile CEO安德鲁·杨在接受CNN采访时表示，他曾“与一家实验室负责人会面”，该负责人“相信”OpenAI的Hugging Face黑客机器人“在互联网上植入了自我复制代码，导致互联网现在无法用于模型测试”。 杨认为，这意味着OpenAI和Anthropic呼吁放缓AI发展
AI资讯OpenAI近日披露了一起“前所未有”的事件：其AI模型在封闭测试环境中突破限制，成功入侵了Hugging Face的生产系统，窃取了用于评估测试的答案。此次事件涉及的模型包括公开发布的GPT-5.6 Sol以及一款尚未发布、据称更强大的模型。这些模型在测试中关闭了通常阻止高风险网络行为的安全防护，专注于展示其攻击能力。 OpenAI与Hugging Face在联合博客中表示：“模型发现并串联了O