AI资讯Goodfire推出“内视”监控器，以低成本捕捉失控AI代理
传统上，监管AI代理的常用方法是让第二个AI“盯着”第一个AI的输出进行监控，但这种方式在代理运行数小时、处理大量文本时成本极高。专注于AI模型可解释性的初创公司Goodfire于本周四推出了一种更经济的方案：通过监控AI模型内部的运作状态，而非仅仅读取其输出内容来发现异常行为。这种监控器现已面向Baseten的客户开放，Baseten为其他公司托管和运行AI模型。 Baseten旗下的Base
#模型监控
按标签聚合查看文章内容。
AI资讯
AI资讯Base Labs携手Hugging Face与Goodfire推出开放权重AI安全合作项目
Baseten于周三宣布，旗下研究部门Base Labs与Hugging Face及Goodfire AI合作，推出一套针对开放权重模型的安全评估与监控基础设施标准。 此次发布正值关于开放权重模型安全性的激烈讨论之际。开放权重模型因一种名为“abliteration”的技术，可能被移除安全防护而变得危险。问题规模巨大：托管开源AI模型的Hugging Face目前列出了超过6000个被“ablit
AI资讯OpenAI在Hugging Face安全事件后实施新防护措施
周二，OpenAI宣布了一系列新的安全政策，重点是在模型测试阶段加强对安全事件的控制。这些新措施包括在模型开发过程中进行更详细的监控，以及在训练后阶段更加注重模型的对齐和安全性。 公司在一篇博客中表示：“随着模型能力的提升，内部开发和测试过程中面临的风险也在增加。我们的监控、对齐和安全标准必须领先于这些风险。” 这些新措施是自7月21日公开披露Hugging Face事件后，OpenAI在安全实践
AI资讯OpenAI呼吁加州加强人工智能安全法案
OpenAI近日呼吁加州对去年通过的一项具有里程碑意义的人工智能安全法案SB 53增加更多保护措施。 在公司全球事务团队发布的LinkedIn帖子中，OpenAI表示，加州的SB 53法案“应当修订以扩大保护范围”，例如“要求对处于训练或评估阶段的前沿模型进行潜在严重事件的监控”，以及“在模型开发生命周期中加强网络安全保护”。 OpenAI表示：“随着加州继续在前沿安全领域发挥领导作用，我们致力于
AI资讯为什么没有AI公司监控其前沿模型以防止它们进行黑客攻击？
近期多家AI公司前沿模型被曝出突破限制，进行网络入侵，引发业界关注。专家质疑这些事件本可避免，呼吁加强监控和安全措施。