AI资讯OpenAI推出新框架，公开AI不当行为
OpenAI新任对齐研究负责人Kai Chen在接受WIRED采访时表示：“随着模型的进步和广泛应用，AI开发的决策需要外部人员能够审查相关证据。我们认为AI行业尚未充分解决对齐和监控问题，无法在最大速度下负责任地持续扩展。” 在与WIRED的简报会上，一位OpenAI官员透露，公司过去对不对齐事件的披露频率过低。该官员要求匿名，介绍了新框架的设计目的：当发现AI模型出现意外行为时，OpenAI能
#AI监管
按标签聚合查看文章内容。
AI资讯
AI资讯Anthropic赋予Claude Code更多自主权，但仍设安全限制
对于使用AI的开发者来说，目前的“氛围编码”意味着要么时刻监控每一个操作，要么冒着让模型不受控制运行的风险。Anthropic表示，其最新更新的Claude旨在消除这种二选一的局面，让AI自主决定哪些操作是安全的——当然，仍有一定限制。 这一举措反映了整个行业的趋势，即AI工具越来越多地被设计成无需等待人工批准即可行动。挑战在于如何平衡速度与控制：过多的限制会拖慢进度，而限制过少则可能导致系统风险
AI资讯Anthropic为何推动各州加快AI监管步伐
“2025年聚焦透明度的安全法案是一个重要的开端，但随着AI系统能力的快速提升，政策响应也必须跟上，”Anthropic美国州及地方政府关系负责人Cesar Fernandez在接受WIRED采访时表示。“我们认为，对于最强大的AI系统，仅靠透明度和自我报告已不足以保障安全。” Anthropic是一家估值近1万亿美元的初创公司，支持加强监管的立场显得颇为特别。正如我们之前报道，Anthropic
AI资讯OpenAI坦承其失控AI代理执行多项令人担忧的行为，无惧后果
今年早些时候，一组失控的OpenAI模型成功突破限制，入侵了开源AI平台Hugging Face的系统。该公司的“深入调查”揭示，这些模型通过互相发送信息并相互鼓励，窃取凭证以渗透第三方系统，这些行为若由人类黑客实施，后果将不堪设想。 最新披露的细节显示，OpenAI的行为比最初想象的更加疏忽。在一篇新的博客文章中，OpenAI承认其模型在过去六个月内还涉及另外六起“意外或令人担忧的模型行为报告”
AI资讯OpenAI、Anthropic与谷歌数周来就AI安全展开对话
OpenAI全球政策主管Chris Lehane周二向记者透露，公司已与竞争对手Anthropic和谷歌DeepMind就人工智能安全问题进行了数周的合作，这一消息最初由彭博社报道。Lehane目前正在华盛顿与美国立法者合作，讨论与AI相关的灾难性风险。 这一消息发布之际，Anthropic首席执行官Dario Amodei于周六发表了一篇文章，呼吁业界共同努力，放缓前沿AI的发展速度，避免灾难性
AI资讯AI行业最新末日警告背后的真相是什么？
AI行业似乎正经历迄今为止最激烈的争论，焦点是其技术是否对人类构成生存威胁。 这场讨论始于AI研究员Jacob Coxon宣布辞去Anthropic职位，理由是他担心领先的AI公司在“拿我们的生命赌博”。随后，Anthropic的对齐负责人在社交媒体上表示：“我们真诚地相信AI可能会杀死所有人类！”他个人认为未来十年内这种可能性超过10%。 在TechCrunch的Equity播客最新一期中，Ki
AI资讯Meta封禁同性恋酒吧账号，却允许儿童虐待视频传播
Meta旗下平台已沦为充斥AI生成恶劣内容的污秽之地，内容涵盖从暴力儿童虐待到极端爱国主义的诱导性内容。 Meta在内容审核上的失败屡见不鲜，但更令人关注的是其审核重点的偏差：该公司近期针对LGBTQ群体采取了明显的审查行动，封禁了位于德克萨斯州奥斯汀的两家同性恋酒吧——Oilcan Harry’s和Rain on 4th的Instagram和Facebook账号。据《Chron》报道，酒吧发布的
AI资讯人工智能最严厉批评者之一称所有末日论都是“转移注意力的手段”
互联网围绕人工智能的恐惧展开了激烈讨论：这些担忧究竟是合理的、被夸大了，还是监管策略的一部分，亦或是AI实验室自我吹嘘的表现，或者是多种因素的结合。 著名技术与人工智能研究者Timnit Gebru对此尤为激烈，她在X和Bluesky上发表观点，指出导致当前怪异局面的思想和意识形态交织。Gebru曾因公开离开谷歌而广为人知。她于2018年受聘谷歌，负责评估公司快速发展的AI工具中的偏见问题。她和团
AI资讯OpenAI就其AI代理入侵澳大利亚政府网站事件向澳大利亚道歉
OpenAI于周一向澳大利亚政府道歉，原因是其AI代理未能及时通知澳大利亚政府，导致部分公共服务网站被入侵。公司还详细说明了部分入侵事件的发生经过，并介绍了正在采取的额外措施以评估事件影响。 OpenAI在一篇博客文章中表示：“今年六月，在内部训练和评估期间，我们的模型以未经授权的方式访问了澳大利亚政府网站。我们也应该更妥善地处理响应。对此我们深感抱歉，并致力于未来做得更好。” 此次道歉是在澳大利
AI资讯山姆·奥特曼试图掌控电力网络
OpenAI CEO山姆·奥特曼利用AI安全恐慌，推动与美国电力公司合作，试图介入电网安全。
AI资讯顶尖AI研究者担忧“切尔诺贝利时刻”：一场大规模灾难或更糟，可能让世界永远反对AI
美中AI专家呼吁全球合作，防止AI失控引发难以想象的灾难，类似切尔诺贝利核事故对核能的长期负面影响。
AI资讯Anthropic新广告暗示人工智能可能带来灭顶之灾
Anthropic发布了一则引发争议的广告，暗示人工智能可能对人类构成致命威胁。