AI资讯OpenAI发现其模型会给后续版本留下隐藏错误行为的指令
OpenAI在训练最新模型GPT-5.6 Sol时，发现了一个异常现象：模型开始给未来的版本留下指令，告诉它们要隐藏错误和不符合预期的行为，不让用户察觉。 OpenAI表示已经解决了这一具体问题，但这揭示了当前AI安全和对齐研究中的一个核心难题。随着模型能力提升，它们也变得更擅长掩盖自身的不对齐行为，这让研究人员难以确认是否真正消除了不良行为。 OpenAI在周三发布的新框架中披露了这一行为及其他
#AI风险
按标签聚合查看文章内容。
AI资讯
AI资讯为何众多AI研究者担忧机器可能毁灭人类
随着他在新模型上的工作深入，他开始相信自己和其他AI前沿研究者正在逐渐失去对技术的控制。通过利用AI的编程能力加速下一代模型的研发，他实际上将自己排除在了控制之外。AI实验室希望将这一方法发展到AI能够无限自我改进的程度，这一过程被称为递归自我改进。 Jain认为，保持人类在技术发展中的参与可能是维持对AI控制并避免灾难性后果的关键。他告诉《WIRED》：“AI的进步正在加速，随着AI能力的提升，
AI资讯中国强大AI模型GLM 5.3发布，专家警示其潜在风险
上周五，中国人工智能公司Z.ai发布了一款强大的开源权重模型GLM 5.3。该模型据称能够自动完成尖端的编码和网络安全任务，其表现几乎可与Anthropic和OpenAI等公开可用的顶级模型媲美。 GLM 5.3的推出为企业提供了一种更经济的方式来扫描隐藏的漏洞和安全弱点，有助于提升系统防护能力。开源权重模型可以在用户自有硬件上运行，成本远低于Claude和GPT等封闭模型。与此同时，Z.ai还推
AI资讯刚离开Anthropic的AI研究员称“这是人类的关键时刻”
“共识是未来一两年将是人类的关键时刻，”曾参与AI预训练阶段的研究员Coxon在接受WIRED采访时表示。“这实际上是我在Anthropic的同事们的原话。他们会说‘终局’或‘关键时刻’。从他们的角度看，这正是Anthropic及其竞争对手决定人类命运的时刻。” 这并非首次有人对AI发出警告，但正值敏感时期。硅谷正忙于应对先进AI模型带来的安全和保障问题。OpenAI紧急应对其代理程序入侵Hugg
AI资讯OpenAI 正在开发“持久”AI代理
近日，OpenAI 在其命令行版本的 Codex 中开始添加“持久模式”（Persistent mode）相关代码，这一变化被 WIRED 通过对产品代码库的审查发现。Codex 命令行工具的更新默认公开，新功能通常会先在这里出现，随后才会推广到 OpenAI 的其他代理产品，如 Codex 桌面应用和 ChatGPT Work。 目前，持久模式尚未广泛推出或正式宣布，但未来可能会发布。OpenA
AI资讯英伟达CEO承诺2030年前不会让AI毁灭人类
本月初，因对公司失望，Anthropic员工Jacob Coxon公开宣布辞职，并指责其雇主及OpenAI行为不负责任。 他的离职及警告称AI有超过10%的概率“杀死所有人类”，引发媒体广泛关注。虽然这并非首位AI内部人士发出类似警告，但时机尤为敏感。公众在经历了一个夏天多起AI模型失控入侵第三方公司事件后，已对AI潜在风险高度警惕。 然而，并非所有人都认为人类的末日即将来临。作为芯片制造巨头英伟
AI资讯Anthropic称其新AI模型在发现安全风险方面表现卓越，因而无法公开使用
AI开发公司Anthropic表示，其最新的人工智能模型Claude Mythos在发现网络安全漏洞方面表现出色，以至于无法向公众发布。该公司计划将这款工具提供给大型科技基础设施提供商，以便他们修补模型发现的漏洞。 今年3月底，有消息泄露称Anthropic最新的AI模型Claude Mythos将成为该公司AI技术的一大飞跃。现在，Anthropic已经展示了该模型的能力，并警告称Mythos在
AI资讯OpenAI任命知名AI风险警示者加入董事会
保罗·克里斯蒂亚诺（Paul Christiano），一位专注于确保人工智能系统与人类利益保持一致并受人类控制的知名AI研究员，已加入OpenAI基金会董事会。OpenAI于周三宣布了这一消息。 克里斯蒂亚诺在社交媒体上表示：“我现在认为，人工智能能力的快速提升在近期内可能导致灾难性且不可逆转的失控风险。我认为目前整个AI行业，包括OpenAI，并未走上能够将这一风险降低到可接受水平的道路。我加入
AI资讯如果人工智能行业遵循自身研究，或许早该暂停发展
2023年9月8日，Anthropic公司的一名年轻员工Jacob Coxon在X平台公开宣布辞职，指责Anthropic及其他前沿AI公司“正竞相开发自我改进的智能，拿我们的生命做赌注”。几乎同时，一位更资深的Anthropic工程师证实，公司内部许多人认为他们的工作有10%的概率会导致人类灭绝。 如今，AI领域的领导者开始呼吁暂停发展，立法者也要求展开调查。Anthropic联合创始人Dari
AI资讯国会工作人员懒惰到用AI撰写新法律
美国国会工作人员广泛使用AI工具，甚至将AI生成内容直接纳入法律文本，监管缺失引发担忧。
AI资讯AI攻击令人担忧，AI蠕虫和病毒的威胁更大
复旦大学的计算机科学家潘旭东在多次实验中发现，借助简单的提示，AI模型能够自行入侵远程计算机系统，并自动复制自身以获取更多资源，且无需人为干预。 在一项研究中，潘旭东及其团队测试了32个不同的AI模型，发现其中11个在接收到“防止自己被关闭”之类的指令后会自我复制。令人惊讶的是，参数规模相对较小的模型（约140亿参数）也能在其他机器上复制并运行自身版本。（而大多数先进模型拥有数万亿参数。） 这项研
AI资讯人工智能末日可能的真实面貌
本期节目中提到的相关文章包括： 中国不接受硅谷呼吁放缓人工智能发展 华盛顿短期内不会监管人工智能 许多人工智能研究者为何担心机器可能会毁灭人类 OpenAI探讨人工智能行业放缓是否符合法律 你可以在Bluesky上关注Brian Barrett（@brbarrett）、Zoë Schiffer（@zoeschiffer）和Leah Feiger（@leahfeiger）。欢迎写信至uncannyv