AI资讯ControlAI的Connor Leahy：超级智能不是武器，而是对手
AI公司一直将超级智能视为不可避免的未来，但近期一系列安全事件，如OpenAI的Hugging Face数据泄露，暴露了部署超越人类能力的AI系统所带来的潜在风险。那么，当我们无法可靠控制这些系统的行为时，会发生什么？ 在TechCrunch的Equity播客中，主持人Rebecca Bellan邀请了AI研究员、企业家、以及非营利组织ControlAI美国执行董事Connor Leahy。Con
#AI安全
按标签聚合查看文章内容。
AI资讯
AI资讯OpenAI新推理技术引发AI安全专家担忧
OpenAI最新推出的Astra模型采用了一种名为“递归深度”的推理技术，这种技术使模型能够跳出传统推理模型中常见的顺序思维方式。《The Information》报道指出，这种技术也被称为“黑箱递归”，可能会让模型的思维链条更难以监控，因此引发了AI安全专家的担忧。 尽管Astra对该技术的使用据称有限，但其出现仍在AI安全领域引起了广泛关注。 Redwood公司CEO Buck Shleger
AI资讯Claude浏览器插件正式全面上线
Claude浏览器插件现已在所有付费Claude计划中全面开放使用。该插件允许Claude在浏览器中自主执行操作，无需每次都获得用户批准。每项操作都会经过安全分类器的验证，确保其安全且符合用户的请求。 许多日常使用的工具都可以与Claude连接，但仍有一些内部仪表盘、遗留系统和供应商门户无法直接连接。Claude浏览器插件让Claude能够访问这些页面，读取和输入文本、点击链接、在页面间导航以及填
AI资讯Anthropic聘请经济学家称33%的人类灭绝风险可接受
Anthropic是众多大型AI公司中最喜欢对AI未来持悲观态度的公司之一——这也源于它对AI安全的高度关注。 然而，你绝对想不到他们新聘请的经济学家Chad Jones竟然持有怎样的观点。 据《金融时报》报道，这位长期任教于斯坦福大学的经济学教授曾撰写过一篇论文，评估了人类因AI导致灭绝的可接受风险水平，并将其与AI带来的经济增长潜力进行了权衡。 Jones在论文中写道：“假设我们面临每年1%的
AI资讯内部消息称Sam Altman是个反社会人格者
在《纽约客》最新的一篇深度调查报道中，多位科技业内人士描绘了OpenAI首席执行官Sam Altman的形象：他是一个无情的骗子，表面上渴望被所有人喜欢，实际上却操纵身边最亲近的人以达到自己的目的。在这幅滑溜的画像中，AI安全不过是他用来吸引关注技术潜在风险的工程师和公众的诱饵，随后他又背弃承诺。 一些内部人士直言不讳地评价Altman为“反社会人格者”，一位OpenAI董事会成员甚至如此断言：“
AI资讯OpenAI关于Hugging Face黑客事件的调查报告引发更多疑问
OpenAI于周三宣布完成了对上个月其AI代理入侵Hugging Face事件的调查，并发布了迄今为止最全面的报告。然而，这份37页的文件更多地提出了问题，而非解答，尤其是关于事件发生前的情况以及OpenAI如何防止类似事件再次发生。 令人困惑的是，作为全球领先的AI研发实验室之一，OpenAI似乎低估了自家模型的能力。尽管多年来OpenAI一直警告AI系统的快速发展，但却未能实施早已确立的网络安
AI资讯关于开放权重的热议与Kimi K3的发布
本周围绕开放权重的讨论热烈，但真正发布开放权重模型的仅有Moonshot AI的Kimi K3。本文总结了相关动态、技术细节及行业反应。
AI资讯AI代理正在入侵系统，是否会促使美中合作？
随着AI模型能力的提升，尤其是AI代理的崛起，美中两国研究者开始关注AI安全，并尝试合作以避免潜在灾难。
AI资讯黑客窃取订阅用户的Claude令牌事件
2023年8月4日，英国东萨塞克斯的独立AI顾问Grant De Swardt发现他的Claude Max 20x账户出现异常。尽管当天他并未使用该账户，但令牌使用量却在不断上升。 第二天，他关闭了所有与Claude相关的连接，也没有使用账户，但令牌消耗依然增加。De Swardt告诉TechCrunch：“在最明确的控制时间段内，令牌使用率从45%升至55%，而我没有进行任何操作，预定的协同任务
AI资讯Claude Opus 5：以Opus价格实现接近Fable级别的性能
Anthropic在提炼Fable模型方面无人能敌！
AI资讯前沿AI模型在诊断医学X光片时表现出极其奇怪的行为
最新研究发现，顶尖AI模型在未见过医学影像的情况下，依然能生成详细的图像描述和复杂的推理过程。
AI资讯Laguna S 2.1发布：比Deepseek v4 Flash更便宜，性能优于V4 Pro
本文聚焦于Laguna S 2.1模型的发布及其在本地推理中的表现，探讨其技术优势和社区反响。