今天发布了Muse Spark Open模型的一个版本,虽然性能不及之前的Spark 1.3,但兑现了最初的承诺。值得关注的还有特斯拉Roadster的演示,虽然不完全属于AI范畴,但现实中的飞行汽车无疑令人兴奋。

本期重点报道关于模型可解释性和对齐性的罕见进展。去年我们关注过Goodfire团队的研究,以及Anthropic与可解释性方法的规模化经验教训。如今,Goodfire的Nick Cammarata发表了一篇重要论文《神经网络已然清晰》,提出许多被认为是多义性和权重叠加导致的复杂“结”其实可以通过更深入的代理分析被解开:

神经网络清晰示意图

这一发现降低了AI系统失控的风险,值得庆贺。

以下是近期AI领域的主要动态总结:

Meta发布Muse Spark Open

  • 该模型拥有8160亿参数(420亿活跃),支持文本、图像、视频和音频输入,适用于编码、长程推理和多步骤任务。
  • 架构包含62层解码器,全部为专家混合(MoE)结构,每层256个专家,每个token激活8个专家。
  • 采用混合注意力机制,部分层使用2048-token滑动窗口,部分层关注全上下文。
  • 该模型在美国开源权重模型中表现领先,智能指数得分39。
  • 许可协议要求注明“Built with Muse Spark Open”,并对年收入超过2000万美元的模型即服务业务有额外限制。

其他模型发布

  • NVIDIA Nemotron 3.5 Super VL:1200亿参数混合MoE视觉语言模型,支持100万token上下文。
  • 微软MAI-Base-2:约3万亿参数预训练基础模型,声称训练计算量远低于竞品。
  • Gemini 4 Argon:在多项能力指数中表现优异,已在Antigravity平台上线。

可解释性与安全性进展

  • Nick Cammarata指出,大多数神经元在万亿参数级别模型中是可理解的,之前约2%的可解释率被低估。
  • 该观点获得部分业内人士认可,但也有专家持保留态度,认为仍存在表征叠加和弱激活记忆事实的情况。
  • 其他研究关注训练数据泄露、代理模型行为测试及AI生成研究的诚信问题。

推理硬件与系统研究

  • Google TPUv7在代理推理基准测试中表现优异,性价比领先。
  • NVIDIA Vera Rubin机架在DeepSeek V4 Pro上实现高吞吐量。
  • Perplexity开源了基于Firecracker微虚拟机的安全代理任务平台SPACE。

代理、自动科学与研究

  • Sakana的Agentic Scientist系统实现了多代理并行协作,提升文档检索准确率。
  • AI辅助数学研究取得进展,三维Ghys猜想得到验证。
  • Meta和Google分别推出了提升代理模型性能的树搜索和动态进化方法。

行业与政策动态

  • Anthropic第三季度收入达168亿美元,预计2026年底营收达1100亿美元。
  • OpenAI和Anthropic各自向Simons基金会捐赠500万美元,支持数学领域AI安全研究。
  • Cohere收购网络安全代理公司Aisle,计划部署隔离环境。

社交媒体热议

  • Zuckerberg宣布Muse Spark Open权重发布,支持Mac Studio运行。
  • Nick Cammarata关于神经元可解释性的观点引发广泛关注。
  • OpenAI发布GPT-Live-1.1多语言语音更新。

Reddit社区讨论亮点

  • /r/LocalLLaMA社区热议Muse Spark Open,认可其多模态支持和推理能力,但对Meta许可和安全调优提出质疑。

整体来看,AI领域在模型规模、可解释性、安全性及推理硬件等方面均有显著进展,代理模型的深入分析为理解复杂神经网络提供了新视角,推动了AI系统的可靠性和透明度提升。