Z.ai的GLM模型近期备受关注，而Moonshot AI推出的Kimi K3则以其庞大规模和先进技术展开反击。Moonshot AI官方博客详细介绍了Kimi K3的技术细节和性能表现。

Kimi K3模型架构

Kimi K3的宣传视频完全由该模型编辑制作，值得一看。多位业内专家和社区成员对其进行了评测和排名，普遍认为K3在模型规模和性能上实现了质的飞跃。

AI Twitter综述

  • Moonshot AI正式发布了Kimi K3，定位为“开放前沿智能”，拥有2.8万亿参数，支持100万token上下文，原生多模态输入，采用Kimi Delta Attention（KDA）和Attention Residuals技术。模型已上线Kimi.com、Kimi Work、Kimi Code及API，承诺于2026年7月27日开放权重。
  • 产品聚焦于长远规划的智能编码、自我进化工作流，以及结合视觉的代码和游戏开发流程。
  • 早前泄露信息已透露K3为2.8万亿参数规模，若权重如期开放，将成为史上最大开源权重模型。
  • Moonshot承认K3在用户体验上仍有差距，落后于Claude Fable 5和GPT-5.6 Sol。
  • Arena平台宣布K3进入多个竞技场，并在前端代码竞技场中以1679分排名第一，远超Claude Fable 5，胜率达76%。
  • 在文本竞技场中，K3排名第九，表现优异，尤其在创意写作、编码和指令执行方面。
  • 独立评测机构Artificial Analysis将K3评为智能指数57分，性能相当于Opus 4.8和GPT-5.5，但整体仍略逊于Fable 5和GPT-5.6 Sol。
  • K3的任务成本约为0.94美元，低于Opus 4.8和GPT-5.6 Sol，显示出较高的性价比。
  • 社区普遍认为K3是开源模型领域的里程碑，接近甚至挑战顶级闭源模型。

技术细节

  • 架构参数：2.8万亿参数，100万token上下文，支持文本和图像多模态输入，计划7月27日开放权重。

  • 采用Kimi Delta Attention（KDA），实现百万token上下文解码速度提升6.3倍。

  • Attention Residuals技术提升训练效率约25%，仅增加不到2%的计算成本。

  • 结合LatentMoE技术，激活率低于2%，使用896个专家中的16个。

  • 引入新激活函数SiTU（Sigmoid Tanh Unit）和负载均衡机制。

  • KDA设计始于2025年1月，历时约1.5年达到前沿规模。

  • 推理定价为每百万输入token 3美元，输出token 15美元，缓存输入享受90%折扣。

  • 价格与Sonnet 5相近，综合估算每百万token约5.4美元，低于Opus 4.8和GPT-5.5。

  • 实时推理速度约为每秒28个token，略慢于Opus，推测尚未启用推测解码。

  • 推荐在64个以上加速器的超级节点上部署以获得最佳性能。

  • Moonshot为vLLM贡献了KDA前缀缓存实现，支持开源推理框架的高效运行。

评测与表现

  • K3在多个基准测试中仅次于Claude Fable 5和GPT-5.6 Sol，领先Opus 4.8。
  • GDPval-AA v2得分1687，高于Opus 4.8，略低于GPT-5.6 Sol。
  • 在AutomationBench-AA中胜率53%，排名第一。
  • 任务成本和输出token数均优于前代模型，效率显著提升。
  • Arena前端代码竞技场排名第一，胜率76%，表现突出。
  • 社区反馈K3在内核优化和代码生成任务中表现优异。
  • 但ProgramBench作者指出K3采用的部分评分指标可能夸大实际表现。
  • 另有评测显示K3幻觉率有所上升，准确率虽提升但仍需改进。

观点与讨论

  • 事实层面：Moonshot官方发布，参数和技术细节公开，独立评测支持其高性能表现。
  • 观点层面：部分观察者将K3视为开源模型的重大突破，认为其缩小了中美AI差距。
  • 技术谨慎派认为K3虽强，但仍落后于顶级闭源模型，且推理速度和用户体验有待提升。
  • 批评者关注其幻觉率上升、推理成本及部署难度，认为实际应用仍有挑战。
  • 政治层面，K3被视为中国实验室缩小与美国领先差距的标志，但产品化和生态建设仍是关键。

背景与意义

  • 技术上，K3展示了非标准注意力机制（KDA+AttnRes+LatentMoE）在大规模模型中的成功应用。
  • 系统层面，长上下文推理、前缀缓存和大规模加速器部署是实现实用性的关键。
  • 经济上，K3以较低价格提供接近顶级性能，提升了开源模型的竞争力。
  • 地缘政治上，K3的发布引发了对中美AI竞争格局的广泛讨论。

社区反馈与应用

  • 用户报告K3在网页体验、游戏开发和着色器代码生成方面表现出色。
  • 有案例显示K3能在约60万token内完成复杂游戏克隆，成本低于部分闭源模型。
  • 也有用户指出模型响应较慢、冗长，依赖长历史推理，需优化使用体验。

开源与生态

  • 虽然“开放权重”不等于完全开源，但可调优权重对研究和开发意义重大。
  • Moonshot强调与推理合作伙伴的生态准备，确保权重发布顺利。
  • vLLM等开源项目已快速支持KDA，体现了生态系统的协同发展。

未来关注点

  • 权重是否按时发布及其实际可用性。
  • 第三方推理框架的性能和成本表现。
  • K3在隐藏评测和真实生产任务中的表现。
  • Moonshot如何缩小用户体验和后训练差距。

相关技术与趋势

  • NVIDIA发布了Nemotron 3 Embed 8B，提升检索性能。
  • LlamaIndex推出gRPC接口，优化文档处理管道。
  • Weaviate扩展了托管向量搜索服务。
  • 多方关注代理系统、记忆标准和自我改进工作流。
  • OpenAI和Anthropic持续改进安全、产品化和开发者工具。
  • Google推出Gemini Omni视频生成编辑工具。
  • 机器人和世界模型领域也有突破，推动多模态和实体智能发展。

整体来看，Kimi K3的发布标志着开源大模型进入了一个新的阶段，性能和规模均达到了前沿水平，尽管仍有改进空间，但其对AI生态和产业格局的影响不容小觑。