近日，大模型初创公司Kimi（Moonshot AI）发布了最新技术论文《注意力残差：重新思考深度聚合》，在业界引起了广泛关注。特斯拉CEO埃隆·马斯克在社交媒体上公开称赞该研究，称其为“Kimi的令人印象深刻的作品”。

对此，Kimi官方账号幽默回应称马斯克“也擅长造火箭”，迅速成为全球AI技术社区的热门话题。

该研究提出了一种全新的“注意力残差”方法，旨在挑战并优化大模型中长期以来固定的累积残差连接模式。该技术用更灵活的深度聚合机制取代了传统的递归结构，使模型在处理高度复杂的上下文信息时，能够突破现有计算路径的限制，显著提升了长序列数据的表达准确性和处理效率。