Cognition是一家年轻的公司，即使在硅谷标准中也算年轻。它于2024年初开发了自主AI软件工程师Devin，当时智能代理的基本机制还不成熟。
Devin承担着工程师们常常无法完成的任务：代码库迁移、积压的漏洞修复以及不断推迟的功能开发。Cognition的客户涵盖高速成长的初创企业到财富500强公司，要求极高。Devin编写的代码必须可靠且可直接投入生产；任何细微的错误都可能引发严重后果。
Alberti团队负责训练和测试Devin背后的模型，自始至终几乎使用过每一代Claude模型。他认为真正的飞跃始于2024年底的Claude 3.6 Sonnet，这是首个能够稳定串联工具并完成多步骤任务的模型。将其接入Devin后，内部使用量激增三倍。
正因如此，Alberti很难被轻易打动。Cognition曾多次见证模型在基准测试中表现优异，却在工程师实际使用时崩溃。“我们被坑过很多次，”Alberti说。因此团队更信任自家工程师的实际体验，而非任何分数。顶尖开发者会用一天时间检验每个新模型，标准是代码是否值得保留。
正如Alberti所言，“我们不信任任何评测。”
早期模型的瓶颈
尽管进步显著，但仍有一大难题：智能代理能持续运行多久而不丢失上下文？
“在Fable之前，代理最多能专注几分钟，最多一小时，”Alberti说。超过这个时间，任务就会偏离。给早期模型同时处理五个想法，它就会迷失方向，变得混乱。一次数据库迁移中，旧版Opus模型虽然完成了任务，但引入了一系列细微错误。
故障排查也呈现类似问题。早期模型倾向于停留在日志表面，难以深入找到关键行，而且它们被训练成无论如何都要给出答案——因此它们会“自信地断言第一个合理的发现，然后停止”。工程师们学会忽略它们的回答。
Claude Fable 5达成Cognition的高标准
Cognition基于自建的Frontier Code基准评测模型，因为现有评测往往奖励那些通过测试但无法在真实代码库中生存的代码。Alberti称之为“反糊涂”标准。在最难的子集上，旧版Opus模型得分约10%，而Claude Fable 5得分约30%。
团队最初对此持怀疑态度。“是不是评测有问题？这不可能是真的。”通常基准分数提升，工程师们会争论数周模型是否真的更好。这次内部试用结果与分数一致。“说实话，这让人震惊，”Alberti说。
“我们注意到的最大变化是持续时间，也就是模型能自我维持多久，”他说。“有些任务我准备睡觉时会说，‘请继续工作，直到我醒来别停。’结果我醒来时，它已经连续工作了八小时，并且取得了实质进展。这是我以前从未见过的。”
Claude Fable 5之所以能持续，是因为它在复杂环境中保持清晰头脑。它是首个能正确使用Cognition内部调试工具的模型，能在浏览器中翻阅日志并在噪声中得出结论。在一次让早期模型失败的迁移任务中，它明确了自身必须遵守的不变条件，并据此执行。在故障排查时，它能定位根本原因，并坦言自己不知道的部分，Alberti认为这才是真正重建信任的关键。
他将这次飞跃归为少数真正意义上的质变之一，大约每年出现一次。
未来展望
Cognition的初衷是让智能代理能在云端连续运行数小时。过去一年，模型尚未达到这一目标。
Alberti表示，Claude Fable 5让这一愿景成为可能，部分功能已集成到产品中。Devin可以监控Slack频道，主动介入问题而无需被@提醒，或自行监控生产环境并处理异常。当它成功解决问题时，感觉就像团队中真正的工程师。
他预计这将成为工程团队的默认工作方式。未来一两年内，90%的代理会主动发现问题，扫描代码库并发送修复建议。
“很多我们一直想在公司实现的功能，现在都变成可能了，”Alberti说。
开始体验Claude Fable 5。
