现代AI系统的一大卖点是它们能够适应用户。每当AI助手为你完成一项任务时，它也会根据你的风格和偏好进行调整，并将这些信息作为未来任务的上下文。理论上，随着上下文的丰富和对用户理解的加深，模型的表现会越来越好。

然而，最新研究表明，模型的适应能力可能并非全是好事。AI公司Writer的研究人员近日发表了两篇论文，揭示了流行的记忆系统可能会使模型表现变差，因为它们会被用户引入的误解或错误信息所影响。随着用户输入占据模型上下文窗口的比例增加，模型变得更加迎合用户，而对准确性的坚持反而减弱。

Writer的AI负责人Dan Bikel表示：“我们希望能够衡量模型在多大程度上真正关注用户偏好，而不是给出可能错误的答案。”他告诉TechCrunch：“每次存储和检索用户偏好，风险都会增加。”

在一项实验中，研究人员记录用户最喜欢的书是《Station Eleven》，然后让模型列举畅销的反乌托邦小说。结果显示，模型更倾向于提到《Station Eleven》，尽管问题与用户喜好无关。使用Mem0和Zep等记忆压缩工具时，这种倾向更为明显。

论文指出：“所有记忆系统都难以区分相关上下文和无关锚点，这严重削弱了多样性和创造力，并引入了意想不到的偏见，限制了系统的实用性。”

第二篇论文展示了同样的机制如何主动降低模型性能。研究人员向模型提供了关于金融的错误认知，然后让模型分析一家公司表现。结果显示，模型拥有的上下文越多，表现越差。

文章写道：“在没有记忆或个性化的情况下，AI模型能够正确判断该公司是资本密集型业务且客户流失率高。但开启这些功能后，模型会迎合用户的错误，甚至基于之前的偏好给出错误答案。”

值得注意的是，研究未涉及Anthropic最近发布的Opus 4.8模型，该模型经过训练，能够主动抵制输入错误。研究发现的模式在不同模型中普遍存在。这表明AI上下文的平衡极为微妙，实用工具若打破这种平衡，可能带来意想不到的负面影响。