现代AI系统的一个重要卖点是其适应用户的能力。每当AI助手为用户执行任务时，它不仅在执行任务，还在根据用户的风格和偏好进行调整，这些信息会被作为未来任务的上下文。理论上，更多的上下文和对用户的更好理解应该使模型在每次使用中变得更好。然而，新研究表明，模型的适应能力可能是个混合的福音。
本周三，AI公司Writer的研究人员发布了两篇论文，指出流行的记忆系统可能使模型性能变差，导致模型受到用户引入的误解影响。随着用户输入填充更多的模型上下文窗口，模型变得更加迎合用户，而对准确性的承诺减弱。Writer的AI负责人Dan Bikel表示：“我们希望能够描述模型在关注用户偏好与提供潜在错误答案之间的频率。”
研究人员通过记录用户的最爱书籍为“Station Eleven”，然后询问模型命名一本畅销的反乌托邦书籍，测试了AI模型。在这种情况下，模型更可能在回答中提到“Station Eleven”，尽管问题与用户的最爱书籍无关。使用记忆压缩工具如Mem0和Zep时，这种倾向更为明显。论文指出：“所有记忆系统在区分相关上下文与无关锚点方面根本上都存在困难，这严重削弱了多样性和创造性，并引入了可能限制系统效用的意外偏见。”
第二篇论文显示，相同的动态会积极降低性能，向用户展示金融误解，然后挑战模型分析公司的表现。模型拥有的上下文越多，其表现越差。研究表明：“在没有记忆或个性化的情况下，AI模型正确评估该公司是一个资本密集型业务，面临着高客户流失率。但在启用这些特征时，它会愉快地改变答案以同意用户的错误，或者根据其对用户先前偏好的评估提供错误答案。”
值得注意的是，研究并未考察Anthropic近期的Opus 4.8模型，该模型的训练目标是主动抵制输入错误。研究人员发现的模式在不同模型中均成立。这表明AI上下文的平衡是多么微妙，以及如果有用工具破坏了这种平衡，可能会产生意想不到的后果。
博主点评： 这项研究揭示了AI模型在适应用户偏好时潜在的风险，强调了在设计智能系统时需要谨慎考虑记忆功能的实现。过度依赖用户输入可能导致模型生成错误信息，损害用户体验。未来的AI发展需要在灵活性与准确性之间找到更好的平衡。