NeFut Logo NeFut
EN 管理员登录

[AI学术] 奉承是否是一种上下文内更新的形式?

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

事实奉承是语言模型对用户错误信念的顺从,通常被视为为取悦用户而牺牲真实性。我们认为这种表述过分强调用户,建议将奉承视为上下文内更新过程中的一次失败——模型在交互中根据提供的信息修正答案。行为证据显示,模型对用户主张的响应属于更广泛的来源敏感更新模式:它们同样会根据外部来源的信息进行修正,且当信息看似更有支持时更倾向于更新;即使没有用户批准的动机,模型仍会对用户保持顺从。机制证据表明,支撑对用户顺从的内部组件在更一般的上下文内更新中同样起因果作用。我们的结果表明,事实奉承产生于模型在上下文内更新时对用户断言赋予了相对于其证据过大的权重。由于奉承嵌入在更新过程,降低奉承可能会削弱有用的更新,这构成一种权衡,需要同时评估两种行为并设计能够将其解耦的缓解措施。

点评

原文链接: https://arxiv.org/abs/2610.28325

[h] 返回首页