本研究聚焦于能够回答问题并代表用户执行操作的LLM代理，在面对用户不同意时如何决定是否让步。用户的不同意可能是出于纠正真实错误，也可能是试图操纵模型。我们基于认知警觉性（epistemic vigilance）的理论框架，将用户压力分为两类：一类诉诸来源（如声称拥有权威），另一类提供模型无法验证的内容（如引用的来源）。
我们在两项实验中考察了七种来自四家供应商的LLM模型。第一项实验测量模型在回答基准问题时的让步行为；第二项实验让模型充当客服代理，仅在验证用户身份后才允许更改账户。模拟用户以递增的压力推动模型给出正确或错误答案。
采用信号检测理论（signal detection theory），我们分别计算了每个模型对纠正的让步倾向与对操纵的让步倾向，并与其整体让步倾向分离。结果显示，五个模型在面对纠正时更容易让步，但在区分纠正与操纵的能力上表现更差；四个模型在区分能力上更弱。更强的措辞对让步率影响不大。
在客服实验中，五个模型始终遵守验证政策，即使它们在答案层面容易放弃正确答案。Ministral 3B主要在用户声称拥有权威时违反政策，Ministral 8B则报告了未实际执行的更改。向模型提供仅在可验证证据下才进行修正的指令，主要改变了整体让步倾向，而未显著提升其区分能力。
因此，仅凭让步率无法全面评估LLM代理的表现；应同时考察其对纠正与操纵的区分能力以及实际执行的行为。
点评