多语言大语言模型(LLM)在需要可见推理轨迹的场景中被广泛使用,例如验证、教学和安全审计。然而,传统评估往往只关注最终答案的一致性或整体响应相似度,忽略了不同语言用户是否获得了相似的推理证据。为此我们提出了轨迹层面分歧框架,将可见推理轨迹视为结构化序列进行比较,分解为结构相似度、顺序一致性和整体相似度,并通过配对校准实现跨语言比较。实验在三个推理基准、七种语言和六种前沿 LLM 上进行。结果显示,最常用的基线——对完整响应做嵌入并计算余弦相似度——系统性高估一致性:在整体相似度最高四分位的样本中,有 $52.1\%\sim67.3\%$ 未进入结构相似度的最高四分位。该现象在不同句子编码器和步骤划分下保持稳定。双语盲注实验(两对以英语为锚的语言)表明,人类判断更倾向于结构相似度而非整体基线。进一步的同语言对照实验显示,分歧程度具有语言特异性:同一问题的两段英文轨迹(改写后)比英文轨迹与其他语言对应轨迹更为一致。综上,答案层面和整体评估可能显著夸大多语言解释性产出的统一性,强调在可靠的多语言部署中引入轨迹层面评估的必要性。
点评:该工作提醒研究者在多语言环境下不要仅凭最终答案判断模型一致性,细粒度的轨迹比较能够揭示隐藏的语言差异,为安全审计和教育应用提供更可信的依据。