行为一致性在多次执行同一任务时提供了评估大语言模型（LLM）代理可靠性的关键信号。现有方法往往只给出任务层面的单一分数，既无法定位行为差异出现的具体位置，也难以保证比较的动作处于等价的决策上下文。为此我们提出了一种基于图的细粒度一致性度量框架。
在同一任务的多条 rollout 中，我们将等价的状态合并为有向、动作标记的图结构，使得在共享决策状态下直接比较不同 rollout 的动作。基于该图，我们定义了节点级别的一致性度量以及全局一致性得分。全局一致性得分被用作不确定性的代理，可用于预测任务成功或失败。
我们在 ALFWorld、AppWorld 和 WebShop 三个基准上，对三种主流 LLM（包括 GPT‑4、Claude‑2、Llama‑2）进行实验。结果表明，全局一致性得分与任务成功率呈正相关，使用该得分预测任务成功的 AUROC 平均达到 0.811，显著优于最强的行为一致性基线（0.729）和语言化置信度（0.769）。这些实验验证了状态条件化的行为一致性度量能够有效捕捉代理动作的共识，并定位一致或分歧的具体步骤。
点评：GraphACM 通过将多次执行的状态映射到同一图中，实现了对动作一致性的细粒度量化，提供了可靠的不确定性估计手段，对提升 LLM 代理的可解释性和安全性具有重要意义。