摘要
大多数智能体评估将多步轨迹简化为最终答案、成功标志或轨迹级评分，这使得开发者难以诊断最关键的问题：哪个动作在有用的方向上改变了状态？我们提出了 Agent Step Value (ASV) 框架，该框架通过评估状态变化来评分每一个观察到的动作，基于状态基础评估器对固定候选结果的分布变化进行测量。
ASV 在评估中使用了前后状态的红acted投影，利用无状态 LLM 评估器分配候选日志分数，并报告无金标准信念诊断和离线神谕验证指标。标签自由的推理过程将评估器的深思与单个选项评分分离，保留了候选可能性，同时揭露了泄漏和底分事件。
在100个经过审查的开放问答证据检索任务中，结合实时的 PubMed 检索、部分实时的 DeepSeek 行为者和 DeepSeek 日志概率评分，ASV 评估了 1,100 个步骤和 2,200 个状态。在固定布局的推理条件协议下，平均金标准边际增益为 -2.335（轨迹自助法 95\% CI [-3.395, -1.272]），熵变化为 0.000，平均贝叶斯惊讶度为 2.693。因此，ASV 能够定位最终答案评分和仅熵步骤指标所遗漏的建设性和破坏性信念转折点。我们发布了独立的 ASV Eval 工具包。
博主点评： ASV 框架通过详细分析状态变化，为智能体评估提供了更深层次的视角。这种方法不仅提升了对代理行为的理解，还能有效识别关键决策点，具有广泛的应用潜力，尤其是在复杂的决策系统中。其独立工具包的发布将进一步推动相关研究的发展。