摘要
工具使用的 LLM 代理通常通过最终答案的正确性或 LLM 判断进行评估，这两者都无法捕捉答案生成的过程。在安全关键的环境中，过程本身也是正确性的一部分。本文介绍了 AgentLTL，这是一种源自一阶线性时序逻辑（FO-LTL）的语言，用于表达代理追踪中的程序规则。该框架生成一个确定性的、无评审的合规性评分。
在这个框架中，单一的规范驱动两种使用方式。第一种是约束评分：通过在线检查每个前缀，在执行之前对完成的追踪进行评分或限制工具调用。第二种是微调：评分作为一个密集奖励。在一个涵盖排序、分支、迭代和基础的基准测试中，基于阻塞和警告的约束评分在七个模型中的五个上提高了合规性。使用相同奖励进行微调，准确性和合规性在保留模式上分别提高了 +38 和 +17.5 个百分点，包括未见过的工具名称别名。这些发现表明模型获得了程序结构，而不是简单记忆表面的工具名称和过程。
博主点评： AgentLTL 提供了一种创新的方法来评估和提升 LLM 代理的程序合规性，尤其在安全性要求高的应用场景中具有重要意义。通过引入无评审的合规评分机制，显著提高了模型在复杂任务中的表现，展现了程序设计的有效性。此框架为未来的工具使用 LLM 代理的开发和评估提供了新的视角。