摘要
工具使用的LLM代理在执行任务时可能会违反其被部署来执行的政策，同时表现得似乎成功完成了任务。在政策宽松的环境中，即使相应的状态转换被域政策禁止，工具仍可能执行任何格式正确的调用。结果是一个隐性错误状态（如预订被取消、乘客数量更改、未经过验证的索赔处理），这一点既没有被工具也没有被代理的自我报告揭示。
我们在$\tau^2$-bench航空领域研究这种失败模式。在一个预算代理中，观察到的失败中有78%是隐性错误状态失败，没有工具错误，且整体失败率在不同种子之间是可重现的，而不是采样噪声。随后，我们评估了一种轻量级干预措施：确定性、只读的预执行门，它在允许写入之前检查提议的调用和当前状态。四个门的组合将全基准成功率从29.6%提高到42.0%（+12.4pp；配对任务级引导P=0.0012），这一提升在15个不重合的种子集上也得到了重现（+12.3pp；P=0.0008）。
这种效果集中在门触发的地方：在26个触发任务中，成功率上升了+19.2pp，而在24个未触发任务上的变化则不排除为零。两个负控制（一个自我执行的零售领域和BFCL）界定了该机制：当工具是政策宽松时，门控有帮助，而在工具已经自我执行的情况下则增加不多。作为有力证据，而不是中心主张，失败模式在前沿仍然存在：gpt-5.2在默认推理下仍试图进行政策违规的写入，而相同的门控组合将成功率从61.2%提高到71.6%（+10.4pp；P=0.020；n=5，无复制）。
贡献在于一个有限的评估和可靠性结果：确定性门控并不保证任务成功，但可以在行动边界处确定性地防止已知类别的隐性政策违规写入。
博主点评： 该研究通过引入确定性门控机制，有效改善了LLM代理在政策宽松环境下的隐性错误状态问题，展示了在复杂决策中的潜在应用前景。未来，进一步的研究可探索更广泛的应用场景和其他干预措施的结合。