LLM 代理正被广泛用于解决实际问题，其效果取决于底层模型和支撑其运行的框架（harness）。现有基准大多关注模型能力和整体代理表现，忽视了框架的可靠性评估。为填补这一空白，本文提出 TraceTrial-Bench，将框架可靠性划分为七个维度：上下文、执行、治理、生命周期、可观测性、工具和验证。
我们构建了 95 个人工专家级、机制导向的任务，这些任务提供可执行或基于状态的真值，以实现语义等价的比较，同时保留每个框架的原生行为。为捕获代理的执行轨迹，我们设计了 Trajectory Tracing (TT) 模块，并提出两层评估框架：第一层评估代理的任务完成度，第二层评估框架的可靠性。
此外，本文引入 Multi-source Evidence Acquisition (MEA) 模块，从代理上下文、框架本身以及执行环境收集证据，供基于 LLM 的评估使用。基于这些证据，我们实现了 Failure Attribution (FA) 模块，通过显式的机制链在运行层面进行故障归因。
在 4 种框架、9 种模型和 95 项任务上共执行 3,420 次实验，宏观平均框架得分在 59.8%~72.0% 之间。值得注意的是，尽管有至少一项框架指标未达标，仍有 31.1% 的运行成功完成任务。
TraceTrial-Bench 为比较不同代理框架、诊断其失效原因以及研究框架设计与模型行为的交互提供了可审计、可复现的基础。
点评