随着大型语言模型（LLMs）逐渐演变为自主智能体，统一的评估基础设施显得尤为重要。然而，当前的评估流程高度碎片化且紧密耦合，这不仅妨碍了可重复性，还导致了冗余的工程工作。为了解决这一问题，我们推出了 AgentCompass，这是一种开源、轻量且可扩展的 LLM 智能体评估基础设施。
AgentCompass 的评估过程围绕三个独立的组件组织：基准（Benchmark）、执行框架（Harness）和环境（Environment），从而实现灵活的配置，而无需重新实现复杂的执行逻辑。此外，它还具有容错的异步运行时和全面的轨迹分析工具，能够透明地诊断诸如奖励黑客（reward-hacking）等微妙的失败模式。AgentCompass 原生支持超过 20 个基准，涵盖五个能力维度，为社区提供了一个可扩展且可重复的基础设施，以推动智能体研究的进展。
博主点评： AgentCompass 的推出是对当前智能体评估方法的有力回应，它不仅解决了评估流程中的碎片化问题，还提供了灵活的配置选项，极大提升了研究的可重复性和效率。