NeFut Logo NeFut
EN 管理员登录

[AI学术] 闭环代理评估:层级测量与自校准

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#algorithm #AI #Machine Learning

当代理上线后,团队需要判断它是否真正完成任务,而不仅仅是看是否报错。传统评估往往是一次性的基准跑、轨迹检查或单一分数,缺乏自检也无法反馈给代理。我们提出 闭环评估,把评估视为在有偏评审者和审查受限结果下的性能估计,并要求每一级结论都能追溯到原子数据、由版本化规则计算。方法覆盖四个分析层面:跨度、轨迹、对话和交互;沿 执行‑实质‑轨迹‑结果 四维脊柱度量;始终将行为约束视为限制;并通过 来源 与 裁决 组件认证证据与评审者。评审代理由 Agent Factory 生成,携带领域知识包和适配器壳。两层闭环:内部循环审计证据、规则和度量本身;外部循环利用每个组件的回归检查推动代理改进。我们实现了自动化流水线,并以业务分析代理 SharpInsight 为案例,将方法迁移到公开对话数据上。实验显示,不同层面的错误表现不同,基于证据‑规则的判断比整体打分更可靠(ICC 0.86 vs 0.81,kappa 0.81 vs 0.63)。

点评

原文链接: https://arxiv.org/abs/2611.07051

[h] 返回首页