NeFut Logo NeFut
EN 管理员登录

[AI学术] 评估堆叠而非单层:确定性规则与 LLM 判定在代理动作中的独立失效?

发布于:2026-10-08 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #LLM

本文检验了用于代理工具调用的运行时门(runtime gates)是否真的呈乘法叠加错误。我们在三个语料库中共 1,119 条标注的代理动作上进行实验,未引入自适应对手。实验堆叠包括一层确定性规则和四个 LLM 判定器,其中三层在每次调用时记录了实际使用的模型版本。我们将每个堆叠视为等价的乘法层数 $n_{\text{mult}}$,其下限对应完美耦合的情况。

在 STRICT 错误定义下(升级到人工审查计为未阻止),任意两位判定器的组合相当于约 1.2–1.4 层,$\phi$ 中位数为 +0.430,六对中全部显著,层数下限在 1.02–1.17 之间。规则层加上一位判定器的组合相当于 1.86–2.09 层,$\phi$ 中位数 +0.014,四对中无显著差异,下限在 1.01–1.09。

在 PRIMARY 错误定义下(升级计为已捕获),对应区间分别为 1.21–1.57 和 1.80–2.13。整体数据的区间分离明显,但在每个语料库内部点估计会出现交叉;第三方供应商的判定器落在判定器组的区间内。

单独的准确率并不能预测该层的增益:一次云规则包将规则层的单独漏报率降低了 20%,但未带来新的联合覆盖。判定器耦合的难度占比难以辨识,取值在 31.8%–61.8% 之间,取决于探针和错误定义。

值得注意的是,在 112 批次中有 50 批次的判定器层实际使用了未请求的模型版本,且集中在外部语料库。这一事件推翻了预先声明的分析规则,导致审查判决的评分逆转了五个结论。我们在报告中同时呈现了原始和修正后的结果。

点评

原文链接: https://arxiv.org/abs/2610.07359

[h] 返回首页