NeFut Logo NeFut
EN 管理员登录

[AI学术] CASEL:面向后果感知的选择性执行层用于可靠的长时程工具使用代理

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#algorithm #AI #Machine Learning

工具使用语言代理越来越多地修改外部系统,但大多数运行时安全措施仅依据通用不确定性分数或粗糙的变异启发式进行审查。我们提出 CASEL(Consequence-Aware Selective Execution Layer),一种模型无关的运行时分配策略。它结合校准的失败概率、状态相关后果、可逆性、歧义程度和证据新鲜度,为每一次工具调用在直接执行、验证、沙箱、澄清、批准和放弃之间选择,目标是最小化每种模式的成本。

我们将直接执行形式化为选择性预测,并给出有限样本阈值和轨迹风险账本的有效性条件。在受控仿真中,使用 20 个随机种子、每种 120,000 次测试动作,所有方法共享相同的干预菜单和计算成本。CASEL 将有害副作用轨迹比例从不确定性排序门的 14.75% 降至 7.02%,平均归一化伤害从 0.184 降至 0.123。基于失败概率与后果乘积的门得到相似的伤害水平(5.82%,0.120),但将 45% 更多动作送交人工批准;去除可逆性感知路由会使伤害率升至 15.53%。相反,轨迹级风险预算在相同成本下会提升伤害至 11.82%。需要注意的是,干预效果是基于假设而非实测:结果仅在模拟器假设下对分配规则进行排序,不能直接证明部署有效性。

点评

原文链接: https://arxiv.org/abs/2610.36570

[h] 返回首页