NeFut Logo NeFut
EN 管理员登录

[AI学术] GRADUS:从环境潜在大纲中发现与恢复代理课程

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #Machine Learning #LLM

训练大语言模型(LLM)代理在受政策约束的工具环境中(例如航空公司后台的预订、退款和取消规则)需要能够单独和组合地演练环境规则的任务。现有的任务合成流水线让模型自行提出任务并只保留它立即解决的任务,这导致训练数据偏向于容易的行为。\ \ Gradus(Graded Rungs of Ascending Difficulty from an Underlying System)将任务应教授的行为与用于教授的具体任务和解耦。Gradus 不依赖种子任务,而是把固定环境视为潜在的大纲,提取受条件保护的行为算子,这些算子描述动作如何依赖当前状态以及其效果如何重塑后续决策。随后将这些算子组合成难度递增的任务,并利用全语料层面的反馈定位缺失的结果组合。关键在于 Gradus 同时校准任务和解,在执行反馈中判断是任务还是解需要改进,从而保持预期的行为要求。验证因此成为一种恢复信号,而不是终止过滤器,实现了覆盖导向的探索与保留困难示例的耦合。\ \ 在使用现成的模型骨干时,Gradus 将一个 30B 模型在 $\tau^2$-Bench 上的准确率从 59% 提升至 89%,在 CAR-Bench 上从 47% 提升至 83%,使用 Opus 4.5 提议器;使用开源权重的 Qwen3-235B 提议器时,分别提升至 76% 和 62%。这些结果表明,联合控制行为探索与验证训练数据的保留能够显著提升模型性能。\ \ 点评

原文链接: https://arxiv.org/abs/2610.27781

[h] 返回首页