NeFut Logo NeFut
EN 管理员登录

[AI学术] EnvLunch:环境作为免费午餐用于学习交互

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

在面向数据分析的语言模型代理中,往往需要大量标注任务才能学会在可执行环境(如数据库)中有效交互。高质量标注任务需要大量人工投入,而可执行环境本身已经提供了丰富的交互结构和可验证的结果。换言之,环境本身可以视作一种免费午餐,提供了一组无需人工标注的可验证任务。\ \ 我们提出 EnvLunch,作为下游强化学习之前的热身阶段,将环境信号直接用于代理训练,无需人工编写或模型生成的任务描述。EnvLunch 的核心流程包括:① 随机采样合法的动作轨迹;② 执行轨迹并记录最终观察;③ 训练模型在仅给定最终观察的情况下恢复功能等价的完整轨迹。该无标签热身使模型在所有下游训练预算下平均提升超过 9 分;在少量标签条件下,基线模型需要 8 到 32 倍的标注样本才能匹配 EnvLunch 在最小预算下的准确率。\ \ 让环境自行定义任务的收益大于让模型在同一环境中自行编写任务的收益,并且该热身同样提升了在数据分析之外基准上的微调效果。因而,EnvLunch 能显著节省标注任务成本,为在标注稀缺时微调代理模型提供更好的起点。\ \ 点评

原文链接: https://arxiv.org/abs/2610.33817

[h] 返回首页