NeFut Logo NeFut
EN 管理员登录

[AI学术] VeriFine:面向具身推理的自我改进验证扩展

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #optimization

自我改进的策略会不断产生新的失败模式,导致评判器需要随之升级才能进行有效验证。传统的固定评判器限制了优化反馈的质量,也阻碍了有价值的训练样本的发现,进而抑制了进一步的自我提升。这一问题在具身推理场景中尤为突出,因为评估必须同时考虑空间定位、因果推理和安全感知。\ \ 我们提出 VeriFine,一个通过策略、训练课程和评判器共同进化来实现验证规模化的框架。框架包含两个核心循环。\ \ 策略改进循环 使用基于 rubric 的评判器诊断重复出现的错误,生成自适应课程,并在此基础上优化策略。当策略性能出现平台期且验证成为瓶颈时,进入 评判器改进循环。该循环会挑选信息量大的失败案例请求人工指导,并通过协同校准让人类与智能体共同解决分歧,逐步逼近物理推理的客观 rubric。校准后的评判器随后用于下一轮数据筛选和策略优化。\ \ 实验在自动驾驶和机器人导航任务上进行,分别采用强化学习和监督微调两种方式。结果显示,随着验证能力的提升,策略和评判器均实现了持续的性能提升,验证规模的扩大有效支撑了策略失效模式的演化。\ \ 点评

原文链接: https://arxiv.org/abs/2610.08761

[h] 返回首页