NeFut Logo NeFut
EN 管理员登录

[AI学术] 用轨迹驱动的指令翻译提升冻结航空 VLN 代理

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#algorithm #AI #Machine Learning

航空视觉语言导航(VLN)代理通常在细节丰富、轨迹对齐的指令上训练,而真实用户往往只给出简短的意图指令。该指令差距导致在冻结的 OpenFly 导航器上成功率从 $31.03\%$ 降至 $11.33\%$。为缩小差距,研究者先用语言模型在人工编写的示例上进行提示,将原始指令转换为意图为中心的弱指令(Weak command),其成功率提升至 $15.27\%$。随后提出轨迹驱动指令翻译器(TGIT),它在保持导航器冻结的前提下,利用导航器的轨迹反馈学习将弱指令翻译为可执行的完整指令。经过弱指令训练的 TGIT 将弱指令的成功率提升至 $37.93\%$,并在零样本下对真实人类指令实现从 $11.33\%$ 到 $32.51\%$ 的提升;在未见的 OpenFly 场景上也从 $4.95\%$ 提升到 $20.79\%$,并在 CityNav 与 AirVLN 上表现出恢复能力。

点评

原文链接: https://arxiv.org/abs/2610.10635

[h] 返回首页