NeFut Logo NeFut
EN 管理员登录

[AI学术] 视觉语言动作模型的线性表征假设

发布于:2026-09-29 22:00 最后更新:2026-09-30 01:41
#AI #Machine Learning #Neural

线性表征假设(LRH)已成为衡量和干预大型语言模型(LLM)内部语义信息的标准视角。近年来,研究者开始将该视角扩展到视觉‑语言‑动作(VLA)模型,但具身交互的动态特性带来了额外挑战。与 LLM 中常研究的性别、语言等静态语义属性不同,VLA 中感兴趣的物理量 $q_t$ 随系统动力学共同演化:表征影响策略选取的动作,动作改变物理状态,进而产生下一时刻的表征。

本文提出基于签名的 LRH 理论框架,统一表征与策略。表征方面,我们证明存在一种表征 $\phi(s_t)$,使得在给定候选动作轨迹 $\{a_{t:t+T}\}$ 时,未来 $q_{t+T}$ 可以通过线性探测 $W\phi(s_t)$ 恢复。策略方面,我们引入针对随机动作块的签名广义线性模型(GLM),其自然参数空间的线性路径上,期望的未来 $q$ 单调变化,从而实现线性 steering。

我们在平面控制仿射导航实验中构造显式的 oracle 表征,并验证了线性探测和线性 steering 的预测效果。

点评

原文链接: https://arxiv.org/abs/2609.30996

[h] 返回首页