在五种主要人类感官中,触觉无疑是生存的基础,它使我们能够感知物理接触与现实环境中的互动。本文探讨了将触觉感知集成到智能系统中的两个关键挑战:
- 动态触觉信号建模不足,这限制了对时序演变属性的推理;
- 由于缺乏明确的推理机制,触觉基础模型中存在幻觉现象,导致现实世界推理不稳定。
为了解决这些问题,我们提出了TacReasoner,一个用于现实场景中交互推理的动态触觉语言框架。首先,TacReasoner采用动态感知触觉编码器,增强了对动态触觉信号的感知与表示。更重要的是,我们引入了TouchCoT-10k,这是首个针对触觉输入的结构化推理的触觉链思维数据集。在此基础上,我们建立了DynTac-Bench,以系统评估动态触觉感知和现实常识推理。实验结果表明,TacReasoner在多个数据集上表现出与最先进模型的竞争力。值得注意的是,尽管仅使用7B参数,TacReasoner在大多数子任务上超越了14B的VTV-LLM模型,突显了其在触觉常识推理中的有效性和高效性。
博主点评: TacReasoner的提出不仅推动了触觉感知研究的前沿,也为多模态推理提供了新的视角。其动态感知能力和链思维数据集的建立,可能会在未来的智能系统中产生深远影响,值得关注。