摘要
通用的具身代理必须理解多模态指令，预测环境的演变，并在较长时间内产生精确的控制动作。现有的方法通常专注于视觉-语言推理、基于视频的世界建模或动作生成，而级联管道首先合成未来观察，然后推断动作，可能会引入接口瓶颈并加剧预测误差。
我们提出了 iFLYTEK-Embodied-Omni，这是一个统一的多模态基础模型，能够在单一的 Omni 框架内共同建模视觉（视频和图像）、语言和动作。其特定模态的视觉-语言、视频生成和动作生成组件通过共享的多模态自注意力进行通信。这一设计建立了大脑与小脑的协作：视觉-语言模型和视频生成模型形成了高层次的大脑，用于指令理解、任务规划、进度跟踪和未来视觉状态预测，而动作生成模型则作为低层次的小脑，直接将规划的子目标和共享的多模态上下文转换为可执行的动作块。
为了发展这些能力，我们结合了来自人类演示和机器人交互的带动作注释和无动作的具身视频，以及具身推理、具身感知和通用图像-文本数据，构建了一个全面的数据集。我们进一步采用了四阶段策略，逐步训练 VLM、VGM 和 AGM，然后联合微调完整模型。
博主点评： iFLYTEK-Embodied-Omni 的设计理念在于通过多模态的协同工作来提高具身智能的效率，这种大脑-小脑的架构能够有效解决传统方法中的瓶颈问题，具有很大的应用潜力，尤其在复杂环境下的任务执行中。其数据构建策略也值得借鉴，强调了多样性与全面性的重要性。