传感器不仅用于感知世界，还可以帮助决定下一步的行动。现有的传感器模型大多停留在感知层面，只能识别状态或预测结果，随后需要通过任务特定且往往封闭的标签空间来建模动作。为此我们提出 Sensor-Language-Action (SLA) 框架，将多模态传感器观测、自然语言和动作统一到同一模型中。SLA 以语言作为感知与行动之间的语义接口，使得异构动作能够在保持对底层传感器证据的依赖的同时，被表示、预测并解释。
我们构建了大规模 SLA 基准，覆盖超过 116,000 名个体、79 种传感器模态和 60 个动作组，并设计了多维度的字幕流水线，将用户上下文、传感器动态和动作证据对齐。基于该基准，我们推出 OpenSLA，一个支持层次化动作预测、状态理解和动作解释的统一模型。实验在临床预测、手术室监控和代谢健康等真实任务上进行，结果显示 OpenSLA 在准确率、召回率等指标上显著优于现有最先进方法。
OpenSLA 还展现出语言引导的证据定位能力以及对未见动作和新群体的零样本泛化能力，证明了语言在跨模态推理中的强大作用。
点评