摘要
轮流对话预测是社交机器人在人际互动中必不可少的，尤其是在调解场景中，机器人需要预测对话动态，而不仅仅是对停顿作出反应。本文提出了一种多模态语音活动投影（MM-VAP）框架，该框架将原有的音频单一VAP形式扩展到同步的音频-视觉输入，同时保持其自监督的未来投影目标。
所提方法基于预训练的音频-视觉骨干网络，这些网络最初针对与语音相关的任务进行了优化，并通过低秩适应法调整以适应多模态轮流对话问题。在独立的说话者编码后，跨说话者注意力阶段建模了投影未来语音活动所需的关系动态。此外，引入了一种语义一致性损失，旨在根据更高层次的对话活动模式来规范256状态输出空间。
在NoXi和NoXi+J数据集上的实验表明，该方法在某些轮流对话事件上超越了当前基线。对Haru EDR语料库的额外评估进一步支持了这一方向在调解导向的人机交互中的适用性。
博主点评： 本文在多模态交互领域展示了创新性，尤其是在社交机器人调解中的应用潜力。通过结合音频与视觉信息，MM-VAP不仅提高了对话流畅性，还为未来的研究提供了新的思路。此框架的有效性值得关注，尤其是在复杂人际互动场景中的应用。