NeFut Logo NeFut
EN 管理员登录

[AI学术] DIVE:连续流中的全双工交互与视觉参与基准

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

最近多模态大语言模型在口语交互和视频理解上取得显著进展,但现有在线流式基准主要通过时间戳问答评估因果感知,缺乏对持续识别任务相关线索并决定何时、如何响应的考察。

为填补这一空白,本文提出 DIVE 基准,用于评估在连续真实多模态流中实现全双工交互并保持视觉参与的能力。基准包括六个子任务,归纳为三种交互场景:主动干预、持续参与、交互协同。

主动干预检测模型能否在视觉或语义线索出现时及时介入;持续参与要求模型在视觉追踪和基于视觉的查询交互中保持连续参与;交互协同考察模型在重叠、多方对话中如何协调听说。

DIVE 收录 525 条音视频样本,提供细粒度人工标注和精准时间元数据。评估协议将响应质量、参与决策和响应时机分离,分别使用响应质量分数、窗口响应率和反应时延等指标。

实验对若干实时模型进行评估,结果显示最先进模型的平均响应时延已低于一秒,但窗口响应率最高仅为 53.77%。不同模型和任务的响应质量差异显著,尤其是对新到信息的即时适应仍是难点。

期待 DIVE 能推动更自然、能力更强的实时多模态交互系统的发展。

点评:DIVE 为全双工实时交互提供了系统化评测框架,揭示了当前模型在时机把握和持续参与方面的瓶颈,为后续算法改进指明方向。

原文链接: https://arxiv.org/abs/2610.28405

[h] 返回首页