NeFut Logo NeFut
EN 管理员登录

[AI学术] 超越标量IoU:基于滚动组的结构化验证用于视频时间定位

发布于:2026-10-08 22:00 最后更新:2026-10-12 00:49
#algorithm #Machine Learning #Artificial Intelligence

强化学习可验证奖励(RLVR)为将预训练模型适配到视频时间定位提供了自然框架,生成的时间区间可以直接与真实区间比较得分。

现有的重叠验证器通常对每个 rollout 独立打分,未利用 rollout 组的整体结构信息。

我们提出 SUTURE,它在条件化验证时考虑整个 rollout 组,并在两个互补尺度上利用该结构:跨 rollout 的分歧用于调节目标的重新加权强度,而每个位置的覆盖度决定奖励质量的重新分配。

理论上,SUTURE 的验证函数可以精确分解为标准 IoU 项加上由 rollout 组决定的协方差修正。

局部梯度诊断表明,在分析的组中,模型更倾向于覆盖支持较少的目标区域。

在五个时间定位基准上,SUTURE 在所有报告的 IoU 阈值上均提升了定位性能。其训练得到的策略在推理轨迹中对视频起始位置的锚定更少:对于后期事件,首次出现的时间段更常与标注目标重叠。

这些结果共同说明,rollout 组的联合结构能够提供更丰富的时间验证信息。 点评

原文链接: https://arxiv.org/abs/2610.07601

[h] 返回首页