摘要
多模态大语言模型在短视频上表现优异，但在在线环境中处理小时长视频时却面临挑战，因为帧是以增量方式在有限的内存下处理。现有的在线方法要么保留缺乏语义结构的紧凑视觉表示，要么构建围绕时间接近性组织的高层次记忆存储，这使得多跳叙事推理必须在每次查询时由大语言模型重建。
我们通过\textsc{Homer}（层次在线记忆探索与推理框架）来弥补这一缺口。\textsc{Homer}的记忆反映了长视频的多尺度结构，从原始感知到重复实体，再到通过明确的时间和因果关系连接的事件。其自主推理器以人类的方式探索这一记忆，定位相关场景，查找细节，并通过多轮记忆检索组合答案，同时具备验证和纠正每一步的机制。
\textsc{Homer}在M3-Bench-robot、M3-Bench-web和Video-MME-Long上分别超越了之前最佳代理方法5.5、10.8和4.4分，并持续提升了三种不同的LLM基础模型，表明其具备模型无关的结构能力，能够在长视频中实现有根检索。
博主点评：\textsc{Homer}通过引入层次化的记忆结构，显著提升了长视频的理解能力，尤其是在复杂的叙事推理上展现出强大的优势。这种方法的模型无关性为未来的多模态学习提供了新的方向。