摘要
最近的统一多模态模型表明，单一架构可以共同执行视觉/语言理解及图像生成/编辑。然而，这些模型反复将所有历史视觉和文本输入喂入共享上下文窗口，限制了长时间多模态对话，原因在于视觉令牌的爆炸和跨轮次引用的不可靠性。
我们提出了一种认知结构化多模态代理，它将视觉信息外部化为情节视觉记忆，并在推理过程中选择性地重新激活相关情节。该代理包括：
- 感知抽象引擎：用于结构化视觉抽象；
- 认知检索引擎：用于跨轮次记忆检索；
- 多模态执行控制器：用于自主任务推理和行动规划。
为了解决现有数据集中缺乏轮次级检索监督的问题，我们开发了一个统一场景引擎，程序化生成具有细粒度检索注释的结构化多轮对话，从而实现强化学习以优化抽象和检索策略。我们还构建了一个分层难度的长时间视觉对话基准，评估情节视觉回忆。
我们的8B代理在20轮会话中实现了91.4%的检索准确率，超越32B基线模型8.2%，同时将每轮推理时间几乎减半（从23.1秒降至12.7秒）。我们进一步展示了认知结构化多模态代理工具（CMA-Harness），这是同一认知结构的工具增强部署，集成了持久多模态记忆、网络访问、图像生成/编辑/合成工具及与OpenAI兼容的服务。
结构化记忆和模块化决策提供了一种比单一参数扩展更可扩展、高效的长时间多模态代理范式。
代码
项目页面
博主点评： 该研究在多模态对话系统领域开辟了新的思路，通过引入情节视觉记忆和模块化设计，显著提升了长时间对话的效率与准确性，值得关注其在实际应用中的潜力。未来的研究可进一步探索如何优化记忆检索与任务推理的结合。