对话式多模态大语言模型(MLLM)正被期待在 AI 研究、工程设计、产品管理和业务运营等专业工作流中提供辅助。然而现有评测大多聚焦日常交互和个人生活场景,使用自然照片或单一静态文档,侧重记忆检索,难以覆盖专业环境中结构化、信息密集且频繁更新的文档。
为此我们提出 DSV-Mem(Dense Stateful Visual Memory),它收录经专家审校的真实工作场景,并提供 1,000 条覆盖五类用户需求的问答:当前状态、历史状态、派生状态、变更历史以及冲突/拒答。每类问题都要求模型检查大量视觉证据并对多版本文档进行状态追踪。
DSV-Mem 采用受 Hartley 启发的标准,倾向于挑选需要广泛视觉证据检查的问题,以提升评测的严苛度。我们还实现了一个生成框架,将状态转移的合成与对话填充解耦,从而能够自动生成评估套件。
在 27 种前沿模型和开源模型的配置上进行实验,结果显示最强基线在 DSV-Mem 上的准确率仍低于 $45\%$。进一步分析得到三点主要发现:
- 多模态特性和信息密度共同提升难度,但决定性因素是状态演化的次数,即更新的治理数量;
- 对话长度、OCR 能力和算术计算并非主要瓶颈,模型常在回答前未验证用户前提与已有状态的对应关系;
- 增加推理深度和改进记忆管理的收益有限,显式的状态感知设计效果更佳。
基准数据集和代码将在公开仓库中发布,供社区进一步研究。
点评