摘要
全模态证据寻求问答要求代理能够回答证据稀疏分布于视频、音频、图像、网页及计算结果的问题。现有的多模态代理系统通常将证据留在草稿、工具轨迹或自由形式的历史中，导致难以追踪已确认的证据、未解决的冲突，以及何时证据足以回答问题。
我们提出了 Omni-Decision，一个无训练的证据状态系统，将全模态问答转变为查询范围的证据闭合过程。对于每个查询，Omni-Decision 维护一个结构化的证据状态，包含确认的证据、未解决的冲突、事实和计算依赖，以及未满足的证据需求。共享状态视图条件下进行规划、证据获取、验证、修复和最终化。
来自媒体、网页、计算和验证模块的异构观察被归一化、判断，并通过确定性状态更新进行承诺。这一设计使得针对性证据获取成为可能，保留稀疏的跨模态线索，并提供可检视的修复和停止控制。
Omni-Decision 在 OmniGAIA 上达到了 45.6% 的准确率，在 WorldSense 上达到了 58.3%，分别比基线提高了 +27.3 和 +30.2 个百分点。无状态消融实验和轨迹审计进一步支持了显式证据状态控制在多步全模态证据寻求中的作用。
博主点评： Omni-Decision 的方法通过结构化的证据状态管理，显著提升了全模态问答的准确性。其无训练的特性和高效的证据整合方式，为未来的多模态系统提供了新的思路，尤其在信息稀缺的情况下，显示出强大的潜力。