我们在2026年ICML高效多模态问答研讨会的QANTA 2026共享挑战中提交了我们的研究。QANTA评估多模态测验系统，能够在现实效率约束下，从逐步揭示的文本和配图中回答金字塔式问题。该挑战包括两个不同的任务：Tossup问题，要求在不确定性下决定何时回答；Bonus问题，强调准确的答案选择和人类采纳。为了应对这些不同的目标，我们开发了一个任务特定的双代理架构。
我们的Tossup代理使用的是GPT-4o-mini-class模型（在比赛日志中称为GPT-4.1-mini），结合自信校准的回答和领域特定的数值推理策略，减少了来自孤立定量线索的过度自信预测。我们的Bonus代理则使用GPT-4o-class模型（在比赛日志中称为GPT-4.1），具备引导式推理、结构化关系推理和多模态证据整合能力，以提高精确答案选择的能力。
与依赖检索管道或模型集成的方法不同，我们的方法强调在仅托管环境中高效的推理策略和自信校准。我们的系统在排行榜上取得了0.402的最高总分，其中Tossup得分为0.238，Bonus Effect得分为0.164。结果表明，轻量级的任务特定推理策略能够在资源受限的多模态问答基准上提供强劲的表现。
博主点评： 本文提出的多模态问答代理在效率与准确性之间找到了良好的平衡，通过自信校准和增量推理有效提升了系统的表现，展示了未来多模态问答系统的潜力。尤其是在资源受限的环境下，这种方法值得进一步研究和应用。