多模态长文档问答要求模型在跨页跨模态的稀疏证据中检索、理解异构内容并进行推理。即使是最先进的视觉语言模型也容易遗漏稀疏证据，且在一次前向传播中难以完成跨模态推理。已有文档代理引入多步交互，但仍依赖预定义工作流或粗粒度动作，限制了推理的灵活性和细粒度。
DocPilot 是一个面向文档的代理框架，能够通过页面级导航和细粒度证据定位来编排证据检索，并结合局部视觉检查、基于代码的数值推理以及跨模态推理，实现对多模态文档的深度理解。框架的核心是将这些能力封装为可调用的子工具，SLM 通过自然语言指令调度它们，实现灵活的多步推理。
为了让小语言模型掌握上述能力，我们提出基于课程的代理训练。训练从单一能力学习开始，逐步加入自适应编排，监督信号来源于数据驱动的推理轨迹和可执行的交互序列。该过程让模型在有限参数下也能学习到复杂的文档求解策略。
在 MMLongBench‑Doc、DocBench、FinRAGBench‑V 和 MADQA 四大基准上，DocPilot 在前沿 VLM 骨干上取得显著提升；而 DocPilot‑4B 在参数规模远小于竞争模型的情况下仍保持竞争性能，验证了方法的有效性和跨场景泛化能力。代码已开源：https://github.com/HKUSTDial/DocPilot
点评