在长文档中回答复杂问题通常需要整合源文档中分散在不同段落的证据。比如，在事故报告中，操作条件、设计缺陷和未进行的安全检查可能在数十个部分之间出现；在小说中，角色的真实动机可能要通过与其相关的场景的遥远描写才能显现。
这种源内部证据的整合是现实世界长文档分析的核心，但现有基准大多回避这一点。现有方法如针探、植入事实和反向工程的多跳链条，所匌入的证据可能与主文本在分布、位置或风格上存在差异，这使得强大的表现是否反映了真正的源推理或分布伪影变得不明确。
我们引入了 WILDTRACE，一个包含 481 项任务的基准，基于 214 个自然发生的长格式源，如技术事故报告和鲜为人知的文学叙事，这些证据路径均源自文档自身的因果、时间和叙事逻辑。基于 Pearl 的因果层级和以往的多跳推理类型学，我们定义了七种源内部证据几何，这些几何特征描述了长文档分析阅读的不同关系需求。
源优先构建管道从文档结构中挖掘候选路径，然后再编写问题；每个项目经过多阶段验证，涵盖线索必要性、答案的基础性、评分标准的忠实度、污染抵抗能力和可答性。随着模型越来越多地被赋予现实世界高风险分析任务，获取信息与推理自然分散证据之间的差距已成为长文档推理研究的核心挑战之一。
博主点评： WILDTRACE 基准的提出回应了长文档推理中的重要需求，强调了源内部证据整合的必要性。通过系统化的任务设计和验证流程，它为未来的研究提供了坚实的基础，推动了长文档分析的深入发展。此项工作不仅对学术界具有意义，也为实际应用提供了强有力的支持。