NeFut Logo NeFut
EN 管理员登录

[AI学术] LongForge:通过证据-断言推理图衡量与提升长上下文指令数据

发布于:2026-10-19 22:00 最后更新:2026-10-20 00:49
#AI #Machine Learning #LLM

现有的长上下文指令微调数据质量控制仅在生成流水线中进行一次性判断,只留下一个标量分数,既看不到答案使用了文档的哪些片段,也看不到推理步骤的数量,导致数据既不可审计也不可控。我们将数据质量形式化为文档、问题和答案之间对齐结构的属性,并构建了 LongForge。LongForge 包含两部分:分析器负责将每条样本逆向重构为证据‑断言推理图,并在图上程序化计算四个维度——广度、深度、正确性和完整性;合成器则在生成过程中嵌入分析器,以正确性和完整性为门控,广度和深度则通过训练时对已测量值的混合采样实现可控分布。每一次阅读都可以追溯到具体的证据跨度和推理步骤,实现了数据的可审计性。我们对七个主流数据集进行测量,发现两个此前未量化的缺陷:随着文档长度增长,广度几乎不提升;深度整体偏低,两者几乎正交。随后在两个模型骨干上使用两种混合策略(LongForge‑1 与 LongForge‑N),在六个长上下文基准上平均超越最强基线 2.2‑4.7 分。在保持门控和候选池不变的受控实验中,仅提升广度和深度即可再获 1.16 分提升,说明训练数据的结构分布本身是提升下游质量的杠杆,而非仅是描述性指标。

点评

原文链接: https://arxiv.org/abs/2610.23167

[h] 返回首页