摘要
大型语言模型（LLMs）在长文本处理能力上展现出迅速提升，这引发了一系列评估基准的出现。然而，现有的长文本评估，如 Needle-in-a-Haystack (NIAH) 测试和近期的多跳推理与摘要任务，主要测量平均性能，且许多基准要么已达到饱和，要么缺乏鲁棒性。
问题与解决方案
目前缺乏一种系统的方法来探究模型在任务难度不断增加的情况下的表现。为此，我们提出了 PredicateLongBench，一个通过要求模型识别满足特定谓词/约束的长输入中最长的连续字词子序列来进行长文本推理的基准（例如，字典序）。
创新点
我们基准的核心创新在于识别并系统性探索多种不同的难度轴，以测试长文本理解的多个方面。我们提供了两种互补的生成管道：一种是使用随机文字串的完全合成设置，另一种是从自然文档中抽样单词并保留其分布特性。
结果
我们发现，前沿模型在任务难度随着我们的难度轴增加而提升时表现不佳，这表明我们的基准在理解当前长文本能力的局限性方面的实用性。此外，尽管 PredicateLongBench 中的任务具有挑战性，但其概念上简单，并不需要 LLM 生成或评判。
博主点评： PredicateLongBench 的提出为长文本处理提供了一种新的评估框架，能够揭示现有模型的局限性，并为未来的研究指明方向。它的设计不仅科学严谨，也为实际应用提供了理论支持，值得关注。