语言模型代理会为当前问题压缩上下文，但压缩后的上下文同样需要支持随后出现的问题。我们在四个标注了每篇文本多个问题证据的语料库上，对压缩效果进行评估，并将所有方法与相同预算下的随机删除进行比较。
在 MultiRC 数据集上，使用 OpenAI Decisions API 调用的 gpt-6-luna 判断的当前问题必要句子，在仅保留 $25\%$ token 的情况下，使该问题的准确率提升了 11.4 分。
然而，对后续问题的评估显示，任何仅针对当前问题选句的方法都未能超越随机删除的表现。改为删除词而非句子时效果更好：LLMLingua-2（不考虑问题）在相同 token 数下，比随机句子删除在后续 MultiRC 问题上提升了 12.5 分。它保留的证据内容词约为随机删除的两倍，若在等内容词保留率下，其提升缩小至 7.3 分（探索性分析）。
在 FEVER 数据集上，标签准确率可能夸大了保留文本的支持力度：当答案仅对保留的证据进行评分时，句子选择的提升不再显著，LLMLingua-2 的 21.0 分提升也未能归因于保留的文本。排名还受设置影响：在 Evidence Inference 任务中，句子选择在名义 $25\%$ 预算下优于 LLMLingua-2；而在 $\tau$-bench 轨迹中，后续工具调用需要精确标识符，句子选择胜过随机删除，LLMLingua-2 则未表现出显著提升。
对进行压缩的那个问题的得分并不能可靠地反映其对后续问题的帮助程度。
点评