在大型语言模型（LLMs）中，长上下文处理变得愈发重要，但简单扩展上下文窗口并不能确保有效利用长输入。随着输入长度的增加，准确性往往下降，表明模型在识别和使用与问题最相关的证据时仍然存在困难。
测试时训练（TTT）是一种有希望的改进长上下文利用率的方法，它将测试上下文视为实例特定参数适应的训练示例。然而，将 TTT 应用于整个长上下文的成本极高，而在随机抽样的片段上进行适应则会引入严重噪声。
由于长上下文中的大多数片段与特定问题无关，基于这些片段的训练甚至可能降低基础模型的性能。我们的初步研究表明，TTT 对训练片段质量极为敏感：在 LongBench-v2 上，随机抽样片段的 TTT 会损害性能，而在预选片段上的 TTT 则显著提升性能。
基于此，我们提出了一种简单的方法，自我引导的测试时训练（S-TTT）：在适应之前，模型识别出应学习的证据片段，并且标准的语言建模训练目标仅应用于这些选定片段。在两个具有挑战性的长上下文推理基准 LongBench-v2 和 LongBench-Pro 上，S-TTT 提高了 Qwen3-4B-Thinking-2507 和 Llama-3.1-8B-Instruct 的准确性，达到了最高 15% 的相对提升。
博主点评： 本文展示了如何通过自我引导的方法增强长上下文处理，尤其是在大语言模型中。通过选择高质量的训练片段，显著提高了模型的准确性，这为未来的研究提供了新的方向，值得深入探讨和实践。