在上下文学习这一新兴推理任务中，LLM（大规模语言模型）必须从复杂的上下文中学习并应用新的、特定任务的知识，而这些知识在预训练中并不存在；即便是最前沿的模型，其任务成功率也不足24%。本研究开展了一项全面的实证研究，以理解为何这一设置仍然困难。自然的假设是，失败源于内容访问；但在CL-Bench这一广泛的上下文学习基准上，我们对十二种检索、反思和验证的基线进行实验，发现与直接的全上下文提示相比，提升有限。
进一步的失败分析揭示了一个关键发现：与长文档理解等典型的长上下文任务不同，上下文学习不仅需要恢复局部内容，还需要获取通常在查询中未明确指定但分布在上下文中的局部规范：领域特定格式、局部规则和完整性条件。在所有31,592个评分项中，我们发现55.4%明确评估规范获取，而仅22.6%评估内容获取。
此外，尽管76.7%的规范在用户查询中未被指定，但95.5%可追溯到上下文，表明这些是可学习的义务，而非隐藏的要求。为验证这一诊断，我们设计了一种故意简单的干预措施PSCI（私有规范合同引导），该措施提取局部规范并通过对抗检查和修复进行强制；PSCI在CL-Bench上实现了28.14%的最新状态（绝对提升5.59个百分点，相对提升24.8%），在Qwen3.5-27B（提升5.28个百分点）和Gemini 3 Pro（提升6.17个百分点）上重复验证。十七项消融实验进一步隔离了任务特定规范的作用。
总体而言，我们的结果表明，上下文学习不仅依赖于内容获取，还依赖于规范获取。
博主点评： 本文通过实证研究深入探讨了上下文学习中规范获取的重要性，提出的PSCI方法为未来的上下文学习任务提供了新的思路。尽管当前的成功率仍然较低，但这一研究为理解和改进LLM的推理能力指明了方向。具体来说，如何有效提取和利用上下文中的规范信息，将是提升模型性能的关键。