摘要
上下文重排序和修剪在提升现代检索增强生成（RAG）系统的效率方面变得至关重要，但一个可解释且统一的框架仍未得到充分探索。以往的研究主要强调词汇检索、交叉编码器架构、模型蒸馏和低秩适应（LoRA），大多依赖启发式损失函数和经验归因。
本文提出了Shapley上下文修剪（SCP），这是一个新颖的上下文重排序框架，通过将上下文建模为合作游戏，建立了一个合作博弈理论视角来进行重要性归因。我们在细粒度和粗粒度表示之间进行平衡，采用深集（Deep Sets）架构来近似句子级的置换不变值函数，利用预训练语言模型作为句子嵌入器，并通过成对边际排序损失进行优化。
为了确保实用的可扩展性而不牺牲数学严谨性，我们采用蒙特卡洛采样进行高效训练和推理，并提供正式的理论误差界限和样本复杂度保证，以维护Top-K子集排名。此外，我们进行了全面的实验，包括支持句子召回、针中之针（NIAH）评估、长上下文问答和多跳推理，以及对嵌入质量和归因策略的严格消融研究。实验结果表明，该模型在下游问答任务中表现出与强基线竞争的性能。
博主点评： Shapley上下文修剪框架的提出为上下文重排序和修剪提供了新的思路，尤其是其基于合作博弈的视角为重要性归因带来了深刻的洞见。通过结合深度学习与博弈论，该框架不仅提升了模型的效率，还增强了其解释能力，值得在实际应用中进一步探索。