摘要
在多轮对话中，当语言模型产生一个响应时，哪些先前轮次的 tokens 影响了该回答？这些依赖关系是如何在先前的轮次中传播的？现有的上下文归因方法仅在单次处理完整上下文，虽然可以恢复表层依赖，但却忽视了现实对话和多步推理任务的分层、非线性结构。
我们提出了多轮上下文归因（MTCA）：给定模型响应中的目标 span，追踪归因的任务是向后查找轮次，确定哪些先前的轮次是直接相关的，以及这些轮次如何依赖于更早的上下文。
我们提出了 Tokengeist，这是一个与归因方法无关且可扩展的框架，通过将归因视为在对话轮次上的有向无环图（DAG）的递归遍历，来恢复完整的依赖路径。
我们将发布 MTCABench，这是一个包含 3,845 个目标 span 的基准数据集，涵盖 665 个多轮对话，并带有深度可达 14 的金标准来源图，涵盖四种依赖类型。
在四个开放权重模型中，简单的归因方法无法恢复多跳依赖，源回忆率低于 20%，而 Tokengeist 达到了 90%。我们的结果揭示了单次归因的系统性失败模式——我们称之为来源崩溃，并推动了在轮次间递归推理的归因方法。
博主点评： Tokengeist 的提出为理解多轮对话中的信息传播提供了新的视角，尤其在处理复杂的对话结构时，其归因效果显著优于传统方法。未来，这种方法或将广泛应用于对话系统的优化和分析，推动自然语言处理领域的研究进展。