摘要
多跳问答需要从多个上下文中检索和整合证据。尽管当前研究取得了快速进展，但多跳推理仍然受到两个持续限制的制约：
- 注意力衰减：随着推理链的增长，模型对主要问题的关注度下降。
- 错误积累：错误在多个步骤中传播，最终导致失败。
受Theta-Gamma层次振荡的启发，该方法将全局规划与局部检索解耦，能够高效地在跳跃之间传递注意力，并提供一种验证和修复机制，以中断错误路径中的错误积累。我们提出了THOR，一个受大脑启发的Theta-Gamma层次振荡推理框架。广泛的比较实验和针对多跳问答基准的特定验证实验表明，THOR在提高答案准确性和鲁棒性的同时，减轻了这些限制，并展示了其在不同骨干网络上的泛化能力。
博主点评： THOR框架通过创新的Theta-Gamma机制解决了多跳问答中的关键问题，尤其是在注意力管理和错误处理方面，展现出强大的潜力。其对全局与局部信息的有效整合，有望推动多跳推理技术的进一步发展与应用。