摘要
检索增强生成（RAG）已成为通过在推理时结合外部知识来提升语言模型的重要技术。随着设备-云协同推理的出现，使得在边缘设备上部署小型语言模型成为可能，新的场景随之而来：私有文档保留在设备上，而公共知识存储在云端。然而，隐私和政策限制往往禁止原始文档的交换，造成文档隔离的双端RAG设置。现有方法依赖于频繁的远程同步和密集的证据传输，限制了在现实延迟和带宽条件下的吞吐量。
为了解决这个问题，我们提出了CONCORD，一个针对文档隔离的双端RAG的异步稀疏聚合框架。CONCORD将云视为一个异步到达的证据源，而非一个持续同步的共生生成器。具体来说，我们引入了等待债务控制机制，以决定每个解码步骤是否应继续等待远程参与，依据观察到的返回情况。我们还设计了一种证书引导的最小补充机制，仅请求确定当前贪婪决策所需的远程证据。咨询云的步骤保留与密集双端聚合相同的贪婪令牌，而其余步骤则在本地完成，无需远程证据。
在Natural Questions和WikiText-2上的实验表明，CONCORD在端到端吞吐量上分别比基线提高了$1.66\times$和$2.15\times$，同时每个令牌的通信减少了两个数量级，并保持了相当的答案质量和困惑度。
博主点评： CONCORD通过引入异步稀疏聚合机制，有效地解决了设备-云协同推理中的文档隔离问题，显著提升了吞吐量，同时保障了隐私，展示了在实际应用中的巨大潜力。其创新的等待债务控制和证书引导补充机制为未来的RAG研究提供了新的思路。