摘要
近年来，RAG（检索增强生成）技术的进步主要依赖于高昂的知识摄取成本，如构建知识图谱或提取SQL表。在本研究中，我们展示了可以在零摄取成本的情况下复制这些知识库所允许的操作，甚至不需要向量数据库。我们的解决方案Zero-Ingestion ScalableRAG在六个语料库中的三项性能测试中显著优于所有基线（包括知识图谱方法），在其他三项测试中也仅与最高性能相差不大，平均准确率比下一个最具竞争力的基线高出7.36%。
Zero-Ingestion ScalableRAG通过保持文档集和数值集的工作空间，实现了在需要基于主键进行分组的情况下的实时聚合推理。它通过限制LLM调用的次数，使其与语料库大小无关。我们还引入了Limited-Ingestion ScalableRAG，该方法使用最小的向量数据库以及从文档样本中自动发现模式，进一步提高了大规模处理的准确性。
我们的代码可在以下链接获取：ScalableRAG GitHub
博主点评： 本文提出的Zero-Ingestion ScalableRAG方案打破了传统知识摄取的高成本模式，通过高效的文档管理和实时推理机制，实现了更优的性能。这一创新不仅为RAG技术的发展提供了新思路，也为实际应用中的成本控制带来了新的可能性。