摘要
有限记忆语言模型（LMLMs）在预训练期间将事实知识外部化到知识库（KB），而不是将其记忆在权重中。在生成过程中，模型根据需要从知识库中获取知识。这一新兴范式提供了多种优势，包括超出传统大型语言模型（LLMs）的知识控制能力。
我们提出了连续查询有限记忆语言模型（CO-LMLM），其特点是将连续键与文本知识值配对，这与之前对关系型知识库和查询的依赖有显著不同。CO-LMLM以最低成本生成灵活的向量查询，同时将可读且可追溯的检索知识整合到其生成中。
我们将这一设计与注释管道相结合，标记任意文本中的自由形式事实片段，消除了以往研究对维基百科的限制。在对维基百科和FineWeb-Edu进行预训练的多个模型规模下，CO-LMLM在困惑度和事实准确性上均优于之前的LMLMs和普通LLMs。在360M的规模下，其困惑度低于在40倍数据上预训练的模型，而SimpleQA验证的性能与gpt-4o-mini持平，且高于Claude Sonnet 4.5。
博主点评： CO-LMLM的提出为知识检索和生成的结合带来了新的思路，通过将记忆与知识库的外部化结合，显著提升了模型的灵活性和准确性。这一进展不仅在技术上具有里程碑意义，也为未来的语言模型研究指明了方向。