摘要
长文本语言建模不仅需要扩展上下文窗口，还需在数千个标记中保持对实体状态和关系的连贯理解，这一挑战单靠语义相似性无法解决。KGERMAR通过在推理过程中从输入文本构建动态、上下文特定的知识图谱来应对这一问题，从而实现域自适应检索，利用语义相似性和明确的实体关系。
该框架实时执行实体和关系提取，以构建上下文知识图谱，然后通过多组件记忆架构将图结构嵌入与文本语义整合。维护三个记忆库——上下文、语义和结构，并通过学习权重融合检索信号，以捕捉表层语义和更深层的关系模式。
在SlimPajama（84.7K训练示例）、WikiText-103（4,358示例）、PG-19（100示例）和Proof-pile（46.3K示例）上进行评估，KGERMAR在1K到32K标记的上下文长度中实现了高达8.5%的困惑度降低和2-2.5倍的记忆效率，相较于记忆增强的基线在五个自然语言理解任务中表现出优越的上下文学习性能。
动态知识图谱构建的方法推进了记忆增强语言建模，使得知识表示能够适应输入上下文，而不是依赖固定的知识库。
博主点评： 该研究展示了如何通过动态知识图谱的构建，显著提高长文本处理的效率与效果，具有重要的应用潜力，尤其在自然语言理解领域。它突破了传统方法的限制，提供了一种灵活的知识表示方式，未来值得深入探索。