现实世界的智能体需要持久的非参数化知识来支持动态推理，即长期记忆和检索增强生成。传统稀疏图在提供结构化证据方面表现可靠，但其稀疏表示限制了机器可读性和语义密度，难以满足复杂的代理工作流。为克服这一瓶颈，业界正从稀疏图转向 LLM Wiki——一种将密集文档上下文与包含多层拓扑链接的 markdown 文件相结合的代理原生知识表示。然而，使用传统稀疏图嵌入对密集文本进行参数化仍然困难，现有图编码器的学习过程会导致分布式系统开销过大，阻碍大规模商业部署。为此我们提出了 Wiki Foundation Model（WFM），专为可扩展的代理原生表示与检索设计。首先，我们形式化了 Wiki Graph 架构，使细粒度结构与密集上下文无缝衔接，既保留显式拓扑又支持连续语义。其次，设计了查询条件的注意力聚合机制，用于丰富的 Wiki 信息传递，并加入显式注意力方差正则化以提升稳定性。再次，构建了基于 NCCL 的边界交换协议，提升静态分区索引的利用率，采用固定形状的 GPU‑to‑GPU 集体通信，绕过 CPU 序列化和内存拷贝的瓶颈。我们在五个长期记忆和多跳推理基准上进行广泛评估，WFM 显著提升性能，并在分布式集群上实现了 10.5 倍的训练加速。
点评