摘要
知识图谱基础模型，如 Ultra 和 Trix，通过学习关系图表示实现了强大的归纳迁移，能够推广到未见过的实体和关系。将这种迁移能力扩展到时间知识图谱（TKGs）依然具有挑战性：现有的时间模型将其参数绑定到特定数据集的实体、关系或时间戳上，无法设计为迁移到具有不相交词汇的 TKGs。
我们提出 GRATE（门控旋转注意力用于时间编码），这是一种实体侧消息函数，不增加可学习参数，通过相对时间差编码时间。具体来说，它通过根据时间差旋转每个边消息，并应用查询条件门来选择与时间相关的信号。GRATE 集成到 NBFNet 风格的知识图谱基础模型中，同时保持结构的可迁移性。
现有的 TKG 基准在共享训练/测试词汇内进行评估，无法直接测试跨数据集的时间迁移；因此，我们构建了 GDELTIndT 和 WIKIIndT，这两个归纳迁移基准套件具有不相交的实体、关系和时间戳，涵盖内插和外插。在这些基准和保留的预测数据集上，单个联合预训练的 GRATE 检查点在大多数设置中优于静态基模型。
博主点评： GRATE通过创新的门控旋转注意力机制有效解决了时间知识图谱的迁移问题，展现了在复杂数据环境下的强大适应能力，为未来的知识图谱研究提供了新的思路和工具。其在不增加额外参数的情况下提升模型性能，具有重要的实用价值。