NeFut Logo NeFut
EN 管理员登录

[AI学术] QUARTET:四分支交叉注意力与随机游走轨迹提升关系图 Transformer

发布于:2026-09-25 22:00 最后更新:2026-09-28 00:49
#algorithm #Machine Learning #Graph

关系深度学习(RDL)将多表数据库建模为异构时序图,图 Transformer 已在 RelBench 等基准上取得领先。现有的主流模型 RelGT 存在两大缺陷:随机局部采样产生的子图连接稀疏,阻碍信息传播;全局注意力仅依赖单一基于种子特征的记忆,忽视宏观动态。为此我们提出 QUARTET,一种在局部子图上执行完整自注意力、并通过四条交叉注意力分支丰富全局上下文的图 Transformer。QUARTET 使用因果随机游走(CRW)采样器,基于最近截断的 Personalized PageRank(PPR)生成紧凑、对枢纽鲁棒且高密度的局部子图,避免时间泄漏。同时,四分支交叉注意力分别从种子特征、种子拓扑、时间演化和协同演化四个互补视角注入全局信息。实验在 RelBench v1 分类任务上显示,QUARTET 稳定匹配或超越 HGT、RelGT 等最先进的图 Transformer 基线。消融实验表明,CRW 采样显著提升局部邻域质量,四条全局分支提供关键的任务特定预测增益。

点评:QUARTET 通过高质量局部采样和多视角全局交叉注意力,成功弥补了 RelGT 的结构性不足,在实际基准上实现了显著的性能提升,展示了在异构时序图上设计更细粒度注意力机制的潜力。

原文链接: https://arxiv.org/abs/2609.26855

[h] 返回首页