在图基础模型（GFM）领域，多模态图的出现为跨图领域和任务的知识转移提供了新的可能性。现实世界的图将节点与文本、图像及其他模态关联，这使得多模态图在表示复杂实体和关系方面至关重要。然而，收集标签和为每个新的图领域适应模型的成本高昂且往往不可行，这也促使了零-shot迁移的需求。遗憾的是，目前在多模态图上进行零-shot迁移的研究仍然相对较少。
现有的基于图神经网络（GNN）的图基础模型通常需要下游适应，而基于大型语言模型（LLM）的图方法主要处理单一模态的图或任务。这种设置面临两个主要挑战：首先，模型必须从单个模态中泛化知识，同时捕捉可转移的跨模态关系；其次，在没有目标领域微调的情况下，节点表示依然与特定领域的结构和模态特征纠缠在一起，模糊了在未见领域中共享的概念。
为了解决这些挑战，我们提出了CHARM，一个具有层次上下文建模的多模态图基础模型，旨在实现零-shot迁移。CHARM用层次图上下文替代孤立的原始节点，这些上下文捕捉了多模态语义和跨模态关系。这些上下文将特定领域的节点模式映射到共享的高层概念，减少了对目标领域监督或适应的依赖。一个模态感知的图上下文编码器集成了多模态信息与图结构，并将生成的表示转换为图令牌，以供大型语言模型使用。实验结果显示，在零-shot多模态图任务上取得了一致的提升。
博主点评： CHARM模型的提出有效解决了多模态图中零-shot迁移的难题，特别是在无需目标领域微调的情况下，通过层次上下文建模实现了知识的有效转移。这一方法为未来多模态图模型的发展提供了新的思路，值得进一步探索和验证其在更广泛应用中的性能。