摘要
多模态讽刺和网络欺凌检测依然面临挑战，因为意图的意义往往源于文本和视觉信息之间的不一致，而非单一模态。现有的多模态方法主要依赖特征融合或跨模态注意力，这可能无法有效捕捉不同层次表示的层次语义不一致。为了解决这个问题，本文提出了HCIG（Hierarchical Cross-modal Incongruity Graph Network），这一新框架在标记、短语和全局层面建模跨模态不一致，使用图注意力网络并通过学习的层次注意力机制自适应地整合这些表示。
作为补充架构，我们还引入了GCCN（Graph-based Cross-modal Contradiction Network），该网络使用基于矛盾感知的池化进行图形推理，以实现高效的多模态交互学习。所提出的模型在MMSD讽刺基准和MultiBully网络欺凌数据集上进行了评估，并结合了全面的消融研究和跨任务转移实验。
实验结果表明，HCIG在MMSD上达到了85.74%的准确率和85.29%的宏观F1，而GCCN在MultiBully上达到了最高的宏观F1（68.66%），HCIG则在该数据集上取得了最高的准确率（69.62%）和欺凌类别F1（74.90%）。研究结果证明，层次多粒度不一致建模提供了比传统融合策略更有效的多模态推理，为社交媒体中的讽刺和网络欺凌检测提供了一个强大的框架。
博主点评： HCIG框架的提出标志着多模态信息处理的重大进展，尤其是在理解复杂语境下的讽刺和欺凌行为方面。通过层次化的语义建模，这一方法有效地提升了检测精度，展示了图神经网络在处理多模态数据中的潜力，值得在实际应用中进一步探索。