本文研究多模态错误信息检测的关键设计选择。通过在三个基准数据集上使用多种预训练视觉和语言模型，开展了3375次实验。系统比较了特征融合方式、跨模态对齐策略、预训练模型规模等因素，并进行鲁棒性测试，揭示了哪些选择能提升检测性能，哪些在特定噪声下会悄然失效。研究围绕四个核心问题：①哪些视觉/语言骨干网络组合最有效？②融合层的深度与方式对结果的影响？③模型在图像篡改或文本扰动下的稳健性如何？④整体流水线中最决定性的环节是什么？实验结果给出实用指南，帮助研究者构建更可靠的多模态错误信息检测系统。
点评
本文研究多模态错误信息检测的关键设计选择。通过在三个基准数据集上使用多种预训练视觉和语言模型，开展了3375次实验。系统比较了特征融合方式、跨模态对齐策略、预训练模型规模等因素，并进行鲁棒性测试，揭示了哪些选择能提升检测性能，哪些在特定噪声下会悄然失效。研究围绕四个核心问题：①哪些视觉/语言骨干网络组合最有效？②融合层的深度与方式对结果的影响？③模型在图像篡改或文本扰动下的稳健性如何？④整体流水线中最决定性的环节是什么？实验结果给出实用指南，帮助研究者构建更可靠的多模态错误信息检测系统。
点评