摘要
多模态虚假信息验证面临挑战，因为误导信号可能来自帖子不同部分，并需要不同形式的证据。大规模语言视觉模型（LVLMs）适合这一任务，但它们的验证性能往往依赖于针对每个实例应用的推理过程。现有方法通过更强的提示、检索或深思熟虑来改善这一过程，但很少保留从先前示例中学习到的验证模式。
我们提出了验证笔记学习（VNL），这是一个非参数框架，在推理之前为冻结的LVLM学习外部验证程序。VNL构建了一个紧凑的决策原则、证据线索和先前验证经验中的常见陷阱的笔记本。该笔记本在推理过程中保持固定，并指导新示例的验证。VNL并不更新模型参数或存储示例，而是将学到的知识记录在一个可以直接检查的工件中。
实验表明，VNL始终优于一系列竞争基线。进一步分析表明，验证笔记本在保持紧凑和可解释的同时，改善了细粒度的源归属，为在不进行模型训练的情况下积累验证知识提供了一种有效的方法。
博主点评： 该研究通过引入验证笔记学习为多模态虚假信息检测提供了一种创新的方法，不仅提升了验证的准确性，还解决了模型训练中的知识积累问题，具有重要的实际应用潜力。整体思路清晰，未来可扩展至更复杂的验证场景。