摘要
现有的LLM幻觉缓解方法，包括提示工程和模型优化，要么难以改变模型的内部知识，要么在跨领域泛化方面表现不佳。对比解码通过利用LLM中的层级差异来减轻幻觉。然而，之前的研究仅探索了基于变换器的模型（如GPT），忽略了像混合专家（MoE）这样的其他有效框架。由于MoE改变了传统变换器架构，我们进行实证研究以调查MoE中是否存在类似的层级差异。
我们的结果表明，具有共享专家的MoE中并不存在这些差异；然而，在不同的MoE中，较高层次的专家在事实和非事实输出之间表现出明显的激活模式差异。基于这些发现，我们提出了EAACD（专家意识自适应对抗解码），利用MoE高层的专家差异来减轻QA任务中的幻觉。
EAACD将高层专家分为一个高可靠性组和几个低可靠性组，依据它们的置信度和一致性。它将高可靠性组的预测与每个低可靠性组的预测进行对比，以校准模型的原始预测。为了增强这种对比，EAACD通过注意力和掩蔽放大低可靠性专家的幻觉，以提供更强的负参考。EAACD在四个数据集上超越了所有基线。
博主点评： 该研究提出了创新的专家意识对抗解码方法，为减轻大型语言模型的幻觉问题提供了新的视角。通过利用MoE结构的独特特性，EAACD展现了在QA任务中提高预测可靠性的潜力，值得在实际应用中进一步探索。