在公共卫生领域，大型语言模型（LLMs）在医疗问答基准测试中取得了令人鼓舞的结果，但由于幻觉和官方指导的快速变化，其应用受到限制。检索增强生成（RAG）通过将响应基于明确维护的语料库来缓解这些风险，但端到端性能在很大程度上依赖于检索配置和超出多项选择格式的评估。我们扩展了PubHealthBench，这是一个包含7,929个问题的问答基准，问题源自英国政府的公共卫生指导，进入检索增强的设置并系统评估检索和生成选择。
我们比较了多种嵌入模型和语料变体下的密集、稀疏和混合检索，结果显示混合检索在召回率和排名质量上始终有所提升，并且块长度和主题与排名性能相互作用。提供检索的上下文显著提高了多项选择的准确性，使得较小的开放权重模型能够与未使用检索的大型模型相匹敌或超越，主要得益于检索质量和仔细的上下文选择。
为了评估现实的自由形式回答，我们引入了一种基于评分的LLM评判标准，涵盖真实度、完整性、清晰度和事实一致性，并根据双重人工注释进行了验证。评判者与人类的协议在真实度和完整性方面最强，而事实一致性和清晰度的再现性较低，这促使我们在大规模解读这些维度时要谨慎。总体而言，我们的结果强调了检索作为可靠公共卫生问答的主要杠杆，并为构建和评估基于官方指导的RAG系统提供了实用指导。
博主点评： 本文通过扩展问答基准和系统评估检索策略，展示了RAG在公共卫生领域的重要性。尤其是混合检索策略的有效性，强调了在快速变动的信息环境中，如何利用检索来提高LLM的问答能力。这为未来的研究和应用提供了宝贵的思路和方法论。