摘要
近年来，基于推理的大语言模型（LLMs）取得了显著进展，但它们主要采用被动推理模式，假设信息是完整的。然而，现实世界中的临床智能本质上是一个迭代调查的过程，需要战略性地获取证据。为了解决这一问题，我们将医学诊断形式化为一个迭代证据寻求任务。
我们利用可验证奖励的强化学习（RLVR）来激发闭环环境中的内在推理，采用一套新颖的奖励机制，以确保诊断的准确性和检查的一致性。为此，我们引入了基于检索增强生成的考试模拟器（RAGES），这是一个高保真的临床神谕，提供现实的、基于知识的后续证据。
在多个数据集上的实证结果表明，我们的框架使得LLMs能够从被动响应者转变为自主助手。值得注意的是，我们的模型在性能上与更大且增强推理的基线模型相当，而RAGES在生成生物学上合理的临床反馈方面优于普通LLMs。
博主点评： 本文通过引入强化学习和创新的奖励机制，成功实现了对大语言模型能力的提升，尤其在医疗诊断领域的应用，展现了强大的潜力。此项研究为将来智能医疗系统的发展提供了重要的方向和基础。