NeFut Logo NeFut
EN 管理员登录

[AI学术] 并非所有信息都值得询问:基于决策的LLM信息检索

发布于:2026-10-26 22:00 最后更新:2026-10-27 00:43
#AI #Machine Learning #LLM

大型语言模型(LLM)在信息不完整的情境下辅助决策时,除了最终答案,何时查询以及何时停止同样关键。现有模型容易陷入信息陷阱:为无法改变决策的高成本证据付费,或在已有足够证据时仍继续查询。

为了解决该问题,本文提出 Decision‑Informed Value‑of‑information Acquisition(DIVA),一种基于证据决策价值的简洁信息检索流程。DIVA 的核心步骤包括让 LLM 通过简短的数值问答构建一个小型决策模型,估计不良结果的概率以及每项检查对该概率的影响;随后对每个候选检查计算价值‑成本比,只有在该比值为正时才执行检查,并在没有检查值得其成本时停止。

DIVA 的扩展版本 DIVA‑U 进一步考虑 LLM 对每项检查影响程度的估计不确定性,通过对概率变化的分布进行期望计算,使价值评估更为稳健。

该方法无需额外训练,可直接应用于任意 LLM。实验在四个领域、20 种 LLM 上进行:在真实数据集上,DIVA‑U 的后悔值(相对最佳决策的价值损失)低于所有基线模型,主要得益于能够在证据足够时及时停止查询;在合成场景(已知每项检查的可靠性)中,DIVA 将最佳基线的后悔值降低了 75%。

代码已开源:github.com/seunghan96/diva

点评:DIVA 通过显式量化信息价值,实现了对查询成本的理性控制,展示了在实际决策任务中提升 LLM 效率和可靠性的可行路径。

原文链接: https://arxiv.org/abs/2610.32181

[h] 返回首页