NeFut Logo NeFut
EN 管理员登录

[AI学术] 从提问到决策:评估大语言模型代理获取决策相关信息的基准

发布于:2026-11-11 22:00 最后更新:2026-11-12 00:51
#AI #optimization #LLM

LLM 代理越来越多地被要求为人类制定计划,例如为司机排班或为护士分配任务。然而,人类的请求常常缺少关键信息,支持决策的事实可能已经过时,导致代理需要主动询问澄清。现有基准要么假设问题已完整给出,要么使用未经校准的 LLM 模拟用户,无法充分检验这一能力。\n\n我们推出 Ask2Decide,包含 43 项规划任务,专门测试代理是否会询问对决策有影响的缺失信息。一个操作员持有所有未在请求中出现的事实,并利用优化求解器判断哪些事实会改变最优计划。与此同时,还加入了表面相似但对最优计划无影响的事实,以检验代理能否区分有用信息和无关细节。\n\n我们收集了 19 位参与者的 79 场交互,结果显示,在出现错误计划后,人类回复中遗漏纠正事实的比例为 43%,远高于未经校准的模拟用户的 7%。基于此,我们校准了一个模拟操作员,使其回复模式更贴近真实人类。\n\n在四个前沿 LLM 上进行评估时,缺少信息时它们的初始计划不可行的比例为 58%–98%,而在全部事实提前提供的情况下仅为 5%–28%。当信息缺失时,代理发现能够改变最优计划的事实的概率略高于发现无影响事实的概率(分别为 39%–52% 与 32%–41%)。\n\n这些结果表明,通过交互获取决策相关信息仍是 LLM 规划的主要瓶颈。\n\n点评:本工作提供了系统化的评估框架,揭示了当前模型在信息获取上的不足,为后续研究指明了改进方向。

原文链接: https://arxiv.org/abs/2611.13015

[h] 返回首页