NeFut Logo NeFut
EN 管理员登录

[AI学术] LLM 能否适当信任?对不完美合作伙伴的校准依赖评估

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#Machine Learning #LLM #Artificial Intelligence

大型语言模型(LLM)正越来越多地与人类或其他 AI 代理协作,而这些合作伙伴的输出可能不完整、前后不一致或直接错误。要实现有效协作,需要 校准的信任:模型应当根据累积的经验证据,理性地决定何时依赖、何时验证、何时提供帮助。\ 本研究构建了一个包含 324 种情境、覆盖 23 类协作任务的基准。每个情境包括三步顺序决策,明确的状态转移、反馈机制和成本安排,使得可以对决策的期望后果进行精确的解析评估。\ 我们在基准上测试了七种主流模型,并设计了 36 条受控历史探针,以区分模型对证据的敏感度和其是否采取规范上合适的行动。结果显示,最先进的前沿模型已接近最优决策,但其他模型仍存在系统性缺陷:过度购买安全措施、为零信息价值的验证测试付费、倾向于短期节约而忽视合作学习、以及将帮助资源错误分配到次优渠道。\ 向模型显式提供后验分布可以纠正部分错误,但也会引入新的失效模式。研究表明,真正的校准信任必须把经验证据与面向未来的决策效用相结合。\ \ 点评:本工作通过精细化的情境设计和严格的解析评估,揭示了 LLM 在协作信任中的关键瓶颈,为后续提升模型的合作鲁棒性提供了明确方向。

原文链接: https://arxiv.org/abs/2610.34107

[h] 返回首页