NeFut Logo NeFut
EN 管理员登录

[AI学术] LLM 推荐的认知依据:在缺乏客观真值时的依赖基础表征

发布于:2026-09-04 22:00 最后更新:2026-09-05 12:23
#Machine Learning #LLM #Artificial Intelligence

在组织决策中,大语言模型(LLM)的推荐使用日益增多,但用户往往缺乏评估单个推荐是否值得依赖的原则性依据。现有方法多聚焦模型的整体属性,如可靠性、不确定性或鲁棒性,或关注用户信任,而未明确说明依赖某条推荐的根本依据。本文借鉴认识论的理论框架,引入epistemic warrant(认知依据)这一决策层面的概念,用以刻画模型偏好稳定性以及该偏好适用的范围。我们将该概念具体化为针对成对推荐的四层级依赖证书,分别对应不稳定、情境依赖、局部支持和广泛支持四种推荐类型。通过已知组测试验证了该构造的有效性:能够恢复专家预设的依据排序,且更高层级的依据与众包工作者的独立共识呈系统性一致。此外,实验表明 epistemic warrant 所提供的信息与模型口头置信度不同,也不易被决策难度所解释。总体而言,该框架在缺乏客观真值的情形下,为评估单条 LLM 推荐的依据提供了理论扎实且可实现的方法。

点评

原文链接: https://arxiv.org/abs/2609.04127

[h] 返回首页