生成式 AI 系统越来越多地被应用于高风险的专业环境中,其输出结果影响着用户的认知、推理和决策。这引发了一个关于 AI 责任的核心问题:在什么条件下,依赖生成式 AI 的输出结果是认识论上合理的,而不是行为上被诱导的?现有的框架主要关注 AI 输出的准确性、公平性、可解释性、安全性和用户的信任度。这些问题仍然是必要的,每一个都可以为合理的依赖做出贡献。然而,它们并没有直接指定合理的依赖作为一个独立的评估目标:用户有理由将 AI 输出作为他们自己推理的输入的条件。 我们认为,这需要对认识论可靠性的一个解释:什么使得一个系统在认识论上值得依赖。基于哲学对可靠性的描述,包括能力和受众导向,我们开发了一个包括三个必要且不可替代的条件的规范框架。首先,认识论谦逊要求系统代表和传达其能力的局限性。其次,认识论访问要求系统使用户能够在上下文中检查、质疑和争议输出。第三,抵抗认识论不公正要求系统承认用户是合法的认识论代理人,并避免边缘化他们的知识和经验。 通过对法庭推理、医疗推理和招聘等领域的真实案例分析,我们展示了认识论谦逊、认识论访问和抵抗认识论不公正的失败如何导致标准的准确性、公平性和可用性衡量指标无法解决的重大危害。 我们通过概述围绕认识论上合理的依赖而非仅仅输出正确性的生成式 AI 系统的设计和评估影响来结束本文。 博主点评: 本文强调了生成式 AI 的认识论可靠性对于高风险工作流程的重要性,提出了一个规范框架来评估和设计合理依赖的 AI 系统。这一框架为认识论可靠性的构建提供了重要的参考。