NeFut Logo NeFut
EN 管理员登录

[AI学术] 灾难性表现的定义

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #Artificial Intelligence

在人工智能安全研究中,一个核心难题是如何设定与人类偏好一致的目标。已有的理论工作多关注目标偏差对整体效能的削弱,却往往不区分轻度次优和灾难性后果。为便于对AI错配导致的灾难风险进行严格分析,本文提出了“灾难性表现”的形式化定义。该定义依赖两个参考值:\n\n- 基线值:在未部署任何智能体时系统能够达到的价值。\n- 正交值:对应一条与人类偏好无关、在我们所述意义下极度不利的轨迹所产生的价值。正交值通常远低于基线值。\n\n灾难性表现指的是当在已有的人类活动已经改善环境状态的基础上部署AI,使其目标是进一步加速进步时,智能体的行为导致这些已获得的收益被逆转,甚至跌至正交值附近的情形。通过若干历史案例的阐释,本文展示了基线值与正交值的直观含义,并说明灾难性表现本质上是对人类已实现利益的毁灭性回滚。\n\n点评:该定义为量化AI失控的最坏情形提供了清晰的基准,有助于后续研究构建风险度量与安全约束。

原文链接: https://arxiv.org/abs/2611.06219

[h] 返回首页