本文探讨 AI 安全中的权力概念。最优代理在多目标下倾向于获取权力(工具性收敛),这会导致在人机系统中人类逐渐失去影响力。为此需要形式化、量化的权力度量。本文聚焦两种在马尔可夫博弈中的度量:信息论赋能(empowerment),即从代理动作到未来状态的信道容量;以及基于能力的个人权力(individual power),通过人类在一组候选目标中实现每个目标的概率来衡量。我们证明两者在目标揭示(goal revelation)处相交。利用 Fano 不等式,可从个人权力得到下界 $B(s)$,它是潜在目标 $G$ 与实际轨迹 $\xi$ 的互信息 $\mathbb{I}(G;\xi \mid s)$ 的下限。赋能则对揭示提供上界:
$$B(s) \le \mathbb{I}(G;\xi \mid s) \le \mathbb{I}(\mathbf{A}_h \to \xi \mid s) \le \mathfrak{E}_h(s)$$
每个量都可能很大,而其下一级仍为零,揭示了两类失效模式。最大化赋能的助理可能倾向于提供对目标无关自由度的广泛影响,而不是帮助人类实现所有可能目标。最大化揭示的助理则无法区分一个正常界面和一个被重连后所有目标都导致错误结果的界面,因为重新标记目标不改变互信息,却会使实现概率归零。因而只有实现端(attainment)才能提供正向保证。我们提出一种满意度下限,可从交互日志的两项统计量计算,用于监控部署系统中用户保留的权力。随机环境的仿真表明,这三者虽相关但不可互换。
点评:本文提供了权力度量的层级框架,指出仅靠赋能或揭示不足以保障人类控制,需要结合实现概率的硬约束。