Empowerment 衡量代理主动控制环境的能力。本文阐明了技能学习与 empowerment 之间的关联。虽然技能学习本身不是 empowerment，但我们提出了一种简洁可扩展的最大化方案：empowerment 等价于从某状态可执行的技能数量，因而最大化 empowerment 即寻找能够作为众多技能起点的状态。该方案可与任意底层技能学习方法结合。以往研究多聚焦于表格化环境，而我们的方法能够在大规模环境中验证理论预测的特性，如资源收集、环境改造和生存行为。实验表明，最大化 empowerment 能触发有趣的涌现行为，例如在游戏 Crafter 中自行建造房屋。更多信息与代码请访问 https://empowerment-geometry.github.io/scaling-empowerment/。
点评