我们研究了具有风险感知目标的通用效用马尔可夫决策过程（GUMDPs）。在这一框架中，智能体旨在优化目标值分布的风险度量，目标函数依赖于智能体策略所诱导的状态访问频率。
首先，我们提出并形式化了风险感知的GUMDPs，使得智能体和决策者能够在风险厌恶的情况下权衡期望性能，并受益于GUMDPs框架下丰富的目标集。我们重点关注熵风险度量（ERM）。
其次，我们展示了如何利用在线规划技术解决具有ERM目标的风险感知GUMDPs。具体而言，我们提出了一种基于蒙特卡罗树搜索（MCTS）的方法，能够以任何所需的精度可证地解决风险感知的GUMDPs。
最后，我们提供了一组实验结果，展示了在多种任务（标准MDPs、最大状态熵探索、模仿学习和多目标MDPs）中，我们的方法在优化风险感知行为方面的成功。
博主点评： 本文通过引入风险感知的GUMDPs，为决策过程提供了一种新的视角，尤其适用于需要在不确定性下进行决策的场景。通过结合MCTS技术，论文展示了在复杂环境下的有效优化策略，具有重要的理论和实际意义。