摘要
在人工代理中建模心理障碍不仅为计算精神病学提供了试验平台，也揭示了情感控制的失效模式。以往的研究通过手动调节奖励来引入一到两个障碍，事后标记行为并报告单次运行。我们将障碍建模重新构想为对认知评估信号的可控剂量操控，采用评估导向的 PPO 代理，表达七种障碍（焦虑、狂躁、强迫性检查、抑郁、冲动、上瘾和创伤后应激），每种障碍通过一项基于计算精神病学的预注册实验测量。通过超过一千次的运行（10个种子，四个对照，95%置信区间），每种障碍都显示出一种分级的单调剂量反应，而没有对照组能够重现这些效果。
除了这些引导的效果外，还有三个未在奖励中写明的发现：
- 这些障碍自组织成一个二维情感空间，狂躁与焦虑相互映射；
- 移除某个控制钮可缓解奖励扭曲障碍（如狂躁、检查、上瘾），但对避免障碍（如焦虑、创伤后应激）无效，后者在分级暴露课程下恢复；
- 两个同时控制钮的交互作用是非相加的，产生可测试的共病预测。
因此，评估权重参数化了一个可控的情感表型空间，其中诱发障碍的相同控制钮也可以用于建模其治疗。我们还展示了三个障碍控制钮（抑郁、上瘾、焦虑）如何在一个三维像素环境（MiniWorld）中转移，使用标准卷积代理且没有评估批评，跨实验的解耦在两个领域中均得到了确认，这表明该框架并非特定于网格世界或 PPO 的评估批评。
博主点评： 本研究通过引入可控剂量的认知评估信号，成功地在强化学习代理中模拟了多种心理障碍，为计算精神病学提供了新的视角。其发现不仅有助于理解障碍的相互关系，也为未来的治疗方法开发开辟了新的可能性。值得注意的是，研究展示了可重复性和跨领域的有效性，强调了该框架的广泛适用性。