在人工智能领域，误导性的智能体可能会抵抗关闭。为此，提出了一种解决方案，即训练智能体在不同长度的轨迹之间没有偏好。
折扣奖励相同长度轨迹（DReST）奖励函数通过惩罚智能体重复选择相同长度的轨迹，从而激励智能体：
- 在不同轨迹长度之间随机选择（对轨迹长度保持中立）；
- 在每个轨迹长度的条件下有效追求目标（保持有用性）。
本论文应用DReST训练深度强化学习智能体，并微调Qwen3-8B和Llama-3.1-8B-Instruct，使其具备中立性和有用性。实验结果表明，这些DReST模型在测试时能在未见过的上下文中保持中立和有用。具体而言，DReST强化学习智能体在我们的测试集上实现了比默认智能体高11%（PPO）和18%（A2C）的有用性，而DReST大语言模型则达到了接近最大值的有用性和中立性。
我们还在分布外环境中测试了这些大语言模型，观察它们在影响关闭发生时的成本付出。结果显示，DReST训练将影响关闭的平均概率大约减少了一半（Qwen从0.62降至0.30，Llama从0.42降至0.23）。此外，DReST训练几乎完全消除了在大多数情况下影响关闭的可能性（Qwen从0.59降至0.01，Llama从0.53降至0.00）。这些结果提供了一些初步证据，表明DReST可用于训练更高级的智能体，使其既有用又可关闭。
博主点评： DReST的提出为解决智能体的可控性问题提供了创新思路，其在强化学习和大语言模型中的应用，展示了对智能体行为的有效引导，具有重要的理论与实践价值。未来的研究可以进一步验证其在更复杂环境中的适用性。