摘要

训练人工智能以在资源上保持风险规避，可能为其在不对齐情况下提供安全保障。不对齐但风险规避的AI倾向于选择低风险、低回报的策略（如合作），而不是高风险、高回报的策略（如反叛），从而限制任何不对齐的潜在损失。然而，我们只能在低风险赌注上有效训练AI的风险规避能力，而只有当其风险规避能够推广到极高风险赌注时，我们才能确保安全。

为了解答这个问题，我们引入了RiskAverseOOD：一个用于测量风险规避如何在超分布中推广的基准测试。我们提供了一些初步结果。通过多种方法使Qwen3-8B在低赌注时选择风险规避，我们发现能够在极高赌注时诱导出显著的风险规避。我们的模型在98个数量级的范围内，风险规避的学习至少部分地推广。

从基线的2%安全选择“合作”选项的比例来看，我们观察到使用SFT和tie训练时的比例约为70%，使用DPO时为52%，而激活引导时为39%。在另一项实验中，我们的微调奖励模型在风险规避推理上的得分明显高于风险中立或过度风险规避的替代方案（99.6%的成对准确率）。我们在不同规模（Qwen3-1.7B和Qwen3-14B）和不同模型系列（Gemma-3-12B-IT和Llama-3-8B-Instruct）中复现了这些效果。

总体而言，我们发现低赌注训练的风险规避能够在超分布中推广到极高赌注，尽管目前尚未达到足够的一致性以作为可靠的安全保障。实现这一一致性的水平仍然是一个未解的问题。

博主点评： 该研究深入探讨了AI在极端情境下的风险规避能力，显示出低风险训练对高风险决策的潜在影响。然而，推广一致性仍需进一步研究，以确保AI在不对齐情况下的安全性，这为未来的AI安全研究提供了重要的方向和挑战。