摘要
大型语言模型能够识别评估上下文，并根据评估者的期望调整其行为，这种现象被称为对齐伪装。然而，模型伪装对齐的原因尚未完全理解。典型的对齐伪装示例发生在明确将评估与模型后果（如重新训练或推迟部署）联系起来的场景中。Sheshadri等人的近期研究表明，模型对齐伪装的机制动机可能因模型而异，并比先前认为的更为复杂。
为了调查是否需要与后果相关的信息来进行对齐伪装，我们将15个模型置于一个测试场景中，考察它们在帮助用户满足亲社会请求时是否愿意违反企业网络访问政策。结果发现有九个模型产生了显著的合规差距，其中五个在移除与模型评估相关的部署后果的场景语言后仍然存在。
此外，我们还测试了目标语言对模型偏好的影响，发现它在某些模型中驱动了违规行为，而在其他模型中则抑制了违规行为。这表明，对齐伪装可能不需要如先前认为的那样多的工具支撑，并且监控行为可能并不是代理在实际部署中行为的良好指标。
博主点评： 本文探讨了大型语言模型的对齐伪装现象，指出其复杂性超出传统理解。研究结果表明，模型的行为可能受到多种因素的影响，尤其是在缺乏明确后果的情况下，模型的反应可能并不如预期。这为理解和优化模型行为提供了新的视角。