在新AI模型发布前，进行部署前安全评估旨在告知下游风险。然而，大多数评估对模型在实际部署中出现不当行为的频率提供的信息有限：它们通常覆盖不足、代表性不强，并且容易被识别为测试。
为了解决这些问题，我们研究了一种简单的模型部署模拟方法：从先前模型部署的去标识化对话开始，固定初始对话前缀，然后使用候选模型再生成下一个响应。生成的响应可以被审计以发现新颖的不一致，并用于在部署前估计模型不当行为的发生率。
我们在四个GPT-5系列部署中评估了部署模拟，使用了对GPT-5.4的注册、结果盲预测以及对三次早期发布的回顾性分析。我们发现，部署模拟能够提供关于后续部署不当行为率的信息估计，并且其效果优于基于对抗性选择的生产数据的基线；其评估意识下的点估计也比传统评估更接近生产流量。
我们还识别出工具重采样的现实性是进一步提高预测的核心挑战，并分享了结果，表明即使在复杂的工具使用环境中，这一挑战是可以克服的。最后，我们展示了部署模拟可以从公共聊天数据集中播种，并仍然对生产不当行为率提供信息，建议外部研究人员无需访问私有生产日志也能够进行基于部署的评估。
总体而言，部署模拟帮助评估者预测语言模型在现实世界中的行为，并支持更定量的部署风险评估。
博主点评： 这项研究为大型语言模型的部署安全提供了重要的前瞻性视角，通过模拟部署来评估模型行为，能够有效降低潜在风险。这种方法的创新性在于，它不仅能改进预测的准确性，还能为外部研究者提供实用的评估工具，具有广泛的应用前景。