摘要
广告创意优化日益受到评估而非生成的约束。生成模型能够生成许多合理的创意，但可靠的评估需要在线实验，而在这些实验中只能测试有限的样本。我们研究了如何利用历史A/B测试的数据来生成和选择这些样本中的候选项。
我们开发并部署了一种以性能为驱动的离线到在线工作流，该工作流通过预测模型作为推理时的评估者来指导创意生成。在离线阶段，我们使用基于历史实验训练的预测模型对生成模型创造的变体进行排序和优化。最终测试样本随后在在线自适应实验中部署。
在一项50臂的实地实验中，我们发现通过这种方法生成的最佳创意比最佳人类创作的创意提高了45.1%的参与度。两个额外的实验显示了相同的上游模式，提升分别为46.7%和36.2%。我们的研究发现，尽管预测模型在离线状态下无法直接识别最佳创意，但它有效地引导生成模型创造出可以在自适应实验中高效评估的强候选项。
这些结果为使用生成模型的创意优化提供了一种设计原则：使用预测模型指导测试样本的生成，判断样本是否包含可行测试规模的高性能候选项，并利用自适应实验在候选项中进行选择，同时限制对弱选项的流量损失。
博主点评： 本文提出的离线到在线的广告创意优化方法，结合了生成模型与自适应测试，为广告行业的创意生成提供了新的思路。通过利用历史数据和预测模型，显著提高了创意的参与度，展示了数据驱动决策的重要性。这样的创新方法值得在其他领域推广应用。