在生成模型中,通常使用旋钮(如提示、引导比例、属性标签)来进行控制。然而,旋钮的调整在某一点之后会停止影响我们关心的属性。这种限制并不是模型的缺陷,而是由训练数据在模型训练之前设定的预算。
属性的可调范围被分为两部分:旋钮可达到的部分和仅通过示例(即你希望增加的具体实例)才能达到的另一部分。通常,后者的范围要大得多,但并非总是如此,而同样的预算也提前说明了这一点。
要达到第二部分,需要采取不同的方式:展示示例,而不是单纯地调整旋钮,这些示例由模型已经学习的内容组成,而不是添加到其训练数据中。通过对训练数据进行简单审计,可以测量出预算;我们提供了一种构建示例集的方案,以覆盖所有预算。
这种方法带来了旋钮无法实现的两个优势:
- 覆盖范围:它能够在整个预算中移动属性,而不仅仅是旋钮所能达到的部分。
- 表现力:它能朝向只能通过示例指定的目标进行引导,包括那些无法用语言表达的目标。
我们将这些优势转化为若干可验证的主张,并在两个不相关的领域(图像生成和晶体结构生成)中进行了验证,标明了旋钮足够的地方,以及仅通过示例才能实现的地方。
博主点评: 本文深入探讨了生成模型的调控方法,提出了通过示例引导模型的理念,展示了其在实际应用中的优势,这为模型的优化提供了新的思路,值得关注!