摘要
流匹配中的耦合——将噪声向量与数据点配对的规则——通常被视为一种计算选择。我们展示了这种耦合实际上可以作为一种对齐接口:通过根据目标分子属性匹配噪声和数据,它直接将可控结构嵌入到学习的流场中。
基于这一观点,我们引入了奖励传输(Reward Transport),在训练时使用最优运输耦合将标量噪声空间坐标与分子奖励对齐;在推理时,改变该坐标可以引导生成的分布,而无需依赖预言机、奖励模型、梯度指导或额外计算。
在耦合保持极限中,对该坐标进行阈值处理可恢复交叉熵方法的截断奖励分布,提供了一个有原则的、可持续调整的分布级控制旋钮。
在ZINC-250K和GuacaMol上的实证研究表明,调整标量引起对logP的单调控制,并在其操作范围内保持一致的QED控制;更重要的是,同一个旋钮对不同目标产生相反的结构响应:对于logP,分子增大,而对于QED则缩小,这排除了普遍的大小偏差。
该接口补充了无分类器引导和条件流匹配,而在epsilon预测扩散下的负结果则阐明了耦合级对齐在结构上缺失的地方。
代码
博主点评: 奖励传输方法通过在训练时对噪声和数据进行对齐,提供了一种新的流匹配控制机制。它不仅优化了生成分布的灵活性,还展示了在不同目标下的结构响应差异,具有重要的应用潜力和理论价值。值得关注的是,这种方法能够在没有额外计算成本的情况下实现有效的分布控制。