舞动扩散通过为每段时间步分配专属的连续条件块,将条件化转化为潜在程序。编译器将文本特征映射为程序,固定的预训练生成器在连续的采样区间执行这些块。这样轨迹能够保留已执行的历史,同时在后续被重新定向。共享前缀只执行一次并被复用,后续操作可以被改写,而早前操作固定的内容得以保留。编译器通过生成的图像进行训练,视觉反馈同时关注请求的变化和保留的内容。实验在 SANA 基准上显示,复用已执行的前缀比从噪声重新生成在相似编辑强度下保留更多场景;学习到的条件比直接在同一保存状态下切换提示保留更多背景;学习的程序在生成质量上优于原生 SANA。后续分支会削弱编辑力度,使得对单个操作的语义控制受限。通过将单指令轨迹转化为可寻址的操作序列,舞动扩散为扩散模型中的结构化中间计算奠定基础。
点评