连续扩散模型通过在连续嵌入空间上进行非自回归文本生成，已成为一种有前景的范式。沿着连续轨迹，残差 token 身份直接决定去噪目标，但几何轨迹与时间进程不匹配，导致严重的时间压缩。我们发现嵌入范数衰减使得欧氏距离产生虚假的超车现象，说明 token 竞争必须在方向上评估。
在该空间中，只有当有效噪声幅度超过两 token 语义分离时，候选 token 才能超车源 token。我们将这种成对动态形式化为 竞争阈值理论 (CTT)。高维空间的超车需要极端噪声水平，导致标准轨迹将身份衰减集中在噪声端点附近的狭窄窗口。
为了解决此问题，我们提出 语义保留调度 (SRS)，将时间分配与身份衰减的进程对齐，并证明现有的 token 身份度量本质上是这些成对交叉的统计聚合。基于这些理论洞见，我们构建了 LLaCO 框架。LLaCO 通过嵌入方向适配器和时间步调制，将预训练骨干网络适配到连续表示。为在方向空间中工作，LLaCO 采用球面噪声过程，将噪声视为向掩码偏置端点的测地线插值，消除范数衰减并保持准确的 token 竞争。
在 SRS 的指导下，LLaCO 按对数秩衰减比例重新分配去噪轨迹。我们在 8B 参数模型上实现 LLaCO，实验表明其性能超越先前的连续扩散基线，并可与规模相当的离散扩散模型相媲美。
点评