在大型语言模型（LLM）中，长链推理（CoT）虽然能显著提升问题解决能力，但由于序列生成的计算开销，导致其效率低下。近期的研究尝试在连续潜在空间中进行推理，以绕过离散的令牌生成，但通常面临训练不稳定的问题，且在复杂的长时间任务中缺乏监督信号，难以扩展。
为了解决这一问题，我们提出了 SuperThoughts 方法，该方法将一对连续的 CoT 令牌压缩为单一的潜在表示，并通过轻量级的多令牌预测（MTP）模块在每一步解码两个令牌。这种方法在训练时保留了离散令牌的监督信号，而在推理时则实现了双倍的处理能力。
我们对 Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct 和 Qwen2.5-Math-14B-Instruct 进行了微调，并在 MATH500、AMC、OlympiadBench 及 GPQA-Diamond 等数据集上进行了评估。通过基于信心的自适应机制，在不确定时回退到标准解码，SuperThoughts 实现了约 20% 到 30% 的 CoT 长度减少，同时保持了准确性，绝大多数任务的准确性仅下降 1-2 分。
博主点评： SuperThoughts 的提出为长链推理提供了一种高效的解决方案，通过压缩令牌并利用多令牌预测，显著提升了推理速度，适合在复杂任务中使用，值得关注其在实际应用中的表现。