本文探讨在监督有限的情况下，辅助轨迹偏好是否能提升小型语言模型的自我改进与迁移能力。我们比较了两类度量：基于置信度的自信度奖励（SC）和结合全局熵变化与局部平滑性的熵基奖励（UID-Conj.）。实验分为在线奖励增强和离线正确响应训练两部分。\n\n在线实验中，将 Qwen3-1.7B 适配到 30 道无参考答案的 AIME 题目；离线实验则使用历史 AIME 题库。结果显示，UID-Conj. 在适配基准以及三个迁移基准上的宏平均提升了 2.08 个百分点，优于未修改的 TTRL。离线加权 SFT 中，UID-Conj. 相比均匀加权在同一响应池上提升 1.93 分，配对提示自助引导的 95% 置信区间为 [0.44, 3.44]。\n\n奖励类型的效用呈任务依赖性：SC 奖励更能判断轨迹质量和指令遵循程度，而 UID-Conj. 奖励在多数设置下带来更强的训练效果。研究表明，辅助偏好能够揭示推理过程中等价正确轨迹的学习价值，这些价值在推理时难以捕获，因而应通过下游任务增益来评估。\n\n点评：辅助奖励为小模型提供了细粒度的学习信号，尤其在缺乏完整答案的情境下表现突出，值得在更多推理密集型任务中进一步验证。