强化学习可以利用模型自身的内部反馈来提升推理能力，而不依赖真实答案或外部验证器。训练过程中，模型的自信度与实际正确性往往出现分离，单纯最大化平均自信度会导致自信提升却推理准确率下降。为此我们提出 SIF 方法，它将比较式奖励构造与选择性策略更新相结合。SIF 在多个时间窗口和同类样本之间比较排好序的 token 级自信度曲线，仅在两层投票均提供足够支持时给予正向奖励。随后通过样本层和批次层过滤决定哪些响应用于策略优化。实验在三种主干模型上覆盖 12 项数学与科学推理基准，结果显示 SIF 的最终检查点在平均准确率上超过 Intuitor 与 Vigor 的最佳验证检查点，其中在 Qwen2.5-Math-1.5B 上比 Intuitor 提升 4.71%。进一步分析表明，在持续优化过程中 SIF 能更好保持准确率；测试时的微调实验也证明，仅使用每个提示四次回滚即可实现持续提升。
点评：SIF 通过双层投票和过滤机制有效抑制了自信与正确性的脱钩，为内部反馈驱动的自监督推理提供了可靠路径。