在对任务进行适配的多模态模型中加入回避机制往往会丢失已经获得的正确答案，甚至会削弱适配期间学到的能力。我们将回避修复定义为：在不超过给定预算的前提下，最大化对不可回答问题的正确回避率，同时尽量避免新产生的正确答案损失。为此我们提出 ReFrain（Regression‑Free Abstention），其核心包括三部分：
- 对首个 token 的 logits 进行线性探测，以判断答案是否可信；
- 在保留的图像簇上进行阈值校准，确保在零预算目标下校准集的回避率为零，即“回归‑免费”；
- 使用确定性否决策略，将被拒绝的输出统一替换为显示的“none of the above”，其余答案保持不变。
所有对照实验均基于同一套经过 SFT 微调的回答检查点，分别统计因回避而失去的正确答案、被修复的错误以及保留下来的 SFT 增益。实验在 Qwen2.5‑VL‑3B 上进行：在零预算下，ReFrain 完全保留 57 条 SFT 获得的正确答案，正确回避提升 7.30%。当使用 0.5% 的校准预算时，正确回避率达到 74.05%，仅损失 8 条答案并保留 55 条增益；相比之下 CLIP‑UP EmbLoRA 的正确回避率为 64.65%，损失 62 条答案、修复 41 条错误、保留 40 条增益。相同的探测器在默认阈值下会失去 298 条正确答案。冻结模型和阈值后，在 228 个独立问题簇上的验证显示，0.5% 预算点的正确回避率为 66.05%，且无任何损失，领先 EmbLoRA 32.72 个百分点。普通的拒绝 SFT 虽然能够实现更高的回避率，却伴随更大的回归代价。代码与复现材料已公开于 https://github.com/ModeLiberaL/ReFrain。
点评：ReFrain 通过简洁的线性探测与阈值校准，实现了在严格预算约束下的零回归目标，显著提升了多模态模型的安全回避能力，同时几乎不牺牲已有的正确答案，展示了回避机制与模型性能的良好兼容性。