全参数微调在推理密集任务上取得了显著效果，但往往需要大量 GPU 资源。参数高效微调（PEFT）能够显著降低计算成本，却在此类任务上表现出明显的性能差距。我们通过三项关键观察发现，这一差距与 范数相关的适配不足 密切相关：PEFT 的权重更新范数普遍远小于全参数微调。基于此，我们提出 NormTune——一种范数引导的参数高效微调策略。NormTune 会根据每层的权重更新范数动态放大更新幅度，确保更新不足的层得到足够的学习信号。实验在多个推理基准上验证了其有效性：在 S1K-1.1 数据上，将 NormTune 融入 rank‑8 LoRA、Bone、MoRA，分别在 AIME 2024、MATH 500、GPQA、AIME 2025 上提升平均准确率 24.24%、11.33% 和 16.21%。进一步将 NormTune 应用于 rank‑256 LoRA、Bone、MoRA，性能已接近 S1 全参数微调，并分别比基线提升 2.17%、0.93% 和 3.00%。
点评：NormTune 通过简单的范数放大机制，显著弥补了 PEFT 在推理任务中的适配不足，为在资源受限环境下实现高效微调提供了实用方案。