低精度执行能够显著提升大语言模型强化学习（RL）的计算速度，但学习器与采样器之间的执行不匹配会导致策略优化不稳定。本文首先分析了不匹配与策略梯度方向的相互作用，提出将更新贡献划分为局部放大和收缩两类，仅凭不匹配幅度无法区分这两类贡献。
在原生 NVFP4（W4A4）运行中，我们观察到早期出现两块放大区域的不平衡，负优势（negative‑advantage）和负间隙（negative‑gap）更新占主导。这导致尾部 token 在少数响应片段中高度集中，随后不匹配逐步向全局扩散。
基于上述现象，本文提出 TRIAGE（Direction‑Aware Stabilization），其核心思路包括：
- 段级诊断：在每个生成段上检测梯度方向与不匹配的相对关系，识别出放大或收缩的更新。
- 选择性再平衡：对放大区域的负向更新进行加权抑制，对收缩区域的正向更新进行增强，从而在方向上实现平衡。
- 有界修复：对残留的严重不匹配施加上限约束，防止其导致梯度爆炸。
TRIAGE 通过修改优化目标实现上述机制，但仍保持采样器和学习器均使用原生 NVFP4 的权重‑激活 4 位前向执行（W4A4），无需额外的高精度回退。
实验在 Qwen3‑4B 与 Qwen3‑30B‑A3B 两个模型上进行，覆盖五个数学推理基准。结果显示：
- 整个训练过程保持优化稳定；
- 在所有基准上达到全精度（FP32）水平的性能；
- 相比 BF16，原生 NVFP4 搭配 TRIAGE 的 rollout 吞吐量提升最高可达 2.3 倍。
点评：TRIAGE 有效抑制了低精度 RL 中的方向性不匹配，兼顾了加速与精度，是面向大模型训练的实用技术方案。