摘要
大语言模型在开放世界应用中的部署需要既能抵御复杂风险又能在低延迟下高效运行的安全防护措施。现有的安全防护面临轻量级分类模型与推理模型之间的实际权衡：前者高效但常常难以处理隐蔽意图、模糊语义和边界安全决策，后者虽然提升判断质量，却引入了额外的令牌生成和推理延迟。
我们提出了 DT-Guard，这是一种基于推理主动训练和无推理推理范式的内容安全防护模型。其核心思想是在训练过程中使用推理监督，而在推理时仅输出结构化安全标签。DT-Guard 将安全判断公式化为渐进决策过程：意图 - 类别 - 安全，并构建了一个包含意图标签、风险类别、安全标签和结构化推理轨迹的意图驱动数据集。
为了进一步提高在困难案例上的鲁棒性，我们提出了 Rollout-Guided Progressive Hard-Case Optimization (RG-PHO)，该方法利用多次回滚一致性来识别稳定掌握、持续失败和偏好不稳定的样本，并相应地应用有针对性的监督和偏好优化。在推理时，DT-Guard 直接生成结构化标签，而无需显式的推理轨迹，从而保持了部署的高效性。
在提示侧和响应侧的安全基准测试中，实验结果显示 DT-Guard 的平均 F1 分数分别为 0.886 和 0.870。仅使用 4B 的骨干网络，它实现了双侧平均 F1 分数 0.878，超越了强大的 8B 安全防护基线。这些结果表明，推理监督能够有效内化到低延迟的安全判别中。
博主点评： DT-Guard 的设计巧妙地平衡了推理质量与运行效率，展示了在安全防护领域中如何通过创新的训练策略提升模型的实用性。其高效的结构化标签生成方式为大语言模型的安全应用提供了新的思路，值得深入研究和推广。