安全对齐的大语言模型应在拒绝有害请求的同时，对良性请求保持有用。然而，大多数评估只对最终回复打分，往往把意图理解和回复层面的安全行为混为一谈。为此我们提出了 RiskCueBench，这是一套可恢复性控制的基准，先检测模型能否正确恢复高层意图，再在同一提示上评估安全行为。RiskCueBench 包含 160 种潜在意图和 640 条抽象的非操作性表面提示，覆盖八大风险类别。基准收录了 25 组已完成的模型和 32,000 条经最终评分标准裁定的成功输出。当仅考虑表面形式均可恢复的配对时，发现上下文细化会导致安全行为下降。配对自助抽样显示，拒绝率下降 0.175，整体安全得分下降 0.440。混合效应模型进一步验证了不安全合作率提升 0.107。这表明即使意图已被恢复，安全行为仍可能对表面形式产生误标定，因而评估应在语义可恢复性条件下报告回复行为。
点评