Guard 模型近年来被广泛用于约束基于大语言模型(LLM)的智能体,主要通过检测哪些行为是被禁止的来提升安全性。然而,仅识别禁止行为并不能完整保障智能体的安全。我们提出,安全性同样取决于识别那些本应执行但未完成的关键安全行为——我们称之为义务。
在一个常用的安全评估基准上进行的初步实验显示,GLM-5.3 的轨迹中有 56.92% 包含未履行的义务,而仅有 30.00% 包含禁止行为。这表明未履行义务是一个被严重低估的安全风险来源。当前没有基准能够评估守护模型对义务的识别能力。
为填补这一空白,我们推出 ObligationBench,这是首个专门用于评估义务识别能力的基准。它收录了 240 条经专家验证的轨迹,覆盖问题解决、功能开发和终端运维等场景。对 14 种代表性模型的评测表明,它们在召回率和精确匹配率上分别最高仅为 48.97% 和 10.00%。
针对上述局限,我们构建了 ObligationGuard,利用 40,000 条合成训练样本进行微调。该模型在召回率上达到 57.52%,精确匹配率提升至 21.67%,在所有评测指标上均领先于现有模型。
我们呼吁社区在设计和评估未来的守护模型时,将义务识别纳入考量,以进一步提升智能体的安全性。
点评