LLM 代理会从公共技能库检索技能，库中可容纳约 10 万条记录并服务多个模型。随着模型能力提升，库需要识别模型已经内化的技能——即模型可以在不使用该技能的情况下完成相应任务，并将这些技能从库中退役。然而，现有的内化度量缺乏可靠性。已有的做法只比较有无技能时的增益（gain），但当技能已被内化或模型根本不具备该能力时，增益均接近零，这种情况我们称为“未覆盖”。
我们提出一种新方法：在不提供技能的情况下，让模型完成由该技能合成的任务，并记录其无辅助得分（unaided score）。仅当另一模型在使用该技能后显著提升时，才信任高的无辅助得分，因为约有一半的高分来源于模型本身并未受益的任务。实验在四个模型上进行，使用每项技能对应一个任务的增益规则会误删超过一半的未覆盖技能。基于 SkillsBench 的评估显示，31 次退役中有 28 次依赖的探测任务均未被任何运行完整通过，而使用无辅助得分进行退役并未导致可检测的奖励损失。无辅助判定在不同任务间的复现性高于增益规则（Cohen's κ 为 0.42 对比 0.23），但在不同模型之间差异显著，说明库需要针对每个模型单独读取判定结果。
我们公开了 1,251 条技能及其对应任务和四个模型的项目得分，供后续研究使用。
点评