SkillCT 是一个面向智能体技能的多维度评估基准，旨在超越仅关注下游任务执行的传统评估方式。它将技能质量划分为九个互补维度，覆盖三个方面：静态评估（捕获技能规范的内在属性）、动态评估（检验在不同模型骨干和请求变体下行为的稳定性）以及人类辅助评估（检查行为链的一致性和任务粒度）。这些维度提供了比单纯执行成功更全面的质量视角。
在公开技能语料库上运行 SkillCT，得到了一套参考基准，用于分析各维度的质量薄弱环节及其相互关系。基于该基准，我们提出了一种免执行的质量评估基线：通过检索并利用相似的参考技能，预测未见技能的多维质量画像，而无需实际执行被评估的技能。该方法显著降低了 token 消耗和评估时长，同时保持与完整评估的一致性。
进一步实验表明，使用 SkillCT 指导的优化能够提升下游任务的成功率和执行效率，验证了其在技能细化、可扩展评估以及代码库维护中的实际价值。点评