组织在为安全工作部署语言模型代理时，需要在可自行运行审计的开源模型和成本更高的闭源前沿模型之间做选择。本文在 CTI-REALM 基准（将威胁情报报告转化为可执行检测并查询实时遥测库）上比较了 26 种模型：19 种开源、7 种闭源，使用统一的测试框架、评分器和 LLM 评审小组。主要发现是，只要给予足够的交互轮次，开源模型即可以不到闭源模型十分之一的成本匹配其最强表现。基准中对代理消息数的硬性上限导致任务在耗尽上限时所有检查点得分归零，这使得结果在该上限下无法区分领先的开源与闭源模型。放宽上限后，被截断的模型恢复表现，最高奖励落在开源模型上。价格并非能力的可靠指标：奖励相近的模型成本相差一个数量级以上。由于检查点得分主要记录模型的行为或提及，本文还引入了阶段级指标，通过在遥测库执行检测查询并与答案键比对来评估模型实际提交的结果。实验表明不同模型在不同阶段表现最佳，建议将工作流各阶段路由至最适模型，而非仅凭整体得分选取单一模型。我们亦统计了各模型生成的 token 数量，发现思考占用的输出比例与奖励并无直接关联。
点评