在数十万种大语言模型（LLM）中挑选合适的模型，需要对每个模型的多项属性有深入了解。传统做法是为每个属性准备独立的基准测试，这会导致大量的评估成本。模型嵌入通过把模型压缩为固定长度向量，能够一次性预测多种属性。已有方法如 EmbedLLM 主要利用答案的正确性模式和问题特征构建向量，且往往需要庞大的探测题库。实际上，模型的冗长程度、安全性、风格等行为特征更多体现在答案文本本身，而非是否正确。为此我们提出 BULLPEN（Behavioral Understanding of Large Language models via Profile ENcodings），在三方面扩展了 EmbedLLM：
- 将之前使用的下游任务进行系统整理，并新增 20 项围绕行为、风格和来源的基准。
- 首次在编码时同时读取模型的答案文本、正确性标签以及问题文本。
- 只需数百条问题即可完成编码，而不是完整的 24,118 条问题池。 在 260 个开源权重模型上，使用答案文本的编码器在新任务上的得分为 0.48±0.10，显著高于仅使用正确性信息的最佳基线 0.35±0.10。即使只使用 400 条问题（占完整题库计算量的 1.3%），答案文本编码器仍保留至少 91% 的完整池性能，而仅基于正确性的基线保留 83%。由于这些嵌入仅依赖模型输出，它们可以用于行为审计和低成本画像，甚至适用于仅提供 API 的模型。代码与数据已公开： https://github.com/wcquesera/bullpen
点评：BULLPEN 通过引入答案文本信息和行为基准，实现了在极低计算成本下的高质量模型画像，为实际模型选型提供了更实用的工具。