大型语言模型的行为完全依赖于其周围的基础设施,即所谓的 harness。harness 决定模型能够完成的任务以及可能的失效方式,但目前尚未有统一的定义。为填补这一空白,我们将 harness 拆解为八个功能组件,并提出一种可移植的规范框架,用于记录模型在何种 harness 中运行。该记录至关重要,因为不同的 harness 配置会导致同一模型的评分出现数倍差异,且大量攻击面来源于 harness 本身。现有的模型卡和代理卡仅提供发布和运行信息,未能描述一次运行中实际生效的配置序列。harness 在不同版本、不同运行甚至同一次运行中(当代理自行修改工具和配置时)都可能变化。已实施的 AI 法律要求对覆盖系统进行文档记录,但并未规定本文提出的统一 harness 记录。因此,harness 必须被显式描述并作为系统的可版本化部件进行规范。
点评:明确的 harness 规范有助于提升实验可复现性,降低因环境差异导致的评估偏差,也为合规审计提供了可追溯的技术依据。