NeFut Logo NeFut
EN 管理员登录

[AI学术] 面向可移植的代理系统规范

发布于:2026-11-03 22:00 最后更新:2026-11-05 00:45
#AI #Machine Learning #LLM

大型语言模型的行为完全依赖于其周围的基础设施,即所谓的 harness。harness 决定模型能够完成的任务以及可能的失效方式,但目前尚未有统一的定义。为填补这一空白,我们将 harness 拆解为八个功能组件,并提出一种可移植的规范框架,用于记录模型在何种 harness 中运行。该记录至关重要,因为不同的 harness 配置会导致同一模型的评分出现数倍差异,且大量攻击面来源于 harness 本身。现有的模型卡和代理卡仅提供发布和运行信息,未能描述一次运行中实际生效的配置序列。harness 在不同版本、不同运行甚至同一次运行中(当代理自行修改工具和配置时)都可能变化。已实施的 AI 法律要求对覆盖系统进行文档记录,但并未规定本文提出的统一 harness 记录。因此,harness 必须被显式描述并作为系统的可版本化部件进行规范。

点评:明确的 harness 规范有助于提升实验可复现性,降低因环境差异导致的评估偏差,也为合规审计提供了可追溯的技术依据。

原文链接: https://arxiv.org/abs/2610.40917

[h] 返回首页