每一代前沿模型都会把可能性的边界向外推。模型若被放入一个 harness——即循环、外壳或文件系统，并且能够自行编写并执行代码——就能承担越来越复杂的工作。近年来，研究者把编码代理的 harness 视为知识工作的平台，而不是单纯的编码工具，随之出现了一批针对该平台的基准测试。大多数基准侧重生成式任务，例如根据简要说明生成财务模型、备忘录或电子表格，并通过评分标准或另一模型进行评估。真正耗时的知识工作往往是调查性质的：在审计、税务、尽职调查、监管报告、索赔或数字争议等场景中，答案已经埋藏在跨系统的碎片化、格式不统一的证据中，需要被找出并精确到分。
我们推出了 kw-bench，它基于真实业务专家提供的案例构建。首批任务族是对三代 SAP 系统（传统 ECC、部分 S/4HANA 迁移以及顾问重新设计）的五年增值税（VAT）重建。数据以原始系统导出形式提供：页面标题、局部数字格式、部分关联表，且缺少任何连接文档。评分采用确定性规则，完全不依赖 LLM 判官。
实验中，我们在同一模型 DeepSeek v4.1 Flash 上运行了四种 harness：Claude Code、Codex、OpenCode 与 micro-cc，时长两小时。两种模型无关的 harness（OpenCode、micro-cc）分别得到 0.542 与 0.528 的分数；两种实验室专用 harness（Claude Code、Codex）在非本模型环境下得分为 0.00。导致失败的关键是 惯性——在长会话中保持大量弱信号的能力。
当使用真正的前沿模型时，任务几乎瞬间完成。micro-cc 与 Claude Code 在 Claude Opus 5.5 上分别在 22 分钟和 25 分钟内取得 0.9986 与 1.000 的几乎满分。原本需要数周的项目现在只需几分钟和少量费用；在前沿模型以下，harness 决定了模型的最终表现。
点评：kw-bench 通过真实业务数据揭示了模型与 harness 的协同效应，证明在调查型任务上，前沿模型的推理速度和准确度已经可以媲美人工审计，而传统 harness 的设计仍是性能瓶颈。