多模态大语言模型（MLLM）发展迅速，但传统基准的研发速度落后，导致新出现的能力缺口难以及时被发现和分析。图表问答（Chart QA）因其信息密集的图表能够同时考察感知与推理，被视为探测这类缺口的理想任务形式。自动化构建 Chart QA 旨在通过按需生成样本，将已识别的缺口转化为针对性的诊断证据，从而缩短基准开发周期。现有方法通常将目标引导与从零生成分离：目标引导系统需要预先准备好的数据、图表或模板，而从零生成系统侧重于保证生成物的有效性，却缺乏对生成内容是否与外部诊断目标保持一致的显式控制。ChartBmkAgent 通过一个中心 harness 协调多个专用代理，在构建全过程中要求每个阶段提供与原始错误类别对齐的证据，并记录每一次接受决策的依据。实验在 300 条覆盖完整错误分类的样本上进行，MLLM 的准确率在 32.7% 到 84.3% 之间呈现明显的类别差异，说明生成的样本能够揭示能力差异。三组源模型的对比显示，针对性后续样本的得分为 50.0%，而匹配的对照组为 82.2%（$p=8.96\times10^{-6}$），所有六组跨模型比较均呈现相同方向，验证了针对性验证和诊断数据生成的有效性。六个评估模型对每个样本是否测试了其指定错误类别进行评估，86.4% 的样本满足该标准，提供了目标保持的实证证据。
点评