小型视觉语言模型（VLM）能够读取外部证据，但往往难以主动获取。为此我们提出 Harness Compilation（HC），一种离线流程，用于在冻结的小 VLM 与外部 harness 之间重新划分工作。大型教师模型利用学生的执行轨迹来修订可复用的内容和控制逻辑，随后通过独立的验证集挑选最终部署的 harness。部署阶段既不需要权重更新，也不需要再次调用教师模型。
在七个视觉问答任务中，学生模型规模最高为 9B 参数，HC 相比原始学生提升了 9.9 到 23.9 分，且每个任务均进行三次独立构建后取平均。我们针对五类运行时决策（调用、选择、参数生成、证据整合、弃答）进行干预，发现决策分配至关重要：请求证据和生成开放式查询成本高，而受限选择和读取提供的文本仍能发挥学生的作用。事实卡对所有十个评估学生都有正面影响，但决策策略的迁移效果不均。若转移的接口不再适配新学生，重新编译可恢复性能。使用 100 条练习样本时，HC 在三项任务上超越仅回答的 LoRA 方法。更大的训练预算可以匹配或超过固定 harness，而两者结合则在 SlideVQA 上取得超越单独方法的效果。总体而言，这些结果支持基于学生实际行为来分配工作，而非统一剔除决策。
点评