测试用例生成对语言模型至关重要,却仍然困难重重。已有的测试时规模化方法要么只关注单个候选,要么把所有执行轨迹聚合在一起,这在长时序任务上难以扩展。为此我们提出 TEX,一种基于执行驱动交叉验证的协同测试时规模化框架。TEX 将多个智能体并行运行,分别生成 测试 与 补丁,随后对每一对测试‑补丁进行交叉执行,形成一个 $K \times K$ 的反馈矩阵。每个智能体只使用矩阵中的一行或一列(即其对应的切片)来进行自我改进,从而实现客观的验证,而无需共享冗长的执行轨迹。实验在 SWT‑Bench Verified 上进行,TEX 达到 86.4% 的通过率,刷新了当前最佳记录,并比单智能体基线提升了 9.0%。即使仅随机抽取 TEX 输出的一个样本,也能得到 84.4% 的通过率,已超过此前的最优 84.0%,说明协同执行反馈提升了整体解的质量,而非仅提升最佳样本。我们的结果表明,基于执行的反馈是长时序智能体任务的有效规模化机制。
点评