递归自我改进（RSI）已成为提升大语言模型（LLM）代理能力的有效手段。通过在给定数据集上搜索特定LLM的套件空间，RSI 能发现与模型能力和行为特征匹配的套件。然而，这种优化往往导致套件与目标LLM之间的强耦合，限制了跨模型的泛化，并且在适配新LLM时需要大量计算资源。
现有 RSI 方法通常仅利用单一模型的反馈来优化套件，随后才在其他模型上评估其泛化能力，这把模型差异视为评估标准，而非优化证据。
本文提出一种新视角：把模型视为数据，将套件置于优化中心。基于此，我们设计了 MaD‑RSI 框架，直接在多个异构LLM上共享同一套件，并将它们各自的失败轨迹作为训练信号。与仅在优化后评估模型差异不同，MaD‑RSI 将这些差异作为训练证据，引导套件的自我改进。我们还构建了新的评估体系，包含两项互补指标，用于衡量套件在不同模型上的优化效果。实验在多个数据集和LLM上进行，结果表明 MaD‑RSI 在提升泛化能力的同时显著降低了训练成本。
点评