大型语言模型（LLM）在众多任务上表现出色，受益于知识先验、上下文推理和测试时计算。但单一模型的推理容易出现错误传播，后续步骤依赖前一步输出，导致推理盲区难以独立复审。为克服这一局限，我们提出协作学习，包含构建异构协作者和学习跨模型协作的机制。模型切片在相近参数预算下，用多个更小且异构的模型替代单一大模型，使得先前的推理能够在不同参数化的模型间重新评估。金字塔监督将协议蒸馏与步骤级监督相结合，持续优化推理过程和交互决策。我们在四类任务上进行评估：多跳问答、数学推理、代码生成以及受约束的开放式生成。训练得到的异构模型在任务表现上与原大模型持平或更佳，并且超越已有的多代理基线（包括基于强化学习的方法），同时在推理效率上也更高，并展现出任务间差异化的协作模式。上述结果表明，学习到的协作能够将模型异质性转化为互补的推理能力。
点评：总体来看，协作学习通过模型切片和金字塔监督实现了更稳健的推理，兼顾性能与效率。