在权重空间学习向大语言模型（LLM）扩展时，缺乏系统化、可分析的模型族是主要瓶颈。为此，我们构建了一个模型动物园，系统地在网页文本、图书、数学、代码和法语五类数据混合比例上进行变动，分别在 51M、124M、355M 参数的 GPT‑2 系列上训练 100 只模型，形成三层、每层 100 只的模型集合。我们使用余弦相似度、功能多样性、留一混合实验和方差分解等手段对族内模型进行分析，发现模型差异主要由训练数据混合比例决定，且呈现出结构化的多样性。随后，我们将混合比例嵌入到流匹配模型的条件向量中，在 Gram‑PCA 压缩的权重空间上学习完整的预训练权重生成器。实验表明，该生成器能够零样本推广到未见混合比例，CRPS（连续排名概率分数）表现优异，下游测试集困惑度和通用能力基准分数几乎不变，说明在数据混合单纯形上生成的模型与动物园中的真实模型性能相当。最后，我们公开全部源码和数据，以促进权重空间学习在 LLM 领域的进一步发展。
点评：该工作展示了通过数据条件化的流匹配模型在高维权重空间中实现可控生成的可能性，为 LLM 权重的系统化研究提供了新工具。