大规模多模态模型通过扩大模型容量并在海量配对多模态数据上训练取得了显著进展。然而，这一范式的根本瓶颈在于：对齐的多模态数据集成本高、难以覆盖所有模态组合，并限制了进一步的提升。为此我们提出 Modality Self-Play (MSP)，一种基于代理文本进行模态组合的训练框架。MSP 不依赖真实的跨模态配对数据，而是利用对未见模态的 anchor‑supporting 代理文本描述 作为语义桥梁。具体做法是：给定一个观测模态（如图像或音频），模型生成对应的代理文本描述，这些描述随后被预训练的对比编码器编码，并通过学习得到的桥接层与观测模态对齐，从而实现跨模态交互，而无需真实的非文本配对监督。核心假设是：代理文本结合对比预训练编码器能够提供足够的语义结构，使多模态组合自然出现。实验表明，MSP 能实现 零样本模态组合：仅使用真实的锚模态及其代理描述进行训练的模型，在推理时能够同时处理并推理多个从未见过的模态组合。我们在多个多模态基准上取得了领先或竞争性的成绩。消融实验进一步验证：学习的桥接层提升了对齐质量，anchor‑supporting 代理描述是实现有效跨模态组合的关键。MSP 消除了对真实非文本配对（如音频‑视觉）监督的需求，仅依赖模态‑文本配对、对比预训练编码器以及桥接层的校准。
点评