摘要
统一多模态模型（UMMs）在交错的文本-图像推理能力上表现出色，但通过强化学习（RL）有效优化这种多轮生成仍然是一个开放的挑战。现有方法仅将 RL 应用于文本步骤，而将图像生成委托给监督替代方案，这阻碍了策略梯度在异构模态全交错轨迹中的传播，从而使 UMMs 的 RL 潜力未得到充分利用。
在本文中，我们介绍了 BRAID（Bridging inteRleAved multI-modal reasoning as a unified Decision process），这是一个将多轮文本-图像-文本推理视为统一的马尔可夫决策过程（MDP）的简单框架。BRAID 使得文本生成和视觉生成的联合优化成为可能，采用单一的、原则性的 RL 目标。BRAID 计算共享的轨迹级优势，并将其一致地传播到文本标记和图像去噪路径中，每个路径通过其模态本地的策略梯度机制进行优化。
为了进一步解决长期信用分配问题，BRAID 采用了一个视觉-语言模型（VLM）评估者，对每个中间图像的推理效用进行评分，提供密集的轮次级反馈，以在关键视觉分支上提升学习效果。在空间推理和视觉感知基准上的实验表明，BRAID 始终优于多种基线，确认了统一的 MDP 公式与视觉思维指导对于有效的多模态推理至关重要。
博主点评： BRAID框架的提出，标志着多模态推理领域的一个重要进步。通过将文本与图像的生成优化统一为一个决策过程，BRAID不仅提升了RL的应用效率，还为后续的研究提供了新的思路，值得关注和深入探讨。