我们介绍了MentalThink，一种视觉-符号推理范式，它为多模态大语言模型（MLLMs）提供了一种可执行的“心智”可视化机制。MentalThink的核心是一个think-with-SVG管道，在这个过程中，模型学习生成、渲染和解释可扩展矢量图形（SVG）代码，作为多轮推理的中间视觉表示。
通过创建结构化的矢量草图，模型可以外化空间假设，通过确定性渲染进行检查，并在受限的几何空间内进行推理，有效地模拟人类的心智图像过程。我们通过一个两阶段的训练框架来实现这一范式，结合监督微调（SFT）以实现SVG语法对齐，以及多轮强化学习（RL），以鼓励对中间视觉假设的迭代检查、修订和完善。
广泛的评估表明，MentalThink在空间理解和推理基准测试上表现优越（例如，VSIBench上达到55.1%，MindCube上达到76.0%），显示可执行的矢量图形为动态视角转换、视觉反思和组合场景构建提供了可验证的视觉工作空间。
博主点评： MentalThink的创新性在于将可视化推理与SVG图形结合，通过引入可执行的中间表示，从而增强了模型的空间推理能力。这种方法不仅模仿了人类的思维过程，还为多模态学习开辟了新的可能性，展示了图形化思维的强大潜力。该研究在推理基准上的卓越表现，预示着MLLM在复杂任务中的应用前景。