大型语言模型（LLM）在数学推理基准上表现突出，但其背后的数学意义仍未被充分探讨。我们提出 SHAPE 框架，从数学教育的两个视角审视 CoT 轨迹：
- 语义空间——模型对问题的逐步数学解释，如代数、几何等；
- 启发式——在特定语义空间内执行的具体数学操作，如化简、逆向思考等。
利用 SHAPE，我们对多种模型的推理模式进行分析。结果显示，模型使用的启发式比传统的 CoT 特征更能解释答案的正确性。此外，模型倾向于在少数语义空间内集中推理，而非在众多不相关空间间跳转，这与人类的思考方式相吻合。
进一步，我们检验了后训练是否真正提升数学能力。实验表明，强化学习会导致模型在启发式使用上出现模式寻优的倾向。基于此，我们通过鼓励启发式多样性进行后训练，实验验证了其在提升准确率方面的有效性。
代码已开源于 https://github.com/holi-lab/SHAPE-of-CoT。
点评：SHAPE 为解码 LLM 的数学推理提供了理论支撑，展示了从语义空间和启发式双重视角审视模型思路的价值，也为后训练提升数学能力指明了方向。