并行思考通过同时探索多条推理路径，提升大语言模型（LLM）的推理能力。但基于强化学习的并行思考常出现路径模式坍塌，即不同轨迹趋于相似，导致假设多样性丧失，容易陷入次优解。为此本文提出多样化并行思考（DPT），一种简单有效的 RL 方法，利用对并行路径前缀相似度的惩罚来鼓励产生不同的推理策略，从而更全面地覆盖推理空间。我们在多个推理基准上进行实验，结果表明 DPT 超越以往并行思考方法，取得了相对于基线的最新水平。实验进一步验证路径多样性是提升并行思考的关键因素。代码已开源：https://github.com/JiaruQian/DPT。
点评