大型语言模型（LLM）在单轮任务上表现出色，但在多轮协作中仍会出现提前给出解答、误解用户需求或在收到反馈后未能修正错误等问题。为此提出协作式心智理论（CToM），通过显式训练模型预测用户的下一条回复，并利用该预测在内部进行自我修正后再输出。
CToM 的工作流程包括：先生成草稿响应 → 预测用户可能的回复 → 根据预测结果在模型内部进行修订 → 最终呈现给用户。在训练阶段，用户对每个草稿的实际回复被用作预测目标，模型通过最小化该回复的负对数似然来学习。同时，引入组相对策略优化（GRPO），在保证任务成功率的前提下提升交互效率。
在数学推理、代码生成和写作三类任务上，CToM 均超越所有基线。例如在协作式数学推理任务中，最终准确率从 74.1% 提升至 79.6%，相较于仅使用 GRPO 的模型有显著提升。消融实验表明，加入用户回复预测可以在保持相同奖励的情况下，分别将编码任务的用户回复数减少 8%，写作任务减少 17%，且任务表现同步提升。
行为分析显示，经过训练后模型对用户回复的预测精度显著提升，预测越准确，模型通过自我修正带来的协作性能提升越大。
点评