摘要
大语言模型（LLM）辅导系统通常能够生成流畅的逐步解释，但正确且符合教育格式的回答并不保证其答案是从学生面临的问题中推导而来的。在现实的辅导系统中，模型可能还会访问教师笔记、答案钥匙、评分标准或检索到的解决方案文档。我们研究了这些私有答案信息是否能使辅导解释变得答案驱动：即最终答案在书面解释之前就行为上可用。
使用截断推理AUC评估（TRACE），我们评估了1000个GSM8K测试问题在三种配对辅导环境下的表现：仅问题、正确答案钥匙和错误答案钥匙。在每个生成的解释的固定比例下，我们强制模型立即回答，并将响应与金标准数值答案进行验证。使用Qwen2.5-3B-Instruct时，答案钥匙的访问将中位TRACE AUC从0.375提高到0.900，并使正确答案在1000个案例中的997个中在前10%的前缀中可用。即使在746个案例中，问题仅和答案钥匙的解释都以正确答案结束，这一效果依然显著。
这些结果支持将截断思维链审计作为数学辅导解释中答案驱动推理的轻量级过程级诊断工具。
博主点评： 这项研究为大语言模型在教育领域的应用提供了重要的见解，通过截断思维链审计的方法，有效识别出答案驱动推理的潜力，推动了智能辅导系统的进一步发展。