摘要
大型语言模型（LLMs）作为AI辅导员的潜力日益受到关注，但在K-12教育环境中的应用引发了隐私、成本和对专有模型依赖等问题。小型语言模型（SLMs）作为一种有前景的替代方案，但在特定教育背景下选择合适模型仍然困难，尤其是在目标领域（如区块编程）缺乏训练数据的情况下。
我们推出了CSTutorBench，这是一个用于评估语言模型在VEX VR区块编程环境中作为计算机科学辅导员的基准。该基准包含17个基于情景的问题，并根据既有的辅导和反馈研究制定的教学标准进行评分，同时采用人机协作的LLM评估管道。
在对11个模型（参数从4B到120B）进行的初步研究中，发现模型在词汇和语气等表面标准上表现良好，但在更深层次的教学行为上则存在困难，尤其是在避免答案泄露和与学生调试历史的互动方面。在我们的样本中，模型家族和指令调优方法似乎比单纯的参数数量更能预测辅导质量，尽管模型数量较少限制了这一结论的强度。基于最近教育提示工程研究的针对性提示修订提高了11个模型中10个的评分。这些结果强调了为教育部署选择SLM时，基于特定上下文和教学原则的基准的重要性。
博主点评： 本文展示了小型语言模型在教育场景中的潜力，尤其是在区块编程领域。尽管当前的模型在深层次教学行为上仍显不足，但通过合适的提示修订和评估基准，可以大幅提升其教学效果。这为未来的教育技术发展提供了重要的参考和启示。