引言
随着基于大型语言模型（LLM）的AI教育内容生成系统的发展，缺乏标准化的评估基准来系统地评估这些系统的效果。本文介绍了LessonBench-V1，一个基准数据集，包含647个由人类编写的课程，配备基于LLM的反向工程课程计划，覆盖240个STEM主题，包括数学、物理、化学和计算机科学。
数据来源
这些课程来自97个可信的开放源，包括LibreTexts、Brilliant.org和GeeksForGeeks。每个课程计划均经过人类审核，并通过基于教育理论的方法论生成，综合了布鲁姆分类法、加涅事件理论、梅里尔的第一原则和5E教学模型。
学习目标
该课程计划捕获了3620个学习目标及其教育元数据，支持对课程生成AI代理的系统性和可重复性评估，并促进进一步的研究。
评估管道
研究还提出了一种三维评估管道，可与该数据集结合使用，以增强评估的全面性和深度。
博主点评： LessonBench-V1的推出为AI教育内容生成提供了一个重要的评估工具，填补了现有研究中的空白。通过严格的课程计划和学习目标，研究者能够更有效地评估和优化AI生成的教育内容，推动教育技术的发展。