生成式人工智能(GenAI)模型,尤其是大语言模型(LLM),正被广泛用于教育场景,如题目生成、自动评分和反馈提供。模型输出的质量不仅取决于模型本身,还取决于使用者如何构造提示以引导模型行为。当前的提示工程多依赖经验性试错,缺乏系统性设计,导致构念误表、无关变异和可重复性差等效度威胁。\
证据中心设计(ECD)是一套用于从观察表现中结构化推断的教育测量框架。我们将 ECD 的三大核心模型——学生模型、证据模型和任务模型——分别映射到提示设计的需求、评估目标和任务描述上,形成基于 ECD 的提示工程工作流。该工作流包括:① 明确测评构念并在提示中显式表述;② 确定可观测证据并设计提示以捕获这些证据;③ 构建任务模型,确保提示能够产生符合测评目标的响应。\
基于映射关系,我们提炼出五条设计原则:1)构念对齐;2)证据可观测性;3)任务情境一致性;4)响应可解释性;5)公平性控制。随后,我们在自动作文评分任务上进行实证比较,将 ECD 设计的提示与最先进的基线提示进行对照实验。实验结果显示,ECD 提示在评分准确性、可靠性和公平性方面均优于基线,验证了将提示视为测评设计而非随意指令的有效性。\
综上,证据中心设计为提示工程提供了结构化、可验证的框架,能够提升 AI 生成教育输出的效度、可靠性和公平性。点评