我们提出了一套面向入门编程课程的生成式 AI 反馈框架,核心包括风险自适应决策、证据约束生成以及容量受限的干预策略。实验使用了 215 名学生的 2993 条提交失败状态,构建了学生互斥的预测模型,用于判断是否会出现持续性错误以及相关的学习结果。
四种匹配的反馈条件在 136 个案例上生成,随后通过校准的风险分数决定何时介入。验证阶段选取的逻辑回归模型在测试集上实现了 $\text{PR-AUC}=0.550$、$\text{ROC-AUC}=0.681$。加入更完整的学生历史信息后,模型对未修改的重新提交预测精度进一步提升。
在标准化的修复流程和证据门控后,生成的 544 条新消息中有 519 条完整包含了所有必需要素。基于固定阈值的顺序策略选取了 17.8% 的合格测试状态,捕获了 25.2% 的观察到的持续性错误。
这些结果支持一种证据门控的渐进式帮助策略:先通过校准风险决定干预时机,随后利用已记录的证据限制反馈内容,帮助方式从自检逐步升级为局部提示。该框架将预测、决策与基于证据的生成相连接,并保持它们的评估结果相互独立。
点评