NeFut Logo NeFut
EN 管理员登录

[AI学术] ValiAssist:通过示例实现大规模LLM生成的编程反馈验证

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

生成式 AI 能够大规模生成编程作业的反馈,但如何验证这些反馈是否符合教师的教学目标和策略一直是难点。教师往往难以在事前完整列出验证标准,因为这些标准常常在检查具体示例并修正不匹配的反馈时才会显现。

ValiAssist 提出一种“示例验证”机制:系统观察教师对 AI 生成反馈的修改,自动推断可复用的验证逻辑,并在其他学生提交上实时展示和编辑该逻辑。教师可以在批量应用过程中逐步细化规则,明确哪些判断能够推广,哪些只能局部使用。

在与 16 位教师的对比实验中,使用 ValiAssist 的教师能够更快构建并完善验证标准,生成的反馈与教学意图的对齐率提升至 91%(对比 57%),纠正错误标准的准确率也从 32% 提升到 77%,实现了两倍以上的提升。

实验结果表明,示例验证能够把教师在单个案例上的直觉判断转化为显式、可复用的逻辑,并在迭代过程中不断澄清这些判断的适用范围。

点评

原文链接: https://arxiv.org/abs/2610.27248

[h] 返回首页