在智能辅导系统（ITS）和临床医疗等以人为中心的场景中，决策需要具备适应性、数据效率和伦理可部署性。学徒学习（Apprenticeship Learning, AL）通过从专家示范中恢复潜在奖励函数，直接推断策略，从而实现完全离线学习，无需与环境交互。本文围绕奖励建模和示范质量两大挑战，提出了一系列离线 AL 框架。
在奖励建模方面，EM‑EDM 通过潜在奖励函数对示范进行聚类，并为每个簇生成专属策略；THEMES 则在时间上将轨迹划分为子轨迹，并利用层次学习的奖励调节器引导策略生成。跨越一个教育数据集和三个临床数据集的实验表明，THEMES 在性能上优于平面和层次 AL 基线。
针对示范质量，HALIDE 将连续质量信号嵌入层次策略学习，实现了在分布漂移下对混合质量数据的合理复用。CCHAL 进一步通过贝叶斯信用分配为每一次决策分配质量，利用双臂关键性评分比较专家与非专家行为，并在失败轨迹上引入 Bradley‑Terry 对比 IRL 目标。实验在三个临床电子健康记录（EHR）数据集和一个 ITS 数据集上均超越了包括 HALIDE 在内的基线。
最后，在真实课堂中评估了 StuEDM——一种基于 EDM 的策略，仅在学生与模型意见不一致时介入并保留学生自主性。相较于专家基线，StuEDM 显著提升学习效果；相较于在更大语料上训练的 CQL 策略，StuEDM 在预测校正后测得更高的后测分数且干预次数不到后者的一半。
综上，本文验证了离线 AL 在以人为中心的环境中具备实用性、数据效率和伦理可行性。
点评