在机器人演示语料库的挑选中,本质是一个排序问题:上游诊断必须保留哪些候选能够产生更好的下游策略,而不是仅仅与平均性能相关。
本文聚焦于配对指令依赖(paired instruction dependence),即当仅目标改变时示教者改变其首次决策的比例。
实验在 136 个独立随机种子的四足机器人导航语料库上展开:使用其中 56 个语料库训练预测模型,随后在剩余 80 个语料库上进行前瞻性评估。
结果表明,该审计可靠且与下游配对正确性相关;加入考虑正确性的基线后,平均绝对预测误差下降,但主要的 proper‑log‑score 增幅仅为 +0.059 nats,95% 语料库自助置信区间为 [-0.027, 0.133],且预设的前 20% 比较未显示增量选择收益。
一次探索性响应分解显示:在当前预测器规格下,将 both‑correct 与 both‑wrong 响应分离能够获得比无符号切换统计量更大的持出增益,这暗示了结构性来源导致预测排序不匹配。
种子间的一致性表明,持出端点仍保留可恢复的排名信号。
综上,反事实响应结构可以是可靠且具预测力的,但在压缩为无符号统计量时对决策价值的增益有限,因而需要保留结果相关结构的诊断并在其所支持的决策上进行验证。
点评