在本文中,作者审计了两类合成电压钳任务,以评估学习到的科学控制器在缺乏反馈时是否仍能超越错误设定的规划器。实验使用了训练阶段选定的固定协议、对电流的遮蔽、贝叶斯参考模型以及一个被排除的目标。五个循环策略在 1,200 次离网回滚中始终重复同一固定协议;遮蔽电流并未改变任何决策。随后在交叉的四假设任务中,先施加固定的诊断脉冲,再让控制器做一次学习选择。此时策略仅利用第一次测得的电流,但其表现与正确设定的贝叶斯控制器持平;一个通过阈值拟合得到的模型能够复现学习到的动作,却并非该贝叶斯控制器本身。排除目标的预测增益为 $4.6991\times10^{-6}$ nats 每样本。作者指出,反馈的使用与协议质量是两个独立的检验维度,这些案例并未证明生物学发现或通用强化学习的优势。
点评