数据策划是机器学习中的首要设计选择，但将训练数据针对下游模型和任务进行定制往往需要大量人力、专业知识和计算资源。因此，数据集常常通过固定流水线处理后在多个应用中复用。我们发现这种假设脆弱：在55个跨生物领域的数据集‑模型任务中，同一策划配方对某些模型有益，却会削弱另一些模型的表现。有效的策划必须适应下游环境，这促使我们探索自动化的数据配方搜索。我们首先构建了一个在部署时搜索策划策略的代理系统，实现了\textit{测试时策划（TTC）}，能够提升数据效用。然而，该系统的搜索主要受近期反馈驱动，范围局限于局部。引入持久记忆后，代理能够在迭代间保留证据，却暴露出更深层问题：它会对观察到的条件之外的情形作出过度概括的声明，有时一次失败就放弃整个策略。为了解决此问题，我们提出了CaliMem——一种校准记忆的代理循环。CaliMem要求代理在执行每个提议的策划前先预测其结果，并将预测与实际观察进行比较，形成对提议背后声明的\textit{现实检验}。预测误差用于保留被支持的声明、修正错误的认知，并明确结论适用的条件。这使得代理的信念可检验，降低了过度概括，并支持更有效的长程探索。实验在生物任务和大语言模型后训练任务上均显示，CaliMem持续超越固定策划基线和已有方法，最高可比全量数据训练提升$19.4\%$。代码已开源。
点评