摘要
在实际应用的人工智能系统中，通常需要从广泛的候选数据池中进行训练，因此需要针对部署测试分布进行数据策划。然而，传统的数据策划方法主要基于训练端标准进行评分，而不是直接优化与部署的匹配度。为此，我们提出了 TTCov（测试时间覆盖），这是一种基于测试条件的数据策划方法，它在训练前使用测试端信息，而不是在推理阶段更新模型权重。
TTCov 将部署条件的数据策划分解为覆盖和分布两个部分。为了表示覆盖，它构建了一个任务 Atlas，这是一个基于大型语言模型的原子命题（APs）集合，描述与部署相关的概念，这些概念来源于开放任务知识，并通过从未标记的部署样本中提取的未匹配 APs 进行扩展。为了表示分布，它通过频率实例化匹配的部署 APs，从而生成一个知识 Atlas（K-Atlas），将部署分布作为策划目标。
接着，TTCov 选择一个预算训练集，该训练集的部署 APs 分布接近这一目标。我们将 TTCov 应用于自动驾驶（AD），在推理路径上保持适应性，同时选择具有更高部署相关覆盖率、更接近 K-Atlas 匹配度和更强下游端到端驾驶性能的数据，这些性能优于包括无缝适应于新领域的城市间扩展在内的数据策划基线。
博主点评： TTCov 的提出为 AI 系统的数据策划提供了新的视角，强调了测试阶段信息的重要性。通过构建知识 Atlas，TTCov 能够在保证模型性能的同时，更加精准地匹配实际部署需求，显示出其在自动驾驶等领域的巨大潜力。