摘要
时间序列分类（TSC）通常采用两阶段的范式：首先训练一个特征编码器——可以在目标数据集上从头开始训练，或通过在大规模语料库上预训练；然后在其上拟合一个特定任务的分类器。这种解耦虽然有效，但独立优化表示学习与分类目标，要求针对每个数据集进行训练，并且在推理过程中无法利用标签信息。
我们介绍了 TimEE，一个具有 450 万参数的基础模型，用于通过上下文学习实现端到端的 TSC。给定一个标记的支持集和一个查询时间序列，TimEE 通过一次前向传递直接输出预测的类别分布，而无需进行每个数据集的训练。TimEE 基于先前数据拟合网络（PFN）框架进行元训练，完全在合成 TSC 任务上进行，其中每个任务包含因生成过程中的结构性分布偏移而产生的具有不同类别身份的时间序列。
尽管在预训练期间没有接触到真实时间序列，TimEE 在 UCR 基准测试中排名第一的 ROC AUC（准确率第三），超越了包括基础模型和监督深度学习基准在内的所有对比方法。据我们所知，TimEE 是第一个完全基于合成预训练的模型，在 UCR 基准测试中达到最先进的性能。这些结果确立了带有合成先验的端到端 ICL 作为 TSC 的一个引人注目且未被充分探索的方向，扩展、先验设计和更丰富的生成机制是自然的改进途径。
代码可在 GitHub 上公开获取。
博主点评： TimEE 的提出为时间序列分类领域带来了新的思路，通过合成数据的元训练，突破了传统分类方法的限制。这种方法展示了在没有真实数据的情况下仍能实现优秀性能的潜力，未来在扩展和生成机制方面还有很大的提升空间。