NeFut Logo NeFut
EN 管理员登录

[AI学术] 大模型,小收益:冻结预测模型在 MONSTER 上的分类表现

发布于:2026-11-07 22:00 最后更新:2026-11-08 12:04
#algorithm #AI #Machine Learning

预测基础模型正被用作时间序列分类的冻结特征提取器,但其预训练表征是否比无需预训练的强分类器提供额外信息仍未明朗,尤其在标记数据稀缺时更是关键。我们在 MONSTER 基准的六个大规模数据集上,对两种预测模型 Reverso 与 Chronos‑Bolt 进行受控基准测试,分别使用 1%、10% 与 100% 的训练标签。实验将它们的冻结表征与四种成熟的时间序列分类方法以及同模型的随机权重版本进行比较。结果显示,预训练在五个数据集上相较随机权重提升了分类准确率,最高提升达 23 个百分点。然而,在任何设置下冻结表征都未能可靠超越最强的非预训练基线:在 17 种设置中有 15 种表现更差,剩余两种持平。进一步实验表明,恢复幅度信息可以部分弥补性能差距,而微调或加入预测误差特征并未显著改善。此研究强调在评估预测基础模型用于分类时,必须设立强任务特定基线并使用随机权重对照。代码已公开:https://github.com/Rachet2006/frozen-forecasters-monster

点评:冻结的预测模型虽能利用预训练提升相对随机权重的表现,但在实际分类任务中仍难以超越专门设计的非预训练方法,提示研究者在使用此类模型时应慎重选择基线并考虑数据幅度信息的恢复。

原文链接: https://arxiv.org/abs/2611.06988

[h] 返回首页