深度学习在时间序列分析、计算机视觉和自然语言处理等多个领域取得了显著成功。然而，最先进架构的高计算和内存需求在资源有限的环境中部署时面临挑战。知识蒸馏（KD）通过将知识从大型教师模型转移到更小、更高效的学生模型，旨在解决这一问题，同时保持竞争性能。
本文研究了知识蒸馏在时间序列分类（TSC）中的有效性，重点分析了三种架构：经典的全卷积网络（FCN）、卷积Inception模型和基于变换器的ConvTran模型。我们在UCR Archive上评估了该方法，这是最大的时间序列数据集基准库，通过修改卷积滤波器、Inception模块和注意力头等架构组件。
结果表明，KD在所有三种架构上对中等复杂度的学生模型最为有效。具体而言，蒸馏后的FCN学生模型参数减少了38倍，蒸馏后的Inception学生模型在参数减少42%的情况下几乎达到了教师模型的性能，而蒸馏后的ConvTran学生模型在仅使用2个注意力头时，通过蒸馏获得了最显著的提升。为了鼓励进一步的研究和可重复性，我们在 GitHub 上提供了实现代码。
博主点评： 本文通过知识蒸馏显著提升了时间序列分类模型的效率，尤其在资源受限的场景中，展现了深度学习模型的灵活性与适应性，值得相关领域研究者关注与借鉴。