NeFut Logo NeFut
EN 管理员登录

[AI学术] NEST:通过状态导向的专家混合模型应对数据集级分布偏移

发布于:2026-07-09 22:00 最后更新:2026-07-10 03:15
#algorithm #AI #Machine Learning

在复杂系统的长期预测中,数据集级的分布偏移常常导致准确性受损,尤其是当多样的行为模式和不断演变的系统状态驱动动态多元时间序列时。现有的方法主要集中在局部时间偏移上,未能明确建模全球结构性挑战,因为数据集是不同操作状态的复合体。本文提出了 NEST,一个专门设计的框架,通过两阶段的密集专家混合(MoE)架构来建模和重组这些演变结构。

NEST 首先通过在原则性的动量-熵空间中进行无监督聚类,将数据集分割为不同的操作状态,从而促进结构专门化。我们引入了一种状态导向的路由机制,根据时间内容生成初始专家权重,随后通过几何调制对操作状态中心进行细化。重要的是,个别专家并非作为单一的预测器,而是作为专门的内核,捕捉特定状态的动态,通过演化独特的变数注意模式。

在多样的基准测试上,包括异构网络流量和物理现象,NEST 一致展现了最先进的性能。我们的代码和数据集可在 GitHub 获取。

博主点评: NEST 通过创新的状态导向专家机制有效应对数据集级的分布偏移,展现出在复杂系统预测中的巨大潜力。这种方法不仅提升了模型的灵活性,也为未来的研究提供了新的思路,尤其是在处理多样化动态数据时。

原文链接: https://arxiv.org/abs/2607.06607

[h] 返回首页