NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于能量视角的机器学习综述

发布于:2026-11-12 22:00 最后更新:2026-11-13 06:56
#AI #Machine Learning #Neural

能量模型(EBM)通过标量能量 $E_\theta(x)$ 定义分布 $p_\theta(x)\propto\exp(-E_\theta(x))$,本文把它们作为统一的视角来连接机器学习的各个分支。任何 EBM 由三要素决定:能量函数本身、用于从能量中采样或优化的推断过程、以及将能量拟合到数据的学习方法。我们首先阐述这三部分的实现细节,包括采样、变分推断以及最大似然、噪声对比估计、伪似然、得分匹配和对抗训练等学习策略,并指出这些学习方法本质上共享一种对比结构。随后展示,判别模型、GAN、归一化流、扩散模型、自回归模型、对比学习、word2vec、BERT、去噪自编码器、扩散表征、基于 EBM 的强化学习策略与世界模型、逆强化学习、规划以及推断时的验证器等,都可以视为在能量、推断或学习选择上有所不同的 EBM,核心差异多体现在对配分函数的处理和采样方式上。该框架既解释了现有方法的关联,也提供了通过替换单一组件而保持其他不变的算法设计思路,能量的组合则为推断阶段的模型融合提供了原则性手段。

点评:通过统一的能量视角,本文把看似分散的模型归纳为同一框架,帮助研究者快速定位方法的核心要素并激发新的组合创新。

原文链接: https://arxiv.org/abs/2611.14383

[h] 返回首页