NeFut Logo NeFut
EN 管理员登录

[AI学术] 揭示JEPA世界模型的SIGReg目标与变分自由能的理论关系

发布于:2026-07-17 22:00 最后更新:2026-07-18 08:19
#algorithm #optimization #Math

在潜在世界模型中,联合嵌入预测架构(JEPA)是主流设计,但通常是基于经验表现而非规范原则进行论证。本文展示了反崩溃正则化项的选择决定了JEPA的训练目标,即预测损失加权嵌入正则化项,是否为有效的主动推理(AIF)变分自由能。我们将四种非对比正则化器(VICReg、LogDet、PairDist和SIGReg)组织成由先验失调间隙索引的熵估计器层次结构,并表明该间隙的符号决定了AIF惊奇界限是否存活:VICReg和LogDet是不安全的上界,PairDist是安全的下界,而SIGReg则消除了该间隙。

接着,我们证明了一个对应定理:在标准的恒定噪声编码器模型下,并在成功执行SIGReg(各向同性高斯嵌入)的情况下,间隙消失,目标变为精确的信息瓶颈,惊奇界限得以保留,潜在目标成本成为AIF务实价值的精确代理,而VICReg则留下不可约的二阶各向异性项。我们将此对应扩展到多步期望自由能、集成认知价值和学习政策状态,并识别出当前JEPA世界模型中未计算的一个AIF项:状态-认知价值,即未来状态的覆盖信号。这些预测在性质上不同,而非程度上不同,本文将其表述为理论后果,留待后续实证测试;所有结果的完整证明见附录A,且每个结果的代数核心在Lean 4中经过机器验证(附录D)。

博主点评: 本文深入探讨了JEPA模型的理论基础,尤其是SIGReg正则化器在确保有效变分自由能中的关键作用。通过系统化的分析,作者不仅澄清了不同正则化器的安全性,还提出了未来研究的方向,具有重要的理论和实践意义。相关的数学证明和机器验证也为进一步的研究提供了坚实的基础。

原文链接: https://arxiv.org/abs/2607.13612

[h] 返回首页