NeFut Logo NeFut
EN 管理员登录

[AI学术] FlexUMM:面向统一多模态模型的灵活表征学习

发布于:2026-10-19 22:00 最后更新:2026-10-20 00:49
#AI #Machine Learning #Neural

统一多模态模型(UMM)在同一骨干网络中兼顾理解与生成,但这两种功能往往产生冲突的表征,核心问题是:表征与计算应如何在功能之间共享?现有 UMM 多采用固定结构,所有输入和功能遵循相同的深度和参数共享模式。我们认为这种假设过于严格:真正的统一需要在跨功能通信时共享计算,同时在任务或输入特定的部分保留专用容量。为此我们提出 FlexUMM——一种灵活的 UMM 框架,能够动态决定何时保留共享计算、何时路由专用容量、何时提前终止处理。实验表明,这种灵活分配在两方面提升 UMM:通过降低功能间的有害竞争提升准确率;通过在表征足够成熟后停止多余计算提升效率。FlexUMM 不仅在预训练模型的结构层面实现统一,还可作为模型无关的功能插件,增强现有 UMM 的统一性、强度和效率。代码已开源:https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/flexumm

点评

原文链接: https://arxiv.org/abs/2610.22682

[h] 返回首页