NeFut Logo NeFut
EN 管理员登录

[AI学术] 显式规则归纳的多模态上下文学习

发布于:2026-11-04 22:00 最后更新:2026-11-05 00:45
#Machine Learning #LLM #Artificial Intelligence

在多模态上下文学习(MICL)中,许多任务在缺少上下文时定义模糊,需要从示例中发现潜在规则。现有方法大多把 MICL 当作直接的输入‑输出映射,忽视了显式归纳规则并在其上推理的重要性,导致性能和可解释性受限。我们提出 ERIM(Explicit Rule‑Induction for Multimodal In‑Context Learning),它通过显式归纳演示样本背后的潜在规则来提升 MICL。ERIM 利用多模态大语言模型(MLLM)的推理能力,构建以规则为中心的 MICL 数据集,并为规则归纳提供显式监督。训练采用两阶段策略:先进行混合冷启动的监督微调,使模型学习基本的规则归纳;随后通过强化学习进一步优化,使模型在实际推理中能够主动发现并应用规则。大量实验覆盖多种 MICL 场景,结果显示 ERIM 能持续提升性能,并且正确归纳底层规则能够直接带来更强、更稳健的表现。

点评

原文链接: https://arxiv.org/abs/2610.41754

[h] 返回首页