少样本上下文学习(ICL)指模型在提示中给出输入‑输出示例后,能够抽象出模式并将其迁移到新输入上的能力。该现象在以人类文本进行下一个词预测的大型语言模型中被广泛研究,近期也在自回归基因组模型中得到验证。\ \ 本文提出了跨模态收敛出现假设:当 ICL 在不同模态中出现时,它们共享相似的难度分布,即在一种模态中受益于 ICL 的任务在其他模态中也倾向受益。为检验该假设,作者构建了受控的跨模态框架,在语言、基因组、整数序列、时间序列、图像和蛋白质六种模态上实现同一套任务。实验表明,配对映射任务的 ICL 在所有六种模态中均出现,且在除一种外的五种模态上表现出显著的跨任务相关性,超出对照基线。\ \ 这些结果在多数模态上支持跨模态收敛出现假设,表明 ICL 可能是一种跨领域的通用学习机制,但仍有例外需要进一步探讨。\ \ 点评