摘要
视觉语言模型通过上下文学习（ICL）能够在不更新参数的情况下执行新任务，其核心机制是利用支持集进行任务引导。在标准的ICL设置中，一旦任务被引导，其决策标准保持不变。然而，在现实应用中，许多任务展现出稳定的高层意图，但其决策标准会根据特定需求发生变化。为此，我们引入了一种新的设置，称为条件上下文学习（CC-ICL），模型必须从上下文中推断潜在标准，并在固定任务语义下相应调整预测。
为了评估这一能力，我们提出了两个互补指标：标准不变性和标准敏感性，捕捉模型在标准变化下的鲁棒性和适应性。我们进一步构建了CC-Bench，这是一个支持在CC-ICL设置下评估的多领域基准。通过采用双层数据层次结构，CC-Bench能够在任务保持固定的情况下，支持基于活动标准的合法真实变化。
在CC-Bench上的实验表明，大多数模型表现出刚性边界偏差，难以将其决策与潜在标准对齐。我们还发现，即使是一个简单的多标准训练策略也能显著减少这种偏差，提高标准敏感性，使得7B规模的模型在不降低通用多模态性能的情况下超越专有模型。
博主点评： 本文提出的条件上下文学习（CC-ICL）为视觉语言模型的适应性提供了新视角，强调了在动态决策环境下模型的灵活性。通过构建CC-Bench基准，研究者为该领域提供了重要的评估工具，展示了简单训练策略的有效性，值得业界关注。