NeFut Logo NeFut
EN 管理员登录

[AI学术] 稀疏 MLLM 锚点,密集适配:打破野生测试时自指循环

发布于:2026-09-16 22:00 最后更新:2026-09-18 00:46
#AI #Machine Learning #LLM

野生测试时适配(WTTA)在小批量测试数据、并发分布漂移以及随时间变化的类别不平衡条件下,对源模型进行在线更新。现有 WTTA 方法的适配信号——如预测不确定性、样本可靠性和局部特征几何——全部来源于待适配的模型本身。当模型在漂移情形下不可靠时,这些信号会放大模型的错误,形成自指循环。

我们提出 MASA(Multimodal‑LLM‑Anchored Semantic Adaptation),通过冻结的多模态大语言模型(MLLM)提供结构化的语义描述,以补充模型内部证据。为控制推理开销,MASA 只为一小批多样且按可靠性排序的锚点查询 MLLM。这些描述捕获目标的族群信息以及风格、视角、遮挡等噪声因素。

MASA 将描述进行编码,传播到相邻的测试样本,并将得到的视觉‑语义信息存入在线原型记忆。基于该记忆的描述感知检索为归一化仿射参数的轻量级适配提供了辅助目标。

我们在 WTTA ImageNet‑C 基准上,分别在受限批次、混合域和标签不平衡漂移设置下,使用 ResNet 与 ViT 作为骨干网络,对 MASA 进行了评估,验证了其在复杂测试环境中的有效性。

点评

原文链接: https://arxiv.org/abs/2609.17040

[h] 返回首页