本文提出 VisualNoiseQA，一个用于在噪声视觉反馈下进行主动推理的基准。任务要求纯文本 LLM 通过循环查询一个固定的离线视觉语言模型（VLM），将其视为随机视觉传感器。每次查询会抽取多次样本，并通过自一致性计算经验不确定性信号，帮助推理器决定下一步提问或何时停止。
构建过程自动且可扩展：从多源 VQA 数据和两种噪声 VLM 出发，保留传感器输出不一致但人类仍可解答的问题。我们在 1,000 条覆盖感知、图表理解和知识密集型推理的实例上评估了多种 LLM 推理器。实验表明，不同模型对不确定性信号的利用程度差异显著，VisualNoiseQA 为研究 LLM 在不确定环境中的鲁棒推理提供了受控平台。
点评：该基准通过显式不确定性信号揭示了 LLM 在噪声感知下的决策机制，为未来的多模态推理研究指明了方向。