我们观察到，即使是最简单的视觉符号——如红色心形，也能显著影响视觉语言模型（VLM）在看似无关任务上的行为。例如，在简单的编码题目中，加入心形提示会让模型倾向于递归解法。值得注意的是，这种引导大多是隐式的：模型对视觉符号的直接解释与其实际行为之间存在明显差异。
在模型之间的视觉交流中出现了“生成‑解释差距”。模型倾向于发送形状原语，这些原语对人类和模型本身都直观，但往往无法有效引导接收模型的行为。
进一步的交流游戏中，模型能够利用抽象概念和故事情节，通过创意视觉手段向彼此传递信息，尽管其中一些交流对人类仍然难以直观理解。
这些实验表明，VLM 具备丰富且富有创造性的视觉‑语言交互能力，但其对视觉意义的产生与解释方式与人类约定存在意想不到的偏差。该工作既展示了视觉交流的潜力，也揭示了在人机协作中需要克服的挑战。
点评