在这项研究中，我们探讨了人类视觉系统的一个显著特征：通过一系列局部的、聚焦的瞬间来摄取视觉信息，而不是通过单一的全局计算。这一特征使得人类视觉与当前大多数流行的计算机视觉模型显著不同，后者通常是全局输入图像并进行一次性处理。因此，一个自然的问题是：局部的、顺序的视觉模型是否在计算上提供了任何基本优势，除了在生物上比全局模型更具合理性？
我们从视觉状态跟踪和长度泛化的角度研究这个问题。受到近期语言模型中长度泛化研究的启发，我们考察了在简单视觉任务上训练的视觉模型的行为，这些任务需要在整个图像中聚合局部信息。实验结果显示，类似于语言模型，视觉模型也能够利用全局捷径，从而在任务长度或复杂性上表现出泛化失败。
此外，我们展示了基于严格局部感知的递归视觉策略能够缓解这些失败，从而使模型能够在这些任务上实现泛化。我们的结果表明，局部注意力可能是实现鲁棒组合泛化的一个被忽视的关键要求。
博主点评： 本文揭示了局部视觉处理在计算机视觉中的潜力，尤其是在复杂任务中的泛化能力。研究强调了生物启发的模型设计，未来可能会推动更高效的视觉推理系统的发展。通过引入局部注意力机制，或许可以克服当前模型在复杂性上的局限性，值得深入探索。