在大型基础模型的快速进展中，预训练主要依赖于大规模文本语料库。然而，许多知识形式通过视觉表达传递，其中图形、排版方程和页面布局承载着丰富的信息，无法仅通过文本忠实或完全捕捉。
当前的预训练方法通过将视觉丰富的资源（如文档和网页）转换为纯文本来学习语言智能，从而忽视了这些视觉线索。本文挑战了语言模型必须在仅文本表示上训练的默认假设，展示了视觉预训练作为基础模型智能的可扩展学习者的潜力。
为此，我们系统性地研究了无监督的视觉预训练范式，这些范式直接利用视觉文档而无需文本提取。在多个基础模型和基准测试中，基于相同底层语料库的视觉预训练始终优于仅文本预训练，为可扩展语言智能提供了高效的途径。
博主点评： 该研究为语言模型的训练提供了新的视角，强调了视觉信息的重要性。在未来的AI发展中，结合视觉和文本的多模态学习将是提升模型智能的关键方向。通过视觉预训练，模型能够更全面地理解信息，推动语言智能的进步。