在理解报纸图像时，由于其复杂的嵌套层次结构和密集的异质布局，这一任务仍然充满挑战。本文探讨了两种互补的方法来实现报纸结构的理解。
首先，我们提出了一个模块化的自下而上的流程，该流程结合了最先进的开源模型：YOLO用于布局检测，LayoutReader用于阅读顺序预测，以及一个自定义算法用于文章分割。这种方法利用现有的强大组件，同时保持灵活性和可解释性。
其次，我们引入了Tiramisu（分层变换器用于层次结构理解），这是一种新颖的端到端基于变换器的架构，通过迭代分层过程显式建模文档层次结构。Tiramisu采用高并行化的注意力机制进行章节和文章分离、块定位、语义分类和阅读顺序预测。
最后，我们发布了Finlam La Liberté，这是一个专门设计用于评估历史报纸中的层次信息检索的新数据集。实验结果证明了这两种方法在重建复杂报纸层次结构方面的有效性，并通过比较分析突出了它们在可扩展文档数字化中的各自优势。Tiramisu的训练代码，包括合成报纸生成器，已在 GitHub 上发布。
博主点评： 本文提出的两种方法在报纸图像的层次理解上具有重要意义，尤其是Tiramisu模型通过高效的变换器架构，能够更好地处理文档的复杂结构，值得在实际应用中进一步探索与推广。