在这篇论文中，我们提出了一种新颖的管道——Legato 2，用于从乐谱图像中提取符号表示和语义知识。Legato 2 是首个大规模的神经网络模型，能够在光学音乐识别（OMR）中以系统为基础，顺序处理乐谱的每一行，而不是将整页视为一个未区分的图像。这种方法使得模型能够更好地扩展到任意长度的输入。
此外，Legato 2 还是第一个能够生成包含嵌入文本内容（如标题和注释）的符号转录的 OMR 模型。该管道结合了系统级分割与自回归视觉语言模型，能够捕捉局部音符细节和乐谱结构。在多个数据集上，Legato 2 一直优于之前的最先进技术。
我们还展示了符号转录如何补充视觉输入，提升前沿语言模型对密集音乐文档的解读能力。Legato 2 在 OMR 和后续乐谱理解中确立了新的最先进表现。
博主点评： Legato 2 的创新性在于其顺序处理方式和多模态特性，使得在乐谱解析中不再局限于传统的图像处理方法。这不仅提升了识别准确率，也为后续的音乐理解提供了更丰富的语义信息，标志着音乐人工智能领域的重要进展。