摘要
文档理解是多模态大语言模型面临的一个重要挑战，尤其是在这些系统日益被应用于以人为中心的现实场景中。然而，由于缺乏高质量的标注数据，孟加拉语等低资源语言的应用受到限制。为了解决这一问题，我们推出了 BaFCo，这是一个专注于文档布局分析（DLA）和关键信息提取（KIE）的孟加拉表单理解基准数据集。
BaFCo 收集了 200 个来自农业、教育、银行和土地管理等多个领域的复杂孟加拉政府表单，涵盖多页内容。为了准确捕捉这些表单的结构和上下文复杂性，我们定义了一种细粒度的标注方案，包括 26 种表单实体类型，以及一个包含 5 种类型的粗粒度表单实体集。
我们利用最新的多模态大语言模型（MLLMs），如 ChatGPT、Gemini、Claude、Qwen 和 Kimi，进行零-shot 和链式思维提示的评估，涵盖低推理和高推理设置。
结果表明，当前 MLLMs 在理解孟加拉表单方面存在局限性，尤其是在准确定位高度细化的表单实体方面。我们的数据集和代码可在以下链接获取：BaFCo Dataset
博主点评： BaFCo 数据集的推出对于低资源语言的研究具有重要意义，尤其是在提升孟加拉语的文档理解能力方面。该数据集不仅提供了丰富的标注信息，还为未来的多模态大语言模型优化提供了基础。希望更多研究者能够利用这一资源，推动低资源语言处理的发展。