摘要
许多实证法律研究依赖于将非结构化文本转化为结构化变量。在公司治理研究中，这一转化传统上依赖于对章程和细则等文件的人工编码，这一过程成本高、难以扩展且通常不透明。本文介绍了 DECODEM，一套用于评估从组织文件中自动提取公司治理变量的基准数据集。这些基准将随机抽样的公司章程与涵盖实证研究中常见的治理条款的高质量人工注释配对。
使用这些数据集，本文评估了几种大型语言模型的提取管道，这些管道在提示设计、任务分解和文档处理上有所不同。基础任务包括一组文档级的二元分类问题，每个治理变量对应一个分类问题。结果表明，对于许多条款，自动提取在高准确率下是可行的，性能中位数接近各方法的上限。同时，性能在变量间系统性变化，少数条款占据了大部分剩余错误。更复杂的提示策略和级联管道并不总能持续改善前沿模型的性能，但在某些情况下显著缩小了前沿模型与效率导向模型之间的差距，这表明管道设计在一定程度上可以替代模型能力。通过提供标准化基准和对提取方法的系统评估，本文展示了当前前沿模型能够以高准确率从复杂的公司文件中提取法律上有意义的信息，并建议在构建公司治理数据集的过程中，自动特征提取将发挥重要的未来作用。
博主点评： DECODEM 项目提供了一种创新的方法来自动化企业治理变量的提取，突显了大型语言模型在法律文本分析中的潜力。通过建立基准数据集，研究不仅推动了数据提取的标准化，还为未来的研究奠定了基础。此方法的有效性将对法律研究和公司治理领域产生深远影响。