摘要
主题索引是将结构化概念标签分配给文本部分的实践，对大型文学和历史版本的学术访问至关重要，但仍然主要依赖人工和劳动密集型的过程。本文探讨了机器学习在自动主题索引中的应用，以伏尔泰全集的两个重要子语料库为案例：
- 《论民族的风俗与精神》
- 《百科全书问题》
本研究将该任务构建为一个多标签分类问题，模型需要为给定文本页面分配专业索引员可能应用的索引条目集合。我们比较了多种方法，从带有分类头的编码器模型到通过低秩适应（LoRA）微调的生成大型语言模型（LLMs），模型规模从约30亿到1200亿参数不等。我们表现最佳的模型来自Mistral系列，在4位量化配置下，F1分数最高可达0.67；我们认为这些数据代表了下限，考虑到专业索引的主观性以及模型预测尽管与打印索引存在差异，但在语义上仍然有效的频率。
此外，我们进一步评估了跨语料库的泛化能力，并对模型在文学和修辞特征上的表现进行了详细的定性分析，这些特征对自动处理特别具有抵抗力。我们的发现对提供大规模文学和历史语料库的结构化主题访问的更广泛挑战具有重要意义。
博主点评： 该研究展示了机器学习在传统领域的创新应用，尤其是在文学索引的自动化方面，通过对伏尔泰作品的深入分析，探讨了模型的性能及其局限性。尽管存在主观性和准确性问题，但其潜在的应用前景令人期待，尤其是在处理大规模文献时。