在图书馆中,自动主题索引的任务可以视为多标签分类任务,特别是在标签集合庞大的情况下,这一问题符合极端多标签分类(XMLC)的目标。本研究针对德国国家图书馆(DNB)收集的当代德国科学文献,应用了一系列专门的监督XMLC方法进行测试。我们将这些结果与一个经典的词汇匹配基线和我们最近开发的三种基于LLM的方法进行对比。
算法在多个指标上进行了评估和比较,包括与先前索引材料的二元相关性比较,以及专业主题图书管理员的分级相关性评分。所有方法面临的挑战是如何可靠地从主题词汇的长尾中提出建议。
我们的研究发现,依赖于基于变换器的密集特征的监督XMLC算法在整体二元相关性指标上表现最佳。然而,关注分级相关性和在主题词汇长尾中的表现时,基于LLM的生成方法则表现更佳,显示出其在未来生产性使用中的潜力。
博主点评: 本文通过对比LLM和传统XMLC方法,揭示了生成式AI在特定应用场景下的优势,尤其是在处理复杂和长尾数据时。这为未来的研究和实际应用提供了重要的参考价值,值得关注生成式AI的进一步发展与应用。