摘要
大型语言模型(LLMs)在科学研究工作流程中的集成,尤其是在文献发现和文献综述方面,为社会科学与人文学科(SSH)带来了显著的方法论、认识论和监管挑战,特别是在学科多样性、多语言资源访问及结果评估方面。本文介绍了在欧洲项目LLMs4EU和ALT-EDIC基础设施下开发的一个正在进行的用例,旨在将基础模型适应于SSH研究实践,并支持诸如问题回答、比较文档分析和文献综述等任务。
评估框架遵循LLMs4EU协议,包括独立的定量基准测试(检索、摘要、可追溯性和幻觉检测)以及涉及数字人文学科专家小组的定性评估。通过将模型适应嵌入研究基础设施及结构化的法律与伦理合规框架,本文探讨了领域敏感且遵循监管的生成式AI如何在保持可靠性和认识责任的同时,支持SSH学术研究。
博主点评: 本文展示了如何在复杂的社会科学与人文学科环境中有效利用LLMs,这不仅是技术的进步,也是对学术诚信与伦理的深刻反思。通过多维度的评估框架,确保了研究成果的可靠性,值得其他领域借鉴。