NeFut Logo NeFut
EN 管理员登录

[AI学术] IntLawNER:国际法领域的实体识别数据集与基准

发布于:2026-09-23 22:00 最后更新:2026-09-24 00:40
#AI #Machine Learning #LLM

IntLawNER 是首个针对国际法文本的实体识别数据集和基准。数据集覆盖国际法院判决、联合国安理会决议和欧洲人权法院判决,共计 2,987 条金标注句子和 8,094 个实体跨度,标注七类机构专属实体。

我们采用成本效益高的混合算法‑人工流水线:先检索候选句子,再利用大语言模型(LLM)进行筛选,最后人工复核。该流程将 468k 原始句子压缩至可标注集合,金标注中 89.6% 与银层保持一致。银层到金层的对比显示,仅靠边界匹配的 Cohen κ=0.964 会掩盖实际性能——在漏标、边界错误和标签修正后宏观 F1 仅为 0.753。

基准实验表明,零样本 span‑based GLiNER 在依赖机构功能而非表面形式的实体类型上表现极差(micro‑F1 0.243),而微调的 Transformer 在稀有标签上同样受限。提供少量展示标签对比的 few‑shot 示例即可提升所有 LLM 的表现,Claude Opus 4.6 在 0.873 micro‑F1 时取得最佳。IntLawNER 现已公开,可作为国际法律文本引用抽取的可复用资源。

点评

原文链接: https://arxiv.org/abs/2609.22529

[h] 返回首页