NeFut Logo NeFut
EN 管理员登录

[AI学术] 语言模型能玩维基百科游戏吗?

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #LLM

语言模型正日益用于从规模庞大的文档集合中检索信息,这类任务往往需要专业的语言或科学知识,因而难度较大。\ \ 我们借助维基百科游戏来评估模型在类似信息检索任务中的表现。游戏规则要求玩家仅通过文章内部链接,从起始页面一步步跳转至目标页面。\ \ 实验中,我们在五种维基百科语言以及五个学术文献数据集上,对比了句向量模型和大型语言模型(LLM)。为避免依赖第三方 API,我们利用 OpenAlex 构建了包含维基页面和论文引用的大规模本地图,并公开了构建与导航代码。\ \ 模型的表现与人类玩家以及基于 TF‑IDF 的基准进行了比较。结果显示,没有任何模型显著超越人类,然而 GPT‑o3 mini、GPT‑4o、QwQ:32B 与 DeepSeek‑R1:70B 等最强模型的成功率已接近人类水平。\ \ 不同语言和主题下的性能差异明显,这对在实际场景中选用相应技术提供了参考。\ \ 点评:维基百科游戏提供了一个统一且可重复的评估框架,能够直观展示语言模型在跨语言、跨领域导航任务中的局限与潜力,为后续改进指明了方向。

原文链接: https://arxiv.org/abs/2610.13948

[h] 返回首页