NeFut Logo NeFut
EN 管理员登录

[AI学术] VakyArth:跨印地语系语言的大模型语用能力评估

发布于:2026-09-04 22:00 最后更新:2026-09-05 12:23
#Machine Learning #LLM #Artificial Intelligence

VakyArth 是首个面向印地语系语言的语用基准,覆盖 Hindi、Punjabi、Tamil、Malayalam 四种语言。基准聚焦五类语用现象:指示(deixis)、言语行为(speech acts)、暗示(implicature)、社会语用(social pragmatics)以及篇章连贯(coherence),通过多项选择题、自然语言推理(NLI)和翻译任务进行诊断,所有题目均由母语者撰写。\ \ 在不同家族、不同规模的多语言大模型上实验发现,模型普遍在依赖印地语系语言和文化约定的语用意义上表现失误。具体表现为:\

原文链接: https://arxiv.org/abs/2609.01788

[h] 返回首页