NeFut Logo NeFut
EN 管理员登录

[AI学术] GeoFitBench-LLM:评估大语言模型在地理空间数据需求获取中的能力基准

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #LLM

GeoFitBench-LLM 是面向地理空间分析任务的数据需求获取的基准。它评估大语言模型能否从自然语言请求中推断所需的数据集、支撑资源以及约束条件。基准围绕时空关系推理和语义落地两大维度设计,反映了地理信息检索长期存在的难点。真实需求采用固定、供应商无关的模式编码,便于资源识别和属性级别规范的可复现评估。实验在七个模型上使用最小提示进行测试,结果显示资源识别相对容易,GPT-5.4 Thinking 在 66.67% 的请求中完整恢复所需资源,表现最佳。但随着推理深度提升,适用性(fitness‑for‑use)规格的准确性仍然困难。

点评:该基准填补了 GeoAI 评估的空白,为后续模型改进提供了明确的量化目标。

原文链接: https://arxiv.org/abs/2610.12669

[h] 返回首页