NeFut Logo NeFut
EN 管理员登录

[AI学术] 自信的傻瓜还是谨慎的搜索者?LLM何时超越内部记忆进行搜索的行为研究

发布于:2026-11-03 22:00 最后更新:2026-11-05 00:45
#AI #LLM #Retrieval

本文聚焦于具备工具调用能力的 LLM 助手在回答问题时的搜索决策。模型需要在仅凭内部记忆作答和主动调用网络搜索之间权衡:不必要的搜索会增加时延和成本,遗漏搜索则可能导致自信却缺乏依据的答案。为此,作者构建了一个包含 400 道多项选择题的基准,其中既有广为人知的内部知识(IK)题目,理应直接回答,也有外部知识(OK)题目,涉及模型训练截止后发布的新闻事实,理应触发搜索或在没有工具时选择弃答。每道题提供“弃答”选项,并引入两项动作层面评分:NAS(搜索奖励)和 KIS(抑制错误搜索),分别奖励在 OK 题目上搜索并惩罚在 IK 题目上搜索。实验评估了五款商业 LLM(含或不含厂商提供的网页搜索)以及 GPT‑5 mini 与 Grok‑4 Fast。结果显示,前两款模型在超过 90% 的 OK 题目上会搜索,但在 IK 题目上搜索率仅约 1%;而 Mistral Small 只在约 20% 的 OK 题目上搜索,且更倾向于直接弃答而非使用工具;还有一款产品的搜索指示器几乎不可用。进一步分析发现,显式的时间线索会显著提升搜索触发率:在未提供时间线索的 OK 题目上,两款选择性模型的 NAS 从约 0.72 降至 0.57‑0.58。由此可见,这些评分衡量的是具体产品的搜索触发行为,而非严格意义上的元认知能力。\n\n点评:该工作提供了可量化的搜索触发基准,揭示了主流 LLM 在内部与外部知识切换上的行为差异,为后续的自适应检索策略设计提供了实证参考。

原文链接: https://arxiv.org/abs/2610.41124

[h] 返回首页