NeFut Logo NeFut
EN 管理员登录

[AI学术] 数字正确,问题错误:评估大型语言模型在模糊金融查询中的表现

发布于:2026-10-31 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #LLM

金融助理在回答看似客观的问题时,往往需要依据用户未说明的前提——比如数据指标的含义、具体的产品版本以及投资者的个人情况和适用的税收规则。如果助理忽略这些前提,仍然可能给出一个真实的数值,但实际上回答的是另一个问题,这种现象我们称为 框架坍塌。

本文以印度共同基金为实验平台。该市场的产品变体和税收规则都有明确的法律定义,因而可以为每一种可能的解读计算出唯一的正确答案。我们设计了三类挑战来检验模型的表现:

  1. 标签模糊的图表:模型往往直接使用图表中的数值,并把它当作用户标注的含义来回答。
  2. 多标签的图表:模型能够列出所有可能的解释,但最终给出的答案顺序受图表布局的影响,而非真实的优先级。
  3. 缺失投资者信息:在没有明确的投资者背景时,较弱的模型会默认使用过时或通用的税率,即使问题已经明确要求提供该信息,也不一定会被使用。

由于这些答案在数值上与数据库匹配,传统的数据一致性检查难以发现错误。我们进一步引入了一个基于 AI 的评审系统,只有在明确告知每个字段含义时,它才能识别出错误标注的图表;然而,即便如此,它仍会接受那些悄然选择了其他解读的答案。

本文的目标是展示这些失误的产生机制,而非量化其频率,并提出针对金融助理的控制措施,以降低框架坍塌的风险。

点评

原文链接: https://arxiv.org/abs/2610.38631

[h] 返回首页