摘要
金融多模态推理需要代理协调数值计算、检索、视觉解释和跨异构证据源的时间基础。现有的工具增强代理提高了执行的准确性，但在多个回合中大多保持无状态，重复发现推理策略和失败模式。在高风险金融环境中，这导致工具路由不可靠、检索噪声大且易产生幻觉的推理。
我们提出了 FinAcumen，这是一个以选择性经验记忆为中心的金融推理代理框架，旨在增强多模态推理。FinAcumen 从先前的轨迹中积累金融基础的推理经验，将成功策略和基于失败的警示规则提炼到持久的记忆库中。在推理过程中，当检索的经验在语义相关性上超过校准阈值时，才会影响推理，而无关的记忆则通过后备机制显式抑制。一个确定性的金融工具环境进一步支撑数值计算、检索、视觉解码和答案验证。
在四个金融多模态推理基准测试中，FinAcumen 一直超越冻结的 8B 视觉语言模型，优于金融专业模型，并接近领先的专有通用模型。进一步分析表明，选择性经验激活在检索不确定性下提高了推理的可靠性。我们的代码可匿名访问，链接：FinAcumen代码。
博主点评： FinAcumen 提供了一种创新的方法来解决金融领域中的多模态推理问题，通过经验记忆的选择性激活来提高推理的可靠性，展现了在高风险环境下的应用潜力。其设计理念为未来的金融推理系统提供了重要的参考。