NeFut Logo NeFut
EN 管理员登录

[AI学术] FINCOSMOS:面向金融的开放世界代理评估范式

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#algorithm #Machine Learning #Artificial Intelligence

语言代理正逐步在开放网络上为用户执行任务,金融领域对其可信度要求最高。数据必须来源于网络,策略只存在于用户脑中,正确性受时间限制,导致代理可能在不被察觉的情况下产生错误:执行用户未请求的策略、使用未经验证的数据,或在回测中使用未来信息,却生成与正确报告同样可信的结果。现有基准往往通过固定任务、数据或时间线来封闭世界,从而消除这些失误,而不是对其进行度量。\ FINCOSMOS 提出一种开放世界评估框架。模拟用户持有一个通过组合文法随机生成的隐藏策略,仅在被询问时才揭示。代理在没有初始数据的情况下,需要自行从网络抓取信息,在给定的数据截止点下完成回测,并交付可验证的结果。评分不依赖参考答案:程序会检查时间点的正确性并重新计算所有报告指标,交付的策略会与隐藏规范比对,只有当用户满意且 15 项否决检查全部通过时,运行才被接受。\ 在对四种编码代理和一种无工具模型进行的 150 场对话实验中,没有一次被接受:所有被模拟用户签字的会话均未通过程序检查,代理仅揭示了 54%–64% 的未被告知细节。人工专家将 88.33% 的失败归因于代理本身。使用 FINCOSMOS 反馈后,具备持久记忆的代理能够学习并完成全部十项任务。\ 点评:FINCOSMOS 通过引入隐藏策略和实时数据获取,成功捕捉了金融场景中代理最易忽视的风险,为未来的安全评估提供了可扩展的基准。

原文链接: https://arxiv.org/abs/2611.07464

[h] 返回首页