大型语言模型(LLM)能够生成用于投资研究的 SQL 与 SQL‑Python 工作流,但保证时点(PIT)有效性仍然困难。代理在检索数据和进行金融分析时必须遵守信息披露截止时间,并在整个过程里选择正确的历史状态和记录版本。为此我们推出 BuySideFlow,一个基于授权生产金融数据库快照的基准,包含 408 条由实务人士设计的中文任务,覆盖股票、基金、固定收益和宏观经济四大领域。我们提供可直接执行的参考实现,并构建了时间错误分类体系,将结果检查与专家对执行工作流的审计相结合。对九种不同的代理配置在全部任务上的评估显示,结果准确率仅在 16.2%–36.8% 之间。进一步对 100 条共享任务的 900 次运行进行审计,发现 380 次通过结果检查的运行中有 193 次(50.8%)出现了 PIT 违规,说明仅凭输出一致性无法保证时点有效性。
点评:BuySideFlow 揭示了当前 LLM 代理在金融时序数据处理上的薄弱环节,提供了系统化的评估框架和错误诊断工具,为后续提升时点合规性指明了方向。