我们推出了 Forecast-Dojo，一个可重放的环境，用于对 LLM 预测代理进行基准测试和训练。它将已结算的预测市场问题与带时间戳的新闻数据相结合，使代理能够在不同的历史日期研究事件并重新评估预测。相同的任务和工具支持重复评估、收集训练交互以及基于已记录结果的反馈，无需等待新事件结算。
Forecast-Dojo 包含 1,568 条 Polymarket 事件，按时间划分为训练期和评估期，并配备 18.8M 条带日期的新闻文章。对 12 种模型的评估表明，使用研究工具可以降低所有模型的 Brier 分数，随着事件进展，预测质量也会提升，新增证据最多的步骤收益最大。尽管如此，所有模型在 Brier 分数和准确率上仍落后于历史市场预测。携带信念笔记本可以降低研究成本，但未必持续提升预测质量。
除了评估功能，Forecast-Dojo 还提供交互轨迹和结果反馈，用于代理的学习，本文展示了基于监督微调的概念验证。
点评