公式化 alpha 挖掘旨在从海量且噪声极大的搜索空间中发现可执行的表达式,以捕获预测性的市场信号。传统的 LLM 方法主要依赖提示、迭代搜索或种子因子进化,直接通过策略学习构造因子仍未得到充分探索。为此我们提出 AlphaRLM,一个基于强化学习的框架,训练大语言模型在没有输入因子表达式的情况下,从金融文献中构造可执行的符号因子。\ \ AlphaRLM 的核心模块是 Literature-Guided Operator Assembly (LEGO),它将文献中提取的概念与可执行算子相结合,为因子构造提供语义先验,引导搜索向更有意义的方向展开。\ \ 在策略对齐方面,AlphaRLM 设计了两类奖励:\
- 可执行性奖励:确保生成的因子在代码层面能够成功运行;\
- 分组回报分离奖励:依据因子在不同分位上的非单调收益结构,对策略进行细粒度调节,形式化为 $\text{Reward}=\sum_{g}\|\mu_{g}^{+}-\mu_{g}^{-}\|$,其中 $\mu_{g}^{+}$ 与 $\mu_{g}^{-}$ 分别为正负分组的平均回报。\ \ 我们在 CSI 300、CSI 1000 与 S&P 500 三大指数上进行大规模实验。结果显示,AlphaRLM 在年化超额收益上显著优于最强的因子挖掘基线和现有 LLM 方法。值得注意的是,参数量为 8B 的模型在跨市场测试中仍保持稳健表现,验证了文献条件化与市场对齐的因子生成思路的可行性。\ \ 点评:AlphaRLM 将金融文献的语义信息与强化学习相结合,提供了一条从文本到可交易因子的端到端路径,为符号因子自动化探索打开了新方向。