在本文中，我们研究了无模型强化学习（RL）代理是否能比传统的基于模型的方法更有效地识别和利用价格操控机会。传统方法假设数据生成过程的正确性，但依赖于噪声参数估计。我们考虑一个单资产市场，价格遵循Almgren-Chriss框架，具有非线性永久影响和线性临时影响。
首先，我们建立了离散时间内价格操控策略的存在性，并使用全信息下的序列最小二乘二次规划计算最优基准策略。接着，我们比较了两种有限样本学习方法：一种基于模型的程序，通过模拟执行数据估计影响参数；另一种是基于深度确定性策略梯度的无模型RL方法，直接在相同数量的数据上进行训练。
在中等波动率下，RL代理成功发现了盈利的操控策略，而无需对底层模型有明确的了解，即使训练数据相对有限。更重要的是，当参数估计受到采样误差影响时，RL方法始终优于基于模型的方法，尽管后者受益于正确的模型规范。在大波动率情况下，所有方法均无法识别操控机会，而在小波动率情况下，基于模型的方法优于RL。这些发现突显了RL在复杂控制问题中的有效性，以及在金融市场中部署学习算法时所面临的风险。
博主点评： 本文展示了强化学习在金融市场操控识别中的潜力，尤其是在数据稀缺的情况下。这一研究为未来的金融算法设计提供了重要的理论基础，但也提醒我们在应用RL时需谨慎，以防止潜在的市场风险。