我们研究了具有相关臂的上下文强盗问题，并利用机器学习模型生成的替代奖励信号，特别关注大语言模型（LLM）路由等应用。与传统的上下文强盗不同，后者仅依赖于强盗反馈并假设臂之间的条件独立性，我们的设定允许上下文相关的臂间相关性和可能存在噪声或错误指定的辅助奖励信息。
我们提出了两种互补的算法设计，以利用这些替代奖励。首先，耦合奖励混合方法将真实奖励和替代奖励进行汇总，以在替代信号可靠时加速学习；其次，解耦预测混合方法则为强盗反馈和替代奖励维持独立的估计器，并自适应地结合它们的预测。这种解耦设计使得对替代奖励错误指定的鲁棒性增强，在最坏情况下恢复与仅用奖励的强盗方法相当的遗憾保证，同时在替代预测足够有价值时实现更低的遗憾。
我们为这两种方法提供了理论上的遗憾分析，并在不同的准确性与成本权衡下在LLM路由基准上进行了评估。结果表明，与标准的上下文强盗基线和强大的静态路由方法相比，样本效率得到了改善，并且准确性-成本权衡表现更佳。
博主点评： 该研究为上下文强盗问题提供了新的视角，通过引入替代奖励信号，显著提升了大语言模型的路由效率。耦合与解耦的策略设计有效平衡了学习速度与鲁棒性，为实际应用提供了有力的理论支持和实证结果，值得在相关领域深入探讨。