强化学习近年来在 Atari、围棋、宝可梦、国际象棋等复杂游戏中取得显著成果，研究者开始将其扩展到真实场景，如个性化医疗和动态治疗方案。本文聚焦于利用强化学习优化癌症化疗的序列决策。首先，基于传统 Q‑learning 构建了一个化疗模拟环境，对不同药物剂量和给药时间进行离散化建模，并通过状态‑动作‑奖励的形式学习最优策略。随后，引入离线强化学习框架，采用保守 Q‑learning（CQL）和基于模型的离线策略优化（MOPO）两种算法，在真实结直肠癌临床数据上进行离线训练。模型采用基于马尔可夫决策过程的状态转移网络预测患者的血象变化，CQL 通过在目标 Q 值上加入保守项抑制过估计，MOPO 则利用学习到的环境模型生成虚拟轨迹提升策略鲁棒性。实验结果显示，离线 RL 生成的化疗调度方案在生存率和副作用控制上优于基线 Q‑learning，能够为初级肿瘤医生提供可靠的决策参考。\n\n点评：该研究展示了离线强化学习在高风险医疗决策中的可行性，尤其是通过保守 Q‑learning 与模型驱动的策略优化相结合，克服了临床数据稀缺和安全约束的挑战，为未来个性化化疗提供了有价值的技术路径。