训练语言模型代理玩长期策略游戏面临稀疏且延迟的确定性反馈。游戏结束才给出胜负，而中途的得分并不能可靠预测最终结果——在八款策略游戏中，68% 至 8% 的局面对比里，得分更高的局面反而导致更差的结局，这一现象被称为记分板陷阱。\n\nFreeciv 是一款回合制帝国建设游戏，玩家需要在数百回合内管理单位、城市和外交。为获得更有意义的奖励信号，我们实现了 CivHarness，一个能够保存当前局面、在不同决策上分支并重放至未来回合的开源框架。利用该框架，我们训练了 CivTelescope，一个基于大语言模型的评判器，输入两段局面描述，输出哪一段更可能产生更好的最终结果。\n\n在记分板陷阱的对比中，CivTelescope 的准确率比直接使用的通用语言模型高出 1.3‑2.0 倍，并且能够推广到未见过的开局、后期回合以及新规则。随后我们将 CivTelescope 作为密集奖励，训练了 Freeciv 游戏代理 CivMarshmallow。实验在中期（记分板陷阱频发）使用 CivTelescope，平均训练阶段提升 8.94 分，较最佳基线（仅使用游戏结束奖励）提升 77%。在完整的 120 回合对局中，CivMarshmallow 采用先使用记分板或结束奖励、随后逐步切换到 CivTelescope 的混合奖励策略，整体得分在所有比较的奖励方案中最高。\n\n实现要点\n- CivHarness：保存 GameState，在分支点复制并调用 Freeciv 引擎重放至指定回合。\n- CivTelescope：提示模板 Given two positions A and B, which one is more likely to lead to a better final outcome?，使用 LLaMA‑2‑7B‑Chat 进行微调。\n- CivMarshmallow：奖励 = α·Scoreboard + β·EndReward + γ·CivTelescope，α、β、γ 随回合线性衰减。\n\n点评：通过重放获得的长视野反馈成功突破了记分板陷阱的限制，为长期策略游戏的强化学习提供了可复制的思路。