在人工智能系统逐渐被用于编辑、优化和修复决策政策的背景下，评估这些编辑的有效性变得愈发复杂，尤其是在缺乏每个状态专家行为标签的情况下。
我们研究了这一问题，使用酒店定价模拟器，代理政策编辑器仅接收区域级的诊断反馈：即其价格分布与基准政策在时间、库存和市场区域上的差异总结。编辑器无法观察基准行为、基准源代码、奖励数字或被保留的结果，只能对目标行为表提出有限的编辑。
在5000个保留的实验中，一个多重重启的LLM编辑器达到了RevPAR 108.47（95% CI 107.61 - 109.34），接近基准政策的108.75（107.81 - 109.68），且二者差距为-0.276，95% CI [-0.692, 0.146]。一种廉价的诊断投影已经恢复了大部分收入（107.90），因此LLM编辑器的独特收益并不仅仅体现在收入提升上，它还将实验组成距离从1.153减少到0.609。这是最强的非基准修复结果。
此结果并非仅仅由重启搜索所解释：非语义提议者在最多2500次评估后，RevPAR下降了8.77 - 14.57点。也不是由于合理的提示格式：打乱的诊断控制破坏了区域错误对应，RevPAR降至94.30。这种匹配是有效但部分的。树编辑器的池化对齐更强，0.214对比0.266，参考状态的D1为0.328对比1.197，但收入降至98.91。
这些结果表明，代理政策修复的评估应侧重于诊断反馈是否成为可靠的闭环结果，而非单一的行为距离。
博主点评： 本文展示了在缺乏详细专家反馈的情况下，如何利用区域级的诊断信息进行有效的政策修复。这一方法不仅提高了收入，还有效缩小了与基准的差距，突显了在不完全信息环境下的策略优化潜力。值得关注的是，LLM编辑器的表现优于传统方法，暗示了深度学习在决策支持系统中的应用前景。