大型语言模型（LLM）正被用作自动评审，帮助衡量聊天机器人等 AI 系统的行为。但在实际部署中，随着用户交互和得分分布的变化，LLM 与原始人工评估策略的吻合度会出现漂移。现有的提示优化方法大多在静态开发集上一次性完成，难以支撑长期维护。\n\n我们将此现象定义为 judge drift，并提出 PromptOps——一个闭环框架，用于监控并迭代校准 LLM‑as‑a‑Judge（LLMaaJ）系统。PromptOps 将维护过程拆解为四个决策：何时进行优化、采用哪种优化算法、选取哪些反馈记录、以及如何更新评审提示。\n\n在框架实现中，我们集成了五种提示优化手段：GEPA、SIMBA、Rubric Synthesis，以及基于模拟退火或树结构 Parzen 估计器（TPE）的示例选择。实验表明，经过迭代的提示优化能够在参考分数分布被人为扰动后重新校准 LLM 评审，并恢复原有性能。但有效的维护高度依赖具体情境：既没有单一的算法能够在所有场景通用，也不存在统一的更新时机。\n\n这些结果说明，已部署的 LLM 评审系统的提示优化本质上是一个持续的迭代维护任务，PromptOps 为研究和实现该过程提供了实用的抽象层。\n\n点评：PromptOps 将提示优化从一次性实验转向闭环迭代，突显了实际部署中评审漂移的普遍性和对上下文敏感的维护需求，为未来构建稳健的 LLM 评审框架指明了方向。