摘要
过程奖励模型（PRMs）已被证明在指导测试时间缩放（TTS）方法方面非常有效，显著提升基于LLM的多智能体系统的能力。然而，现有的PRMs是基于文本的：它们从头重新编码整个轨迹文本。在长时间的多智能体执行中，随着序列长度L的增加，评分成本呈平方增长，造成了严重的计算瓶颈，严重限制了PRMs在长上下文场景中的应用。
为了解决这个问题，我们引入了KV-PRM，这是一种高效的过程奖励模型，消除了重文本编码的负担，直接读取在LLM生成阶段自然产生的KV缓存。通过对预先存在的KV缓存处理单个“验证标记”，KV-PRM将评分成本从O(L^2)减少到O(L)。
我们正式证明了KV缓存包含的信息容量严格大于文本，并且在下游奖励建模中更高效。根据MATH、GSM8K和AIME基准测试，KV-PRM在各种TTS方法（如束搜索、MCTS和加权投票）下与文本PRMs匹配或严格超越，评分FLOPs减少高达5000倍，延迟减少37倍，每个序列的内存占用减少34倍，相较于基于文本的PRMs。
博主点评： KV-PRM通过利用KV缓存，显著提高了过程奖励模型在多智能体系统中的效率，解决了传统文本编码的计算瓶颈问题。此方法在多个基准测试中展现出优越的性能，预示着未来LLM应用中的新方向，值得关注与深入研究。