复杂推理查询可以拆解为有向无环任务图，并在异构 LLM 上并行执行，从而降低延迟并让小模型完成复杂任务。实际使用时，子任务适配的 LLM 往往事先未知，单纯执行也无法保证输出正确性。为此我们提出 JOVE——一个在线框架，能够同时为每个子任务分配执行 LLM，并挑选中间结果进行付费验证。验证在后台异步进行，其反馈用于改进后续的分配决策，因此系统必须在当前执行支出与未来学习收益之间进行权衡。我们在长期预算和单次查询延迟约束下，研究如何在服务质量、调用成本和执行时间均为随机且初始未知的条件下优化这种权衡。JOVE 通过为每个查询求解混合整数线性规划（MILP）来决定执行与验证策略。在线学习模块依据验证反馈更新任务相关的 LLM 质量估计，并在分配时加入信息增益奖励，以显式考虑学习价值。在自然假设下，我们证明 JOVE 的质量学习后悔度为次线性。实验在四个推理基准上进行，JOVE 在保持与标准推理基线相当的准确率的同时，将平均成本和延迟至少降低 3.17 倍。
点评