在多个大型语言模型（LLM）中聚合预测，尤其是在每个模型具有特定领域专业知识或能够访问私有工具和数据的情况下，已变得越来越普遍。这种聚合有助于提高集体预测的性能。然而，在去中心化的环境中，聚合权重的确定需要在没有模型私有信息的情况下进行，并且必须对策略性报告保持鲁棒性。为此，我们提出了一种优势对齐的投注机制家族，用于LLM聚合（WALLA）。
在WALLA中，每个模型报告一个预测值和一个学习到的投注，聚合时利用投注作为权重。WALLA在净支付函数中引入了一种“留一法”基线，带来了三个理想特性：
- 在任意信念结构下的主导策略激励相容性。
- 优势与投注对齐，最优投注与模型的预期得分优势成正比。
- 与预测无关的投注优化，使得在不需要最佳预测的情况下实现投注策略的去中心化学习。
我们进一步实例化了两种机制变体，以权衡常态性和无套利，同时保持机制的最坏情况损失有界。在异构模型和私有信息设置下的问答和预测基准实验表明，WALLA在预测性能上与中心化聚合方法相当，同时实现了去中心化学习、优势对齐的聚合权重、不确定性意识和激励兼容的预测。
博主点评： WALLA机制通过结合投注与预测，创新性地解决了去中心化聚合中的信息不对称问题，为多个LLM的协作提供了新的思路。这种方法不仅提高了预测性能，还增强了模型间的信任度和合作性，未来在实际应用中有望发挥重要作用。