在大型语言模型（LLM）集成的应用中，通过结合多个LLM的预测来提高可靠性变得越来越普遍。然而，现有的聚合方法通常假设所有模型都是同等可信的，忽视了不确定性质量的差异。这一假设对于异构LLM的情况显得不够适用，因为这些模型的可靠性和能力差异显著，使得简单的聚合在面对不可靠或对抗性专家时容易受到影响。
在这项工作中，我们将多LLM聚合形式化为一个不确定性感知的信任估计问题。我们借鉴决策理论中的结构化专家判断，利用上下文感知的校准问题来根据专家的概率预测质量评估其可靠性。具体来说，我们采用了Cooke风格的对数加权方法，该方法惩罚过于自信的错误预测，并偏向于那些良好校准的专家。
我们在MMLU和MMLU-Pro数据集上评估了我们的方法，针对同质、异质和受污染的专家小组进行测试。结果表明，尽管在同质环境中聚合方法表现相似，但在异质和污染情况下，Cooke加权变得至关重要。它在准确性与可靠性之间取得了优越的平衡，并在引入不可靠专家时保持了鲁棒性。这些发现表明，多LLM聚合不仅需要简单地结合预测，还需在不确定性下校准信任。
博主点评： 本文提出的基于不确定性的信任估计方法为多LLM系统的聚合提供了一种新思路，强调了在异构环境中对专家可靠性进行动态评估的重要性。这一方法在实际应用中具有广泛的前景，尤其是在面对复杂和不确定的预测任务时。通过有效地校准信任，系统将能够更好地应对不可靠信息的挑战。