在这项研究中，我们报告了Gemini模型作为音频评估者的实证可靠性，直接从原始立体声波形评分全双工代理对话。我们测试了Gemini系列中的三个模型：2.5 Flash、3.5 Flash和3.1 Pro。主要证据基于Gemini 2.5 Flash作为真实模型，与三位校准人类评分者在209个立体声会话中进行验证，评分涉及8个生产维度：152个全双工对话和57个注入缺陷的对话片段。
研究结果表明，Gemini 2.5 Flash在三次测试中表现一致：(i) 在8个维度中的5个，LALM与人类评分的Spearman rho差异不超过0.07，并且在8个维度中7个的95%自助置信区间重叠；(ii) 在6个维度中，LALM与三位人类评分者的平均分一致性在60%到92%的会话中相差不超过1分；(iii) 在48个（缺陷，维度）单元中，LALM在Newcombe-Wilson的95%置信区间下与人类的敏感性相当或更优，尽管大多数为无效的零假设。
此外，Gemini系列的排名能力转移良好：3.5 Flash在8个维度上的简单一致性提升至100%，而3.1 Pro在多个维度上评分明显低于人类，尽管其排名相关性相当。模型更换后应专门重新验证校准，而不应仅依赖排名相关性。我们识别了四个需要谨慎部署的领域，并估算目前的人工评分成本大约是LALM工作量的两个数量级。这里提供的数据为在证据支持的维度上，将LALM作为替代或第四评分者的部署提供了可辩护的实证基础。
博主点评： 本研究为LALM在语音代理中的应用提供了重要的实证支持，尤其是在成本效益方面。通过与人类评分者的对比，Gemini系列模型展示了其在全双工对话评估中的潜力，但在模型更换时仍需谨慎校准。未来的研究可进一步探讨不同模型的适用性和局限性。