摘要
目标导向的对话系统在通过互动对话达成用户目标方面展现了强大的能力。然而，现有研究主要针对单一、明确的目标完成，而电话助手面临的是一种代理设置，要求协调设备拥有者的明确预设目标与来电者的隐性和动态目标。
我们推出了 CallBench，这是一个用于评估电话助手中双目标协调的中文基准。CallBench 包含 50,000 个完整的多轮电话对话，覆盖六种场景：外卖、快递、出租车、工作、生活和骚扰。它涵盖了常规预设、突发预设和无预设案例，并包括了设备拥有者和来电者目标之间的多种关系，例如一致性、互补性、无关性和冲突性。
此外，我们设计了一种预设感知的轮次级评估协议，涵盖语义理解、上下文使用、主动引导、响应质量、预设合规性、对话节奏和安全性。对代表性对话方法的实验表明，现有方法在这一任务上仍面临挑战，突显出需要能够在代理约束下，在两个独立目标之间做出可靠轮次级决策的电话助手。
博主点评： CallBench的推出为电话助手领域的研究提供了一个重要的评估标准，尤其是在双目标协调方面。通过对多轮对话的全面分析，研究者们可以更好地理解电话助手在复杂交互中的表现，推动技术的进一步发展。