NeFut Logo NeFut
EN 管理员登录

[AI学术] 耦合但迟缓:全双工语音模型在非脚本对话中的轮流机制

发布于:2026-10-08 22:00 最后更新:2026-10-12 00:49
#algorithm #AI #Machine Learning

全双工语音模型最初被训练用于与人类对话,但近年来它们越来越多地被用于相互对话——例如自我对弈数据生成、代理社会以及基于模型的评估。在这种闭环中,没有人类来纠正时序误差:每个模型的发言时机直接成为另一个模型的输入。我们研究了这种循环最终会收敛到怎样的时序。

实验使用了两实例的 PersonaPlex‑7B,在共享时钟上交换音频 token,进行无脚本对话,并对它们以及 Switchboard 数据集应用同一套“轮换转移”规则。结果显示,两模型的时序是耦合的:如果在对话之间重新配对说话者,这种耦合会消失。相比人类的 137 ms 中位换手时延,模型的换手显著迟后,介于 400‑560 ms 之间。

更细致的分析发现,人在对方发言的最后 120 ms 内会进行约十分之一的换手预测,而模型在同一时间段仅占其换手的 1%。如果人为在单向通道上引入延迟,模型的响应会一对一地整体向后移动,且在预期换手前的“预热”阶段几乎为空。这表明模型更倾向于在感知到对方结束后才做出反应,而不是像人类那样基于对话结束的投射进行提前换手。

点评:该研究揭示了全双工模型在自我对话环境中会形成稳定但迟缓的轮流模式,提示未来需要在时序预测上引入更类似人类的投射机制,以提升模型间交互的自然度。

原文链接: https://arxiv.org/abs/2610.08683

[h] 返回首页