NeFut Logo NeFut
EN 管理员登录

[AI学术] PERSIST:跨会话全双工语音对话的谁‑何‑何时记忆

发布于:2026-10-08 22:00 最后更新:2026-10-12 00:49
#algorithm #AI #Machine Learning

现代语音助理往往被多个用户共享,需要能够追溯早前对话,例如“我最初计划什么时候离开”。这不仅要求检索主题相似的片段,还必须识别当前说话人、恢复相关的历史状态,并与后续的修正区分。PERSIST 是一种面向多会话、多说话人语音对话的持久记忆系统,显式建模 Who、What、When 三要素。系统将跨会话的对话历史组织为可读的事件记录,并通过 3W 联合打分机制检索——该机制同时考虑语义内容、声学说话人特征和时间状态。为实现实时全双工交互,PERSIST 复用对话主干网络的中间表示,避免对查询音频重新编码,将检索延迟从 578.42 ms 降至 7.03 ms。我们还推出了 SpokenTrace 诊断基准,将评估拆解为记忆任务和说话人查询类型,能够暴露召回、说话人归属和时间状态跟踪的失误。在该基准上,PERSIST 达到 85.08% 的端到端任务准确率,并将全支持 EM@3 从 BGE‑large 的 49.01% 提升至 82.10%。

点评

原文链接: https://arxiv.org/abs/2610.07725

[h] 返回首页