NeFut Logo NeFut
EN 管理员登录

[AI学术] StateBridge:无需训练的隐状态对齐方法,革新LLM多智能体系统中的潜在通信

发布于:2026-08-15 22:00 最后更新:2026-08-16 07:03
#LLM #Artificial Intelligence #Latent Communication

最近的研究提出了一种潜在通信的方法,即直接传输隐藏表示而不需要将其转换为文本。然而,现有的潜在方法要么需要在变压器中逐层注入工作内存,要么需要训练投影器,这限制了其可移植性。我们提出了StateBridge,一种无需训练的潜在通信方法,通过闭式正交变换将发送者的最终层隐藏状态与接收者的输入空间对齐。轻量级的归一化校准和词汇锚定确保与预训练输入分布的兼容性。对齐的状态被追加到接收者代理的输入中作为连续的前缀。我们评估了StateBridge在数学推理、代码生成和问答任务中,使用了来自两个家族的四个模型。StateBridge在26个模型任务对中实现了最佳或并列最佳的得分,始终优于最强的基线。 博主点评: StateBridge的提出为LLM多智能体系统中的潜在通信提供了新的思路,通过无需训练的方式实现隐藏状态的对齐,提高了系统的性能和可移植性。这种方法的应用前景广阔,值得进一步研究和探索。

原文链接: https://arxiv.org/abs/2608.13317

[h] 返回首页