多智能体系统依赖通信完成任务,潜在通信通过传递连续表示降低文本生成和重新编码的开销。然而,系统在更换智能体模型时会出现接口失效,因为现有方法假设模型组合固定。我们的实验验证了这一问题,并提出接口在模型替换后需要复用的需求。
LatBridge 通过共享的 Bridge 与独立的接口实现模型间的连接,遵循统一的潜在通信协议。模型替换后,LatBridge 保留未变动的接口,挑选匹配的低秩接口,并通过 Bridge 将它们组合,仅对缺失的接口进行训练,其他模型保持冻结。Bridge 在基本模式下直接处理源表示,在加速模式下构造目标输入,省去自回归生成过程。
实验在八种小模型配置上进行,基本模式下的任务预测准确率分别为 MATH 14.8% 和 ALFWorld 27.3%。进一步分析表明,接口匹配度、低秩投影以及 Bridge 的信息聚合是提升任务准确率和通信效率的关键因素。
点评