NeFut Logo NeFut
EN 管理员登录

[AI学术] 扩散语言模型代理之间的隐藏信息:潜在通信的因果证据

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

扩散语言模型在生成答案时会经历一系列可修正的连续状态,而多代理系统通常在解码文本后才进行交流。我们探讨是否可以让一个独立的扩散轨迹向另一个轨迹传递紧凑的隐藏信息,并检验接收方是否真正利用了该信息的含义。\ 在 Hidden Messages 实验中,发送方将其去噪状态压缩为四个有符号的密集向量;接收方在保留自身上下文、画布和轨迹的同时读取这些向量。我们通过两种干预来评估通信的作用:移除信息以测试通道是否重要;用另一例子的向量替换以测试内容是否重要。\ 在受控任务中,打乱信息会使 Tiny‑A2D 的优势下降 63.6 分,Dream‑7B 的优势下降 100 分;而针对性替换会将接收方的推理引向替换的事实。\ 在 QASC 任务中,两条支持事实分别由两个代理持有,匹配的通信使准确率达到 80.8%,而使用错误示例的信息会将准确率降至 46.8%,内容效应为 34.0 分。\ 令人惊讶的是时间因素:一次晚期信息传递即可实现 87.8% 的准确率,超过四次循环交流 7.0 分。这表明在扩散语言模型代理之间,信息何时传递可能比交流次数更关键。\ \ 点评

原文链接: https://arxiv.org/abs/2610.28905

[h] 返回首页