大型语言模型(LLM)智能体在多轮交互中通常直接将工具的原始输出拼接到上下文中。随着交互步数增加,冗长且噪声较大的观测会显著增加上下文开销,并削弱智能体对任务关键信息的关注。现有的 token 剪枝和摘要方法受限于离散文本表示,压缩比例受限。我们提出 Coca-Cola,一种连续潜在上下文压缩模型,打破了必须以显式文本 token 读取工具观测的假设。Coca-Cola 将工具观测压缩为潜在 token,并将其嵌入智能体的输入嵌入空间。为保证压缩后仍能支持正确决策,我们设计了 Action‑Preserving Training,使智能体在完整观测和压缩观测下的下一步动作分布保持一致,从而让压缩模型学习到仅保留决策关键信息的潜在表示。实验在四个问答基准上使用两类模型进行网页搜索任务评估,结果显示:Coca-Cola 将智能体的 token 使用量降低 70.01%‑89.24%,端到端运行时间缩短 24.45%‑55.97%,且任务性能稳步提升。代码已开源:https://github.com/THU-Agent/Coca-cola。
点评:Coca-Cola 通过潜在空间压缩显著提升了 LLM 智能体的效率和效果,为未来的多模态与工具增强型智能体提供了新的设计思路。