大型语言模型（LLM）代理正日益在私有环境中运行，并通过任务执行、工具使用、反馈以及本地知识积累宝贵经验。这些经验分散在不同组织之间，受隐私和专有权限制，无法直接共享。传统的联邦学习只能同步模型参数，难以覆盖代理的记忆、工具、奖励、技能以及结构化知识等更广泛的能力。
本文提出 联邦代理优化（FAO） 的概念，研究在保持原始数据、完整轨迹和私有知识本地化的前提下，如何通过受控的信息交换实现分布式代理的协同提升。FAO 被建模为一个多目标优化问题，需要在代理效用、隐私泄漏和通信成本之间取得平衡。为此，本文将优化空间划分为策略、记忆、工具使用、奖励以及结构化知识与技能五大维度。
进一步地，文章阐述了私有经验的抽象、保护、聚合和适配过程，形成可迁移的能力表示，从而在不直接共享原始经验的情况下实现代理间的互惠。最后，作者列举了 FAO 面临的关键挑战，包括隐私度量、跨域知识对齐、通信效率以及可信度评估，并提出了若干有前景的研究方向，如差分隐私机制、联邦元学习以及可解释的能力映射等，以推动可信的联邦代理系统发展。
点评