摘要
AI 代理正在推动一种新范式的代理增强实时通信 (RTC)，在这种模式下，人类专注于高级协作，而代理则自主实时检索、分析和生成信息以支持他们的互动。这些应用为各个领域提供了新的体验：例如，当企业员工共同撰写法律文件时，他们的代理可以代表他们讨论和草拟，从而免去手动审阅彼此工作的负担。
然而，现有的基于云的代理面临隐私风险和不可扩展的服务器成本，因此设备端的代理增强 RTC 提供了一个有前景的替代方案。然而，这种设备端范式引入了一种新的网络挑战：人类（进行实时视频流）和代理（发送分析所需的上下文文件）生成的并发流量之间的争用。
我们设计了 HFS 框架，以确保代理增强 RTC 应用中的高实时视频质量和低代理响应延迟。我们通过应用指导的多流传输方法实现这一目标，其中一个统一的应用层调度器共同控制实时视频和代理上下文流的发送速率，基于它们不同的应用需求。
我们的原型基于 WebRTC 和 llama.cpp 构建，展示了 HAFS 超越基线的表现，视频质量提高了 1.5 倍，同时代理响应时间减少了 31%。
博主点评： 该研究通过设备端的代理增强实时通信，成功解决了隐私和成本问题，展示了高效的网络流量管理能力，具有广泛的应用前景和实用性。未来在更多实际场景中的应用将有助于进一步验证其有效性。