摘要
最近,大型语言模型的进步使得网络代理能够自主执行复杂任务。然而,用户通常提供不明确的指令,要求代理从其原始浏览历史中推断缺失的上下文。现有基准未能捕捉这种个性化形式,因为它们要么将任务限制为完全明确的提示,要么将网络交互历史抽象为简化形式。
为了解决这一问题,我们提出了PersonaTrail,一个用于个性化网络代理的基准,旨在管理开放的网络环境中运行。通过利用真实的浏览轨迹作为用户历史,PersonaTrail评估代理推断用户偏好和回忆过去浏览会话信息的能力。
我们进一步提出了偏好感知上下文记忆(PACMem),这是一个将原始浏览历史分解为两种结构化记忆的框架:事实记忆总结单个会话,而偏好记忆提炼重复的行为模式。在推理时,代理会从这些记忆中检索最相关的条目,以指导个性化导航。广泛的实验表明,PACMem在两项任务上始终优于现有的基于记忆的基线。
博主点评: PersonaTrail通过引入个性化的浏览轨迹,为网络代理的评估提供了新的视角,特别是PACMem框架的设计有效地提升了代理的记忆能力和推理水平,展示了个性化服务在实际应用中的潜力和重要性。