摘要
大型语言模型（LLM）驱动的代理在用户发出原始、不明确查询时面临个性化挑战。在这种情况下，代理必须推断潜在意图，从嘈杂的交互历史中提取偏好，并在竞争选项中进行选择。现有基准测试很少测试这种能力，因为它们通常依赖于用户精炼的查询或简化的历史。
我们引入了个性化产品搜索（PPS），作为在原始查询和多样化历史下进行代理个性化的测试平台。我们从行为日志构建了代理个性化基准（APeB），将不明确的意图与丰富的历史和用户查看的候选项配对。通过对最先进的LLM进行多步骤代理工作流的评估，我们发现模型能够很好地处理明确查询，但在需要意图和偏好发现的早期查询中表现不佳。评分分析将这一差距主要归因于历史使用不当。一个简单的历史感知查询优化管道VQRA带来了持续的提升，突显了个性化代理中对专门历史利用模块的需求。
博主点评： 本文通过构建APeB基准，深入探讨了大型语言模型在个性化查询中的不足，特别是在处理模糊查询时的表现。这为未来的个性化代理研究提供了重要的方向，强调了历史数据的有效利用。希望更多研究能关注这一领域，提升用户体验。