摘要
识别技术告知代理图像中的内容，而个人记忆则影响接下来值得查找的内容。在相机优先的设置中，用户只能发送图像，因此代理必须形成查找请求。我们研究个人视觉记忆是否能改善代理端的工具选择和工具参数，从而实现更符合用户需求的多工具查找。
设计采用三层个人视觉记忆（档案、短期聚焦、观察），在每次交互中加载，以条件化 LLM 的工具调用循环，并包括冲突感知的写回机制，旨在刷新用户模型以便于后续捕获。
在与合成记忆块配对的800个图像上进行的实验表明，去除完整的三层记忆块将工具查询相关性降低了 0.47 分（在5分制上为4.21 - 3.74；相对减少11.2%），而端到端的效用降低了 0.082 分（0.842 - 0.760；相对减少9.7%）。这些结果测量了在仅图像输入下的工具策略的记忆条件化，使用的是固定的合成块，而非来自实时用户历史的多会话写回。
博主点评： 本文深入探讨了个人视觉记忆在相机优先的视觉代理中的应用，突显了记忆对工具选择的影响。三层记忆架构的设计为提高用户体验提供了重要见解，验证了记忆在优化工具调用中的关键作用。未来的研究可以探索如何更好地结合动态用户历史以进一步提升系统的智能化水平。