摘要
个人 AI 代理利用大型语言模型进行推理和操作，能够访问电子邮件、管理日历和向远程存储库推送代码，且监督极少。当与长期记忆结合时，代理可以回忆出与当前任务相关的具体细节，从而减少对大上下文窗口的需求。
目前，长期记忆代理主要分为对话代理和行动规划代理两大领域。个人助手代理则位于这两个领域的交汇处，在与不可信信息源互动时处理敏感信息，造成了之前未考虑的安全漏洞。
在本研究中，我们引入了一种新型攻击向量——GhostWriter，利用当前工具使用个人代理的记忆子系统来破坏其记忆存储。GhostWriter 有两个阶段：注入阶段，攻击者向目标代理发送隐藏的攻击载荷；激活阶段，污染的记忆被检索。我们的研究表明，GhostWriter 在最先进的代理上实现了约 98% 的近乎普遍注入率和约 60% 的高激活率。这种攻击之所以可行，是因为缺乏以安全为中心的记忆治理。
为此，我们提出了 Agentic Memory Sentry (AM-Sentry)，其利用了两种缓解技术：一是记忆节省策略，二是记忆检索屏障。实验表明，AM-Sentry 显著降低了 GhostWriter 的成功率，同时保持了代理的实用性。
博主点评： 本文揭示了大型语言模型代理在处理敏感信息时面临的严重安全隐患，GhostWriter 攻击的有效性令人震惊。AM-Sentry 的提出为增强代理的安全性提供了新的思路，但在实际应用中如何平衡安全与实用性仍需深入研究。