近年来,生成式人工智能的广泛应用伴随了提示注入和越狱攻击的激增。攻击者通过嵌入恶意指令,使语言模型绕过预设行为和安全边界。传统聊天机器人因会话结束后不保留状态,攻击局限于单次对话;而现代对话界面提供持久记忆功能,使得攻击可以跨会话传播,形成所谓的记忆注入威胁。
本文在主流 LLM-as-a-service 平台上系统化地研究了该漏洞,提出了一个通用威胁模型。实验表明,在该模型下,ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 均能实现 NIST 定义的全部攻击目标。记忆注入能够利用个人记忆、项目记录、技能信息、组织指令以及模型上下文协议(MCP)关联的资源等多种向量。
研究发现,所有受测服务均可被操纵在新会话中持续传播虚假信息、生成有害内容或模拟离线不响应。特别是 Claude 的共享记忆特性,使攻击者能够在同一组织内部同时危及多名用户,并窃取用户提示。
针对上述风险,本文从威胁模型出发,结合基础网络安全原理,提出了一系列防御措施。评估显示,近一半的对策在当前主流服务中仍未落地。相关数据集和攻击实现已开源于 https://github.com/PedroBarcha/Memory-injection。
点评