NeFut Logo NeFut
EN 管理员登录

[AI学术] 长期记忆与大语言模型的结合代价高昂:从提示注入到持久妥协

发布于:2026-10-24 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

近年来,生成式人工智能的广泛应用伴随了提示注入和越狱攻击的激增。攻击者通过嵌入恶意指令,使语言模型绕过预设行为和安全边界。传统聊天机器人因会话结束后不保留状态,攻击局限于单次对话;而现代对话界面提供持久记忆功能,使得攻击可以跨会话传播,形成所谓的记忆注入威胁。

本文在主流 LLM-as-a-service 平台上系统化地研究了该漏洞,提出了一个通用威胁模型。实验表明,在该模型下,ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 均能实现 NIST 定义的全部攻击目标。记忆注入能够利用个人记忆、项目记录、技能信息、组织指令以及模型上下文协议(MCP)关联的资源等多种向量。

研究发现,所有受测服务均可被操纵在新会话中持续传播虚假信息、生成有害内容或模拟离线不响应。特别是 Claude 的共享记忆特性,使攻击者能够在同一组织内部同时危及多名用户,并窃取用户提示。

针对上述风险,本文从威胁模型出发,结合基础网络安全原理,提出了一系列防御措施。评估显示,近一半的对策在当前主流服务中仍未落地。相关数据集和攻击实现已开源于 https://github.com/PedroBarcha/Memory-injection。

点评

原文链接: https://arxiv.org/abs/2610.28810

[h] 返回首页