激活引导（activation steering）最近被用来实现技能记忆：将智能体过去的经验编码为引导向量，随后在对话中检索。传统假设认为用户的事实和偏好只能以文本形式存储。我们在一个冻结的 LLM 旁边加入了一个无训练的激活记忆，检验该假设。具体做法是：记录一次交互后模型后期层状态的变化，将其视为一个位移（shift）；该位移以对话要点的白化键（whitened key）存档；在后续会话中，仅当当前要点与键匹配时，将位移重新加回模型状态。
我们认为，这种位移本质上是注意力在上下文中对每个问题重新计算的效果的固定平均，因此只有与具体问题无关的内容才能被保留。为验证这一点，我们在 Qwen3.5‑2B 与 9B 上进行预注册实验，邀请四类模型的评审进行打分。实验结果显示记忆具有高度选择性——约 98% 的无关回复保持不变。但事实信息往往只以词汇层面的指令形式存入模型最深层，实际被使用的比例极低（最多 15%），而在上下文中直接提供时的使用率高达 96‑98%。
此外，记忆的迁移仅在一个狭窄的强度窗口内有效。最令人惊讶的是，当写入偏好时所减去的参考值决定了概念本身还是方向被保留：如果没有减去相反的参考，存入的“厌恶”会在检索时被误读为“喜欢”。
点评：激活引导记忆的核心是对话要点驱动的状态位移，它只能保存与具体提问无关的抽象信息，且对事实的记忆极度稀疏。实际应用中，需要慎重设计位移强度和参考值的减法策略，否则偏好信息可能出现方向翻转。