NeFut Logo NeFut
EN 管理员登录

[AI学术] DP-MIND:差分隐私记忆引导的长上下文推理

发布于:2026-10-12 22:00 最后更新:2026-10-13 00:57
#AI #Machine Learning #LLM

LLM‑as‑a‑Service 已成为无需本地部署即可使用大语言模型的主流方式,但用户查询往往包含敏感信息,导致隐私风险。差分隐私(DP)提供了严格的隐私保障,但现有 DP 推理方法主要针对短至中等长度上下文,面对百万级 token 的长文本时会因上下文容量受限和噪声扰动导致效用急剧下降。

DP‑MIND 提出了一套记忆引导的框架,使 DP 推理能够扩展到百万级上下文。核心思路是先在本地对原始输入加入 DP 噪声,然后将噪声化的文本按块(chunk)顺序送入模型,同时维护一个紧凑的记忆库,用于跨块保存任务相关信息。为使记忆在噪声干扰下仍保持有效,DP‑MIND 直接在扰动后的输入上使用强化学习优化记忆构建策略,奖励函数同时考虑最终答案的正确性和记忆的一致性。

在得到模型输出后,DP‑MIND 通过一个局部去噪模块恢复被噪声破坏的答案片段,整个过程不需要将原始上下文暴露给外部模型。我们给出 DP‑MIND 的隐私理论分析,证明其满足 $(\epsilon,\delta)$‑DP。实验在多个长上下文基准上进行,上下文长度最高达 1M token,结果显示 DP‑MIND 在可扩展性和效用上均显著优于现有 DP 方法和长上下文推理基线。

点评:DP‑MIND 通过记忆机制和强化学习的结合,成功突破了差分隐私在长文本推理中的瓶颈,为安全的 LLM‑as‑a‑Service 提供了可行路径。

原文链接: https://arxiv.org/abs/2610.13132

[h] 返回首页