NeFut Logo NeFut
EN 管理员登录

[AI学术] 更轻量训练,降低泄漏:重新审视 LoRA 微调中的记忆现象

发布于:2026-11-04 22:00 最后更新:2026-11-05 00:45
#Machine Learning #optimization #LLM

大语言模型的记忆行为会导致数据提取攻击的风险。已有大量研究聚焦于预训练阶段的记忆,但对微调阶段,尤其是参数高效的 LoRA 微调,关注较少。本文重新审视微调中的记忆,并发现不同微调策略下的行为与以往结论出现显著分歧。模型规模、数据重复等因素在预训练和全参数微调中会显著提升记忆,但在 LoRA 微调中并未呈现相同趋势。我们采用更宽松的基于相似度的记忆度量,实验表明 LoRA 相比全参数微调显著降低了记忆风险,同时保持了强劲的任务性能。\n\n点评:LoRA 通过限制可训练参数的范围,既削弱了模型对训练数据的过度记忆,又不牺牲下游任务的表现,为安全高效的 LLM 部署提供了实用路径。

原文链接: https://arxiv.org/abs/2506.20856

[h] 返回首页