联邦提示调优（FPT）通过冻结预训练的视觉‑语言骨干网络，仅在各客户端优化轻量级提示参数，从而降低通信开销和参数量。然而，这一设计使得共享且不可更改的骨干网络成为潜在的攻击面。恶意客户端可以在表示空间中植入后门，同时保持上传的提示更新与正常客户端相近，难以被检测。
ShadowFPT 提出了一种针对性后门攻击。攻击者首先在冻结的 CLIP 视觉编码器上预训练一个可学习的\emph{影子触发器}，可以使用公开的辅助数据或自身本地数据，使得触发输入在特征空间中被拉向目标类别。随后在联邦提示调优阶段，恶意客户端在当前全局提示的条件下微调该触发器，并在干净样本和触发样本上共同优化本地提示。仅提示参数被上报至服务器，触发器和冻结的编码器始终保留在本地。
由于攻击负担主要转移到触发器引导的表示偏移，ShadowFPT 能在保持提示空间隐蔽性的同时实现高效的目标误分类。实验在多种数据集、聚合规则以及非 IID 分区下进行，攻击成功率从 19.81% 提升至 90.36%，且干净精度基本不受影响。该方法同样适用于文本、视觉以及联合视觉‑语言的提示调优。结果表明，仅依赖提示更新异常检测的防御不足以抵御基于冻结骨干的后门攻击。
点评