稀疏微调因参数高效而被广泛用于大语言模型的适配。其效果不仅取决于可训练参数的数量，还受稀疏更新结构支撑的特征交互拓扑影响。支撑的连通性受限或不均匀会导致特征维度子集被孤立，形成信息孤岛，阻断任务特定的直接交互。为了解决该问题，本文提出 Small-World Induced Fine-Tuning（SWIFT），一种受小世界连通性启发的稀疏微调框架。SWIFT 将块对角稀疏更新用于局部特征混合，并引入固定的确定性散射置换，将混合后的输出在特征组之间路由，无需额外可训练参数。理论上，我们证明某些随机稀疏更新模型和块对角更新会产生信息孤岛，而足够散射的置换在可训练块对角因子由等大小、结构致密的方块组成时，能够保证正的块级扩张。实验在常识推理、自然语言生成和图像分类任务上进行，结果显示 SWIFT 在平均表现上优于所有已评估的参数高效微调（PEFT）基线，并可匹配或超越全参数微调。代码已开源。
点评：SWIFT 通过简单的置换操作实现了全局信息流通，在保持参数效率的同时显著提升了下游任务性能。