全同态加密（FHE）使服务器能够在加密的用户提示上直接运行语言模型，但现有方法仍然极其缓慢。密文只能原生支持加、乘和旋转，乘法只能在有限深度内组合，超过后必须进行代价高昂的重引导（bootstrapping），否则无法继续计算。所有非线性函数必须通过迭代近似实现，每一次迭代都消耗乘法次数。迭代次数越多精度越高，却会更快耗尽深度并触发更多重引导，后者是延迟的主要来源。传统做法在整个模型中统一设定迭代次数，未考虑不同位置对误差的容忍度差异。
我们提出同态加密感知训练（HEAT），一种细调方法，使每个非线性层的迭代次数可学习，并在训练过程中与模型权重共同适应。HEAT 将迭代次数作为可优化的超参数，直接对任务目标进行梯度优化，使模型在推理时能够自行补偿近似误差，无需改变网络结构或从头重新训练。
在加密的 GPT-2 解码实验中，HEAT 将平均迭代次数降低了 $3.1\times$，重引导次数降低了 $1.6\times$，端到端延迟缩短了 $1.4\times$，同时在解码一致性上超过了经过校准的基线。
点评：HEAT 通过让迭代计数与权重共同学习，显著削减了同态推理的计算开销和延迟，为实际部署加密语言模型提供了更具可行性的路径。