ProtLingo 是一种高效的蛋白质语言模型框架。它在预训练的单序列 Transformer 主干上加入条件局部记忆和稀疏专家路由。框架首先将残基的上下文表示映射为路由专属的离散码，随后把以残基为中心的局部窗口组合成潜在的 $N$‑gram 地址，并检索与重复局部序列上下文关联的可复用残差信号。与此同时，选取的前馈块被升级为稀疏的 Mixture‑of‑Experts 层，专家在不同残基之间共享并通过路由激活，仅激活参数子集，实现残基依赖的计算。实验在蛋白质适应度预测、FLIP 基准以及监督接触预测任务上进行，ProtLingo 在 150M 参数规模的主干下仍能保持竞争性能，尤其在突变效应预测上表现出强参数效率，并保留了长程结构表征。
点评