摘要
条件计算可以将语言模型的质量与每个标记的推理成本解耦，然而，当前的领先技术在单一维度上孤立地运作：专家混合（MoE）稀疏化前馈网络（FFN），深度混合（MoD）跳过整个变换器块，KV缓存量化则压缩注意力内存。我们认为，这三项决策（注意力分辨率、专家选择和缓存位宽）紧密耦合，应该共同作出：对于足够稀有以至于需要全注意力的标记，可能也需要高精度缓存，无论是哪个专家处理它。
我们提出了 TriRoute，一个轻量级控制器，跨越所有三个维度共享，该控制器为每个层的每个标记发出协调策略：
- 注意力模式（跳过/局部/全局），
- 稀疏的 FFN 专家集合（包含一个空专家以恢复 MoD），
- KV 缓存位宽。
该控制器通过异构松弛（Gumbel-Softmax 和直通估计用于分类决策，负载平衡的 top-k 门控用于专家）进行端到端训练，遵循拉格朗日预算约束，使得平均计算和内存成本成为一个可控参数。我们识别出在天真的联合训练中存在的跨轴路由崩溃级联问题，其中一个轴的崩溃会传播到其他轴，并通过每轴归一化和耦合感知的平衡损失进行解决。
在从160M到1.3B参数的仅解码模型中，TriRoute 在计算最优的标记计数下，Pareto 优于最佳独立的 MoD+MoE+KV-量化组合，在匹配的推理 FLOPs 和内存下，同时更好地保持了在稀有实体、代码和算术上的尾部情况鲁棒性，而纯困惑度优化则会削弱这一点。事后分析揭示了可解释的结构：控制器为句子初始位置、稀有子词和命名实体分配全注意力和高精度缓存，同时以较低成本路由功能词。
博主点评： TriRoute 的提出为语言模型的计算效率和性能提升提供了新的视角，尤其是在处理稀有词汇和特定实体时，能够实现更全面的资源分配。通过联合考虑多个维度，TriRoute 确保了系统的灵活性与高效性，展示了深度学习领域在资源管理上的未来方向。