摘要
DiLoCo风格的训练通过让学习者岛屿在本地训练并偶尔进行外部同步，从而减少通信成本，这对于在延迟敏感的服务中共享硬件的分散工业AI车队具有吸引力。对于这样的车队，外部合并何时值得其系统成本，以及选择延迟哪些窗口是否重要，成为关键问题。
现有调度研究评估了基于工作负载的策略与固定周期基准的表现，但大多数忽略了将时间与预算隔离的控制：匹配随机延迟，它继承了控制器的同步预算，但本身不可部署。这一遗漏具有重要意义：在受控的压力测试和真实的vLLM侧车重放中，匹配随机延迟与我们测试的每种无预测策略相当或更优，因此报告的收益不能归因于窗口选择。
我们填补了这一空白，提出了工作负载感知DiLoCo（WA-DiLoCo），这是一种基于评分的控制器，权衡学习者进展与车队压力，并提出了一种校准协议，确定何时匹配随机延迟可以被超越。我们展示，在校准暴露请求重叠结构的突发状态下，在线控制器添加一步EWMA突发预测可以在真实的vLLM侧车重放中击败匹配随机延迟，将SLO违规率从6.54%降低到5.09%（10次实验中8次，$p=0.021$）；离线的Calibrated-WA作为不可部署的界限，显示出剩余的提升空间为4.45%对比6.26%。可部署的关键在于协议：报告真实侧车效应大小转移、无同步负载匹配，以及在声称服务SLO改善之前的匹配随机包络。
博主点评： 该研究通过引入工作负载感知调度和校准协议，为共享AI基础设施的同步问题提供了新思路，强调了在复杂系统中优化资源使用的重要性。尤其是在延迟敏感的场景下，如何平衡训练和服务的需求，将是未来研究的重点。