在可持续城市规划中，准确估算城市碳排放至关重要，但由于数据源异质性和遥感数据缺乏细粒度语义-时间上下文，许多现有方法难以在各城市间一致应用。我们提出了 CarbonCLIP，这是一种任务导向的多模态蒸馏框架，通过双分支对比学习将上下文知识转移至统一的卫星表示，从而改善基于卫星的碳排放预测。
与依赖静态视觉特征的传统方法不同，CarbonCLIP 明确弥合了自上而下的卫星视图与地面人类活动之间的差距。具体来说，空间分支使用大型多模态模型（LMMs）自动生成的街景图像细粒度文本描述，提供反映建筑功能、基础设施和城市活动的语义先验；而时间分支则利用月份编码器来编码与每月排放变化相关的时间先验。CarbonCLIP 仅在预训练阶段需要多模态数据；在推理期间，它仅依赖卫星图像，这使得在缺乏地面数据的情况下也能支持可扩展部署。
在北京和新加坡的实验表明，CarbonCLIP 在这两个城市的表现优于基线模型。结果验证了我们的方法有效地将多模态知识转移至卫星表示，为基于卫星的城市碳建模提供了一个稳健的解决方案。
博主点评： CarbonCLIP 通过将地面活动与卫星数据结合，开创了一种新的碳排放预测方法。这种多模态学习框架不仅提高了预测精度，还为城市规划提供了更为全面的信息支持，具有广泛的应用前景。尤其是在数据缺乏的情况下，其可扩展性尤为重要。