摘要
自监督地理基础模型（GeoFMs）从遥感数据中学习可转移的表示，但其在下游任务中的行为难以表征。我们研究了六种代表性的GeoFMs，涵盖联合嵌入、重构和多模态预训练等家族，并在不同标签可用性和下游管道下评估其在分类、回归和分割基准上的转移性能。
我们发现模型在不同任务和适应设置下的排名会有所变化。逐层探测表明，在大多数情况下，相较于最终层嵌入，任务相关信息在中间变换块中更容易获取，并且GeoFMs展示出独特的深度特征。在PASTIS和Sen1Floods11的分割案例研究中，下游适应设置（如解码器设计和微调）对结果的影响可以与GeoFM的选择相媲美，而标准的密集预测头可能与GeoFMs在深度上的信息组织不匹配。
最后，CKA分析显示，微调并不会均匀地重写GeoFMs的深度结构，最显著的变化局限于ViT块中MLP的第一个线性层。这些结果帮助解释了为何GeoFM的排名在基准测试中会变化，并推动了更加关注表示的评估与适应策略。
博主点评： 自监督学习在遥感领域的应用前景广阔，但在具体任务上的表现差异提醒我们，模型设计和适应策略对最终效果至关重要。深入理解模型内部表示的变化，有助于提高下游任务的性能。应继续探索不同模型架构对任务适应性的影响。