我们研究了社会经济指标（如家庭财富）是否在卫星影像（捕捉建筑和道路特征）和互联网源文本（反映历史、文化和邻里叙事）中留下可恢复的信息印记。利用来自非洲邻里的DHS数据，我们将高分辨率的Landsat影像与基于位置/年份生成的LLM文本描述配对，同时还包括由LLM驱动的AI搜索代理从网络源检索的文本。我们开发了一个多模态框架，通过五个管道预测家庭财富（国际财富指数；IWI）：
- 基于卫星影像的视觉模型
- 仅使用位置和年份的LLM
- 搜索并综合网络文本的AI代理
- 联合图像-文本编码器
- 所有信号的集成模型
我们的框架有三个贡献。首先，评估显示，融合视觉和代理/LLM生成的文本在财富预测上优于仅使用视觉的基线（例如，在样本外分割中，R平方值为0.77 vs. 0.63），LLM内部知识（人工神经记忆）在跨国/时间的泛化中表现出意外的预测能力。
其次，我们发现部分表征对齐的暗示性证据：视觉和语言模态的融合嵌入在对齐后中等相关（模态间的中位余弦相似度约为0.60）。这一模式与柏拉图表征假设大致一致，但并不能单独证明收敛到单一共享潜在表征。由于代理检索的数据仅在分割中产生边际和不稳定的增益，因此我们对代理诱导新奇假设的证据有限。
最后，我们发布了一个大规模的多模态数据集，约60,000个DHS集群，每个集群都链接到卫星影像、LLM生成的描述和AI代理检索的文本。
博主点评： 本文提出的多模态框架展示了如何结合视觉和文本信息来提升贫困映射的精度，尤其是在资源匮乏的地区。通过对多种数据源的有效整合，研究为社会经济分析提供了新的视角，彰显了人工智能在社会科学中的应用潜力。