在图像数据日益丰富的背景下，数据标注的成本和时间消耗成为了一个重大挑战。因此，基于图卷积网络（GCNs）的半监督学习方法应运而生，能够同时利用标记和未标记的数据。然而，应用GCNs于图像分类的一个主要挑战是图的构建，因为图像通常不具备预定义的结构表示。对于视觉数据，大多数研究通过使用预训练深度学习模型的特征向量相似性构建图，通常采用kNN或双向kNN算法。
尽管大语言模型（LLMs）在捕捉高层语义方面表现出色，但其与GCNs结合用于图像分类的研究仍然较少。为填补这一空白，我们的方法使用视觉语言模型（VLM）生成图像的文本描述，随后由LLM处理这些描述以估算连接图像之间的语义相似度分数。这些分数指导kNN和双向kNN图中的边缘修剪，过滤掉语义上不相关的邻居。
实验结果表明，利用LLMs进行图的优化可以提高分类精度，尤其是在kNN图和某些深度学习框架中表现明显。源代码可在 http://gcnllm.lucasvalem.com 获取。
博主点评： 结合大语言模型与图卷积网络的这一创新方法，展示了在图像分类领域的巨大潜力。通过对图的边缘进行语义优化，能够显著提升分类性能，预示着未来图像处理与自然语言处理结合的广阔前景。