NeFut Logo NeFut
EN 管理员登录

[AI学术] 图形可视化在知识图谱问答提示中的作用

发布于:2026-11-11 22:00 最后更新:2026-11-12 00:51
#Machine Learning #Graph #Artificial Intelligence

我们在大规模视觉语言模型中系统评估了多模态输入对知识图谱问答(KGQA)的提升。实验使用 1,500 条 WebQSP 与 CWQ 题目,六种视觉语言模型,固定 KGQA 流程,对比纯文本提示与文本加图形可视化的每题表现,并分析推理复杂度、模型规模与图像布局的影响。加入图形图像整体提升 $1.85$ F1,主要来源于低复杂度问题的精确度提升(+4.65 F1)。混合效应与回归分析表明,这种提升与模型规模关联不大,却对图布局高度敏感:仅使用图像会显著下降,层次化的 Graphviz 布局优于杂乱渲染,将大子图拆分为独立路径可获得最大增益。总体来看,视觉提示在低复杂度情境下通过提升预测精度发挥作用,前提是视觉设计遵循认知与感知约束。为兼顾准确性与推理效率,建议采用自适应视觉提示策略,仅在子图规模小、结构清晰且视觉稀疏时附加图示,避免在复杂查询上产生不必要的视觉噪声和 token 开销。最后,我们将这些发现映射到视觉符号设计理论,指出规范化的图示编码可为未来多模态提示提供指导。

点评

原文链接: https://arxiv.org/abs/2611.12938

[h] 返回首页