NeFut Logo NeFut
EN 管理员登录

[AI学术] 当多模态大模型错过人眼可辨的文字:诊断与学习阅读模糊文字

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #LLM

多模态大语言模型(MLLM)有时会漏掉图像中粗糙结构内的文字——人眼只需眯眼即可辨认,却被模型报告为不存在。我们将此类现象称为 Squint Text 并将其视为识别缺陷进行研究,灵感来源于实际内容审核流水线中的案例。为此我们构建了 SquintBench(1076 张来源于生产环境的审核图片)和 SquintCtrl(可控合成数据集,用于机制诊断)。

冻结权重分析表明,隐藏文字仍留下粗糙信号,但字形身份的表征非常弱;当提供正确的空间区域时,身份信息显著提升,说明空间选择是主要瓶颈。抑制高频成分同样能在固定的视觉 token 预算下提升阅读效果,视觉 token 数量本身也可能起作用。

基于此我们提出 Squint OPSD:冻结的教师模型接收下采样视图并以真实转录作为特权上下文,其 token 级分布在 on‑policy 轨迹上监督学生模型。推理时,学生仅使用原始图像。实验在 SquintBench 上取得 88.61 ANLS,远超未适配骨干的 26.50、最佳通用模型在原始视图的 24.44,以及离线模型在下采样视图的最高 68.60,显著缩小了可视证据与生成读出之间的差距。

点评:该工作揭示了空间选择和频率信息在细小文字识别中的关键作用,并提供了无需额外视图的高效微调方案。

原文链接: https://arxiv.org/abs/2610.13465

[h] 返回首页