在许多语言任务上，大型语言模型（LLMs）的表现强劲，但它们在结构受限且对无障碍至关重要的盲文等模式中的能力仍不明确。我们对最先进的LLMs在双向韩文-盲文翻译中的表现进行了评估，使用的是人工标注的数据集。尽管预期多语言、经过指令调优的模型可以通过文本表示对盲文进行泛化，但我们发现其输出始终不稳定，且与人类判断存在显著分歧。这些结果表明，当前模型缺乏盲文感知的标记化，并且韩文与盲文模式之间的对齐较弱。相比之下，对小型模型（T5-small）在相同数据集上的监督微调，显示出在标准指标（如 SacreBLEU、ChrF++、CER、BLEU、ROUGE-L、METEOR、CIDEr）上，相较于零-shot和提示式LLM基准，取得了显著而稳定的提升。我们的发现揭示了当前LLMs的系统性局限性，并展示了适度任务特定监督的有效性。
博主点评： 本研究揭示了当前大型语言模型在无障碍技术应用中的不足，尤其是在盲文翻译方面的表现，强调了任务特定微调的重要性。这为未来模型的改进和无障碍技术的发展提供了重要的思考方向。