跨模态翻译需要模型捕获不同模态之间的共享语义，同时保持目标模态所需的细粒度结构。然而在真实科学领域，配对数据往往不完整，获取大规模干净配对成本高昂。
监督微调（SFT）通过类别级别的 token 监督直接优化跨模态翻译，但该目标对目标序列中的错误极为敏感。JEPA 提供了互补的表示空间目标，但现有多数实现侧重于单模态内部的预测，而非跨模态翻译。
我们提出锚定跨模态 JEPA（AC-JEPA），它是兼容 SFT 的插件，利用配对数据在两种跨模态方向上预测被遮蔽的中间状态。联合嵌入目标聚焦于从上下文可预测的跨模态结构，而因果 SFT 路径保留对目标序列的直接 token 监督。
在自监督训练阶段，AC-JEPA 从不完美的伪标签对中得到的连续潜在目标学习，天然容忍局部数据错误，且不将伪 token 强制为硬类别监督。
以光学化学结构识别为实验平台，使用干净配对训练时，AC-JEPA 在 WildMol 基准的 Simple 集上达到 76.07% 的准确率，而仅使用 SFT 为 67.40%。在相同的伪标签数据上进行自训练，AC-JEPA 的准确率进一步提升至 80.23%，而直接 SFT 的准确率则下降至 63.47%。
这些结果表明，基于 SFT 锚定的联合嵌入预测是应对精心策划和不完美监督下跨模态翻译的有效策略。
点评