当前的手语识别与翻译基准大多在受控环境下使用固定或工作室摄像头采集,这导致它们难以反映日常移动场景中的手语交流。该问题在阿拉伯手语(ArSL)上尤为突出,因为它是阿拉伯国家的主要手语。
我们推出 Isharah‑Selfie 数据集,全部使用前置手机摄像头在无约束的自拍条件下采集。数据集包含 8,997 条视频,来自 16 位签者,覆盖 1,493 条独特句子,涉及医疗、教育、交通等多个领域。
与传统以固定摄像头、双手手语为主的数据集不同,Isharah‑Selfie 捕捉了真实的移动通信特征:单手签名、近距离视角、部分身体可见、摄像头抖动、环境无约束以及设备分辨率多样。
每段视频均标注了 gloss 序列用于连续手语识别(CSLR),并提供对应的阿拉伯语句子用于手语翻译(SLT)。
我们制定了两套评估协议:签者独立(signer‑independent)和未见句子(unseen‑sentence),用于衡量模型在未见签者和新句子组合上的泛化能力。
基准实验使用 RGB 和姿态两类特征的主流 CSLR 与 SLT 方法进行评测。结果表明,在自拍式场景下性能显著下降,尤其在未见句子评估中,组合泛化仍然薄弱。
通过公开 Isharah‑Selfie,我们希望推动在真实手机通信环境中可靠、以用户为中心的手语技术研究。数据集已在 https://isharah-selfie.github.io/ 上发布。
点评