NeFut Logo NeFut
EN 管理员登录

[AI学术] 混合运动学GCN与弹性Transformer用于高效印度手语识别

发布于:2026-10-15 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #optimization

Sign Language Recognition(SLR)面临签字速度变化和空间复杂性的双重挑战。印度手语(ISL)具有双手协同的固有特性,但受限于大词汇量基准稀缺,且传统模型难以适应不规则的签字速度。为此,本文提出一种结构感知的混合框架用于高效的 gloss ISL 识别。

首先,引入基于熵的 SVD 采样器,在视频序列中动态挑选信息丰富的关键帧,以降低计算冗余。由于采样导致物理时间间隔不均匀,网络采用 Continuous Dual Positional Encoding 与距离感知的 Elastic Transformer 相结合,保持自然的签字节奏。

空间建模方面,Kinematically-Conditioned Adaptive GCN 使用统一的骨骼-关节特征,显式捕获双手几何关系。为验证方法,构建了包含 120 类、9453 条原生 ISL 视频的数据库,并通过 Physical Node Dropout 与 ArcFace 优化减轻主体特定记忆。实验得到 89.8% 的准确率,奠定了复杂手语建模的强基准。

点评

原文链接: https://arxiv.org/abs/2610.14680

[h] 返回首页