公司殷亚凤老师课题组近期在手语动作识别与理解领域取得新进展：提出了一种基于区域感知时序图的手语识别与翻译技术，在轻量级边缘设备上实现实时手语识别与翻译，旨在为聋人提供随时随地的实时沟通与交流服务。

Towards Real-Time Sign Language Recognition and Translation on Edge Devices：手语是听障人士的主要沟通方式。为了建立听障人士与普通人之间的沟通桥梁，手语理解技术备受关注。然而，现有的手语理解工作主要聚焦手语识别或翻译的性能，鲜少关注手语识别或翻译的资源开销与时延。实际上，为了随时随地给听障人士提供即时沟通服务，实时手语识别与翻译技术至关重要。因此，该研究工作提出了一种基于区域感知时序图的方法，旨在轻量级边缘设备上实现实时手语识别与翻译技术。首先，为了减少计算开销，该工作构建了一个浅层图卷积网络来减少模型的深度，从而减少模型的规模。并且，该工作采用结构重参数化融合卷积层、批标准化层和其他分支结构来减少模型的宽度，从而减少模型的复杂度。其次，为了提高手语识别和翻译的性能，该工作通过提取每帧图像的骨骼点定位手语动作的关键区域，并设计了区域感知时序图来关联一帧图像中的不同区域以及连续帧中的同一区域，增强手语动作的特征表示。然后，该工作设计了一个多阶段训练策略来联合优化骨骼点提取、手语识别和手语翻译阶段。最后，该工作在公开数据集和轻量级边缘设备上验证了所提出方法的有效性，即具有较好的手语识别和翻译性能，同时大幅降低手语识别与翻译中的资源开销与时延，在边缘设备上实现了实时手语识别与翻译技术。该项研究工作已于The 31st ACM International Conference on Multimedia (MM 2023)（CCF-A类会议）上发表。欢迎对该研究工作感兴趣的学术同行来信交流：yafeng@nju.edu.cn.