基于深度学习的词语级中文唇语识别

作者：

陈红顺1，陈观明1，2

作者单位

1.北京师范大学珠海分校信息技术学院，广东珠海519087；

2.珠海欧比特宇航科技股份有限公司，广东珠海519080。

摘要：

在无声或噪声干扰严重的环境下，或对于存在听觉障碍的人群，唇语识别至关重要。针对词语级中文唇语识别的问题，提出了SinoLipReadingNet模型，前端采用Conv3D+ResNet34结构用于时空特征提取，后端分别采用Conv1D结构和Bi-LSTM结构用于分类预测，并引入Self-Attention、CTCLoss对Bi-LSTM后端进行改进。最终在新网银行唇语识别数据集上进行实验，结果表明，SinoLipReadingNet模型在识别准确率上明显优于中科院D3D模型，多模型融合的预测准确率达到了77.64%，平均字错率为21.68%。

引言：

语言是人类沟通交流的主要方式，语音是人类语言交流的主要载体之一。在无声或噪声干扰严重的环境下，或对于存在听觉障碍的人群，如何利用通过嘴唇运动进行语言识别至关重要。唇语识别是指通过观察和分析人说话时唇部运动的特征变化，识别出人所说话的内容。唇语识别具有广阔的应用前景：在医疗健康领域，可以借助唇语识别辅助患有听力障碍的病人沟通交流^[1]；在安防领域，人脸识别同时通过唇语识别以提高活体识别的安全性^[2]；在视频合成领域, 利用唇语识别可以合成特定人物讲话场景的视频^[3]，或者合成高真实感的虚拟人物动画等。

唇语识别主要包含4个步骤^[4]：人脸关键点检测与跟踪、唇语区域提取、时空特征提取和分类与解码。其中，时空特征提取和分类与解码是唇语识别的研究重点。近年来，随着大规模数据集^[5]的出现，基于深度学习的方法可以自动抽取深层特征，逐渐成为唇语识别研究的主流方法^[6]。如图1所示，基于深度学习的唇语学习方法将一系列的唇部图像送入前端以提取特征，然后传递给后端以进行分类预测，并以端到端的形式进行训练。

文章来源：《电子技术应用》杂志12月刊

，下载论文PDF

?商务合作：? 请致电 010-82306118 / ? 或致件 Tiger@chinaaet.com

点

相关推荐

取消回复欢迎你发表评论:

MySQL中这14个小玩意，让人眼前一亮!

旗舰机新标杆 OPPO Find X2系列正式发布售价5499元起

【VueTorrent】一款吊炸天的qBittorrent主题，人人都可用

面试官:使用int类型做加减操作，是线程安全吗

C++编程知识:ToString()字符串转换你用正确了吗?

【Spring Boot】WebSocket 的 6 种集成方式

PyTorch 深度学习实战(26):多目标强化学习Multi-Objective RL

pytorch中的 scatter_()函数使用和详解

与 Java 17 相比，Java 21 究竟有多快?

基于TensorRT_LLM的大模型推理加速与OpenAI兼容服务优化