基于CNN与Bi-LSTM的唇语识别研究     

骆天依  刘大运  李修政  房国志  安欣  魏华杰  胡城 《教育技术导刊》2019,18(10):36-39

针对唇语识别过程中唇部特征提取和时序关系存在的问题,提出一种卷积神经网络（CNN）和双向长短时记忆网络（Bi-LSTM）相结合的深度学习模型。利用CNN学习唇部特征,并将学习到的唇部特征送入Bi-LSTM进行时序编码,通过Softmax进行分类。建立NUMBER DATASET和PHRACE DATASET两个大型汉语数据集以解决汉语唇语数据缺失问题。将该模型与传统的唇语识别方法在两个数据集上进行实验对比,发现在NUMBER DATASET上识别准确率为81.3%,比传统方法提高了8.1%,在PHRACE DATASET上识别准确率为83.5%,比传统方法提高了9%。实验结果表明该模型能有效提高唇语识别的准确率。  相似文献