2022年 03期

基于深度学习多特征融合的手势分割识别算法

Gesture Segmentation and Recognition Algorithm Based on Deep Learning Multi-feature Fusion


摘要(Abstract):

针对机器视觉技术因受环境中类肤色物体、背景变化及手势不同角度的影响而导致手势分割精度和识别准确度较低的问题,提出融合肤色结合深度学习网络的手势分割识别算法;该算法根据手势肤色在颜色空间中的聚类特征,融合颜色空间YC_bC_r、HSV对肤色聚类较好的色调、蓝色色度、红色色度3个分量,结合最大类间方差的自适应提取方法,对手势部分进行分割处理,并在更深层次的深度学习网络中对手势特征图像进行训练。结果表明,该算法能较准确地分割和识别手势,平均识别率为98.8%,具有较强的鲁棒性。

关键词(KeyWords): 深度学习;手势识别;图像处理

基金项目(Foundation): 新疆维吾尔自治区自然科学基金项目(2021D01C052)

作者(Author): 张晓俊,李长勇

DOI: 10.13349/j.cnki.jdxbn.20220110.001

参考文献(References):

[1] 吴鹏,牛斌,马利,等.融合皮肤检测的卷积姿势机手势分割方法[J].计算机工程与设计,2019,40(11):3205-3211.

[2] SAGAYAM K M,HEMANTH D J.Hand posture and gesture recognition techniques for virtual reality applications:a survey[J].Virtual Reality,2017,21(2):91-107.

[3] 姜洋洋.基于卷积神经网络与CUDA加速计算的手势识别算法应用研究[J].系统仿真技术,2020,16(1):22-26.

[4] 史东承,倪康.基于YCbCr颜色空间背景建模与手势阴影消除[J].中国光学,2015,8(4):589-595.

[5] 杨洋,郑紫微,孙兹昂,等.基于肤色分割与深度学习的手势识别[J].数据通信,2019(5):30-33.

[6] 王龙,刘辉,王彬,等.结合肤色模型和卷积神经网络的手势识别方法[J].计算机工程与应用,2017,53(6):209-214.

[7] 杨波,宋晓娜,冯志全,等.复杂背景下基于空间分布特征的手势识别算法[J].计算机辅助设计与图形学学报,2010,22(10):1841-1848.

[8] 睢丙东,张湃,王晓君.一种改进YOLOv3的手势识别算法[J].河北科技大学学报,2021,42(1):22-29.

[9] 谢铮桂.基于改进的卷积神经网络的手势识别的研究[J].计算机应用与软件,2019,36(3):192-195,281.

[10] 蔡娟,蔡坚勇,廖晓东,等.基于卷积神经网络的手势识别初探[J].计算机系统应用,2015,24(4):113-117.

[11] FLORES C J L,CUTIPA A E G,ENCISO R L.Application of convolutional neural networks for static hand gestures recognition under different invariant features[C]//2017 IEEE XXIV International Conference on Electronics,Electrical Engineering and Computing,August 15-17,2017,Cusco,Peru.New York:IEEE,2017:1-4.doi:10.1109/INTERCON.2017.8079727.

[12] 许雪梅,黄征宇,李丽娴,等.一种基于HSV颜色分割和模糊级联分类器的人脸检测技术[J].计算机应用与软件,2014,31(4):197-200,238.

[13] 胡随芯,常艳昌,杨俊,等.基于多特征融合的高速路车辆多目标跟踪算法研究[J].汽车技术,2020(9):8-13.

[14] 田原嫄,姚萌萌,潘敏凯,等.基于YCbCr肤色检测与AdaBoost联级算法的嘴部特征定位[J].计算机应用研究,2017,34(3):933-935.

[15] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition,June 27-30,2016,Las Vegas,USA.New York:IEEE,2016:779-788.

[16] SUNG J Y,YU S B,KOREA S H P.Real-time automatic license plate recognition system using YOLOv4[C]//2020 IEEE International Conference on Consumer Electronics-Asia,November 1-3,2020,Seoul,Republic of Korea.New York:IEEE,2020:1-3,doi:10.1109/ICCE-Asia49877.2020.9277050.

[17] YU Z W,SHEN Y G,SHEN C K.A real-time detection approach for bridge cracks based on YOLOv4-FPM[J].Automation in Construction,2021,122:103514.

[18] 鹿智,秦世引,李连伟,等.智能人机交互中第一视角手势表达的一次性学习分类识别[J].自动化学报,2021,47(6):1284-1301.

[19] 程淑红,程彦龙.融合批量再标准化和YOLOv3的手势识别研究[J].计量学报,2021,42(1):29-34.