基于改进<strong>YOLOv5s</strong>的护帮板异常检测方法研究

doi:10.3785/j.issn.1006-754X.2022.00.079

工程设计学报

2022, Vol. 29

Issue (6): 665-675 DOI: 10.3785/j.issn.1006-754X.2022.00.079

设计理论与方法

基于改进YOLOv5s的护帮板异常检测方法研究

张旭辉^1,²(

),闫建星¹(

),麻兵¹,鞠佳杉¹,沈奇峰¹,吴雨佳¹

^1.西安科技大学机械工程学院，陕西西安 710054
^2.陕西省矿山机电装备智能监测重点实验室，陕西西安 710054

Research on abnormal detection method of side guard based on improved YOLOv5s

Xu-hui ZHANG^1,²(

),Jian-xing YAN¹(

),Bing MA¹,Jia-shan JU¹,Qi-feng SHEN¹,Yu-jia WU¹

^1.School of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China
^2.Shaanxi Key Laboratory of Mine Electromechanical Equipment Intelligent Monitoring, Xi'an 710054, China

全文: PDF(27019 KB) HTML

摘要：

准确识别护帮板支护状态，判断护帮板是否与采煤机发生干涉，是实现煤矿安全生产的重要一环。提出了一种基于改进YOLOv5s的护帮板异常检测方法。建立了护帮板数据集hb_data2021，对YOLOv5s模型进行改进。根据基于改进YOLOv5s的护帮板状态检测结果的标签分类，判断护帮板状态是否异常。为了减小YOLOv5s模型的参数量，采用MobileNetV3 和轻量级注意力机制NAM（normalization-based attention module，标准化注意力模块）替换主干特征提取网络。为了提高护帮板检测精度，改进损失函数为α-CIoU，并进行知识蒸馏。实验结果表明：蒸馏后的网络平均精度提高了1.0%，参数量减小了33.4%，推理加速34.2%；基于改进YOLOv5s的护帮板异常检测方法效果良好，将其部署在NVIDIA Jetson Xavier平台上，可以满足实时检测视频的要求。将检测模型移植到巡检机器人的嵌入式平台上，可以实现护帮板异常检测，满足煤矿工业实际需求。

关键词： 护帮板; 目标检测; 轻量化; 边框损失函数; 嵌入式设备

Abstract:

It is an important link to realize the safe production of coal mine to accurately identify the support state of the side guard and judge whether the side guard interferes with the shearer. This paper presented an anomaly detection method of side guard based on improved YOLOv5s, which set up a data set of side guard called hb_data2021 and improved the YOLOv5s model. It could be judged whether the state of the side guard was abnormal, according to the label classification based on the detection results of the improved YOLOv5s. In order to reduce the parameters of YOLOv5s model, MobileNetV3 and the lightweight attention mechanism NAM (normalization-based attention module) were used to replace the backbone feature extraction network. In order to improve the detection accuracy of side guard, the loss function was improved to α-CIoU and knowledge distillation was conducted. The experimental results showed that after distillation, the average precision of the network was improved by 1.0%, the parameters was reduced by 33.4%, and the reasoning speed was accelerated by 34.2%; the abnormal detection method of side guard based on the improved YOLOv5s had a good effect. It could be deployed on the NVIDIA Jetson Xavier platform to meet the requirements of real-time video detection. Transplanting the detection model to the embedded platform of the patrol robot can realize the abnormal detection of the side guard and meet the actual needs of the coal industry.

Key words: side guard target detection lightweight frame loss function embedded device

收稿日期: 2022-02-15 出版日期: 2023-01-06

CLC:

TD 76

基金资助: 国家自然科学基金资助项目(51974228);陕西省创新人才计划项目(2018TD-032);陕西省重点研发计划项目(2018ZDCXL-GY-06-04)

通讯作者: 闫建星 E-mail: zhangxh@xust.edu.cn;yanjianxing2013@163.com

作者简介: 张旭辉（1972—），男，陕西凤翔人，教授，博士生导师，博士，从事煤矿机电设备智能检测与控制等研究，E-mail: zhangxh@xust.edu.cn, https://orcid.org/0000-0002-5216-1362

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	张旭辉
	闫建星
	麻兵
	鞠佳杉
	沈奇峰
	吴雨佳

引用本文:

张旭辉, 闫建星, 麻兵, 鞠佳杉, 沈奇峰, 吴雨佳. 基于改进YOLOv5s的护帮板异常检测方法研究[J]. 工程设计学报, 2022, 29(6): 665-675.

Xu-hui ZHANG, Jian-xing YAN, Bing MA, Jia-shan JU, Qi-feng SHEN, Yu-jia WU. Research on abnormal detection method of side guard based on improved YOLOv5s[J]. Chinese Journal of Engineering Design, 2022, 29(6): 665-675.

链接本文:

https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2022.00.079 或 https://www.zjujournals.com/gcsjxb/CN/Y2022/V29/I6/665

图1 护帮板状态采集摄像头安装示意

图2 护帮板状态

图3 护帮板状态标注示例

图4 护帮板异常状态检测系统

图5 YOLOv5s网络结构

图6 Bneck网络结构

图7 CBAM网络结构

图8 通道注意力模块的结构

图9 空间注意力模块的结构

图10 CIoU预测框和真实框

图11 CIOU和α-CIoU的损失及梯度

图12 知识蒸馏

表1 模型训练参数

表2 主干网络轻量化改进实验结果

表3 损失函数改进实验结果

表4 知识蒸馏实验结果

表5 不同模型对hb_data2021的训练结果

图13 不同检测环境下基于YOLOv5s和A-YOLOv5s的互帮板状态检测结果

图14 护帮板状态检测结果

图15 模型在NVIDIA Nvidia Jetson Xavier的测试

表6 模型在NVIDIA Jetson Xavier平台的测试结果

1	魏文艳，刘清.一种用于保护矿井下综采工作面支架护帮板的自动控制系统和自动控制方法：201010279735.3［P］.2013-01-02 WEI Wen-yan， LIU Qing. A kind of support plate used to protect the underground fully mechanized mining face automatic control system and automatic control method： 201010279735.3［P］. 2013-01-02
2	黄金福，王新军，李冰波，等.液压支架护帮板控制装置及其测量方法：201310087316.4［P］.2013-06-19. HUANG Jin-fu， WANG Xin-jun， LI Bing-bo， et al. Hydraulic support guard plate control device and its measurement method： 201310087316.4［P］. 2013-06-19.
3	梁海权，王新军，黄金福，等.矿用液压支架状态监测装置及测量方法：201310451563.8［P］.2014-01-15. LIANG Hai-quan， WANG Xin-jun， HUANG Jin-fu， et al. Condition monitoring device and measurement method of hydraulic support for mining： 201310451563.8［P］. 2014-01-15.
4	徐勇智.液压支架护帮板收放监测系统研究［D］ .西安：西安科技大学，2016：1-52. XU Yong-zhi. Hydraulic support suard slate and sonitoring system research［D］. Xi'an： Xi'an University of Science and Technology， 2016： 1-52.
5	王渊，李红卫，郭卫，等.基于图像识别的液压支架护帮板收回状态监测方法［J］.工矿自动化，2019，45（2）：47-53. WANG Yuan， LI Hong-wei， GUO Wei， et al. Monitoring method of recovery state of hydraulic support guard plate based on image recognition［J］. Industrial and Mining Automation， 2019， 45（2）： 47-53.
6	谢富，朱定局.深度学习目标检测方法综述［J］.计算机系统应用，2022，31（2）：1-12. XIE Fu， ZHU Ding-ju. Survey on deep learning object detection［J］. Computer Systems & Applications， 2022， 31（2）： 1-12.
7	南柄飞，郭志杰，王凯，等.基于视觉显著性的煤矿井下关键目标对象实时感知研究［J］.煤炭科学技术，2022，50（8）：247-258 Bing-fei NAN， Guo Zhi-jie， WANG Kai， et al. Study on real-time perception of target ROI in underground coal mines based on visual saliency［J］. Coal Science and Technology， 2022， 50（8）： 247-258.
8	XIE Tian-hua， LI Xin-xing， ZHANG Xiao-shuan， et al. Detection of Atlantic salmon bone residues using machine vision technology［J］. Food Control， 2021， 123： 107787.
9	周得永，高龙琴.基于YOLOv3的太阳能电池板缺陷检测［J］.南方农机，2022，53（4）：142-144. doi：10.3969/j.issn.1672-3872.2022.04.040 ZHOU De-yong， GAO Long-qin. Solar panel defect detection based on YOLOv3［J］. South Agricultural Machinery， 2022， 53（4）： 142-144. doi: 10.3969/j.issn.1672-3872.2022.04.040
10	张博尧，冷雁冰.基于YOLOv4网络模型的金属表面划痕检测［J］.兵工学报，2022，43（1）：214-221. ZHANG Bo-yao， LENG Yan-bing. Detection of metal surface scratch based on YOLOv4 network model ［J］. Acta Armamentarii， 2022， 43（1）： 214-221.
11	韩佳彤，张宏娜，李召波，等.基于YOLOV5网络模型的市政道路检测识别［J］.内蒙古大学学报（自然科学版），2021，52（5）：514-519. HAN Jia-tong， ZHANG Hong-na， LI Zhao-bo， et al. Municipal road detection and recognition based on YOLOV5 network model［J］. Journal of Inner Mongolia University （Natural Science Edition）， 2021， 52（5）： 514-519.
12	张全，张伟，杨先凤，等.融合YOLOv5-ResNet级联网络的烟火检测方法［J］.安全与环境学报， 2021，42（5）：1-10. ZHANG Quan， ZHANG Wei， YANG Xian-feng， et al. A fireworks detection method integrating YOLOv5-ResNet cascade network［J］. Journal of Safety and Environment， 2021， 42（5）： 1-10.
13	李一鸣，王潇.基于YOLOv5s模型的轧钢表面缺陷检测［J］.制造业自动化，2021，43（11）：117-119. doi：10.3969/j.issn.1009-0134.2021.11.027 LI Yi-ming， WANG Xiao. Surface defect detection of rolled steel based on YOLOv5s model［J］. Manufacturing Automation， 2021， 43（11）： 117-119. doi: 10.3969/j.issn.1009-0134.2021.11.027
14	叶鸥，窦晓熠，付燕，等.融合轻量级网络和双重注意力机制的煤块检测方法［J］.工矿自动化，2021，47（12）：75-80. YE Ou， DOU Xiao-yi， FU Yan， et al. Coal block detection method integrating lightweight network and dual attention mechanism［J］. Industrial and Mining Automation， 2021， 47（12）： 75-80
15	魏强.液压支架护帮板状态的自动检测研究［D］. 太原：太原科技大学，2020：1-10. WEI Qiang. Research on automatic detection of the state of hydraulic support guard plate［D］. Taiyuan： Taiyuan University of Science and Technology， 2020： 1-10.
16	REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： A metric and a loss for bounding box regression［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. LongBeach， CA， USA， June 15-20， 2019.
17	HOWARD A， SANDLER M， CHU G， et al. Searching for mobilenetv3［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul， Korea （South）， October 27-November 02， 2019.
18	TAN M， CHEN B， PANG R， et al. Mnasnet： Platform-aware neural architecture search for mobile［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， CA， USA， June 15-20， 2019.
19	LIU Y C， SHAO Z R， TENG Y Y， et al. NAM： Normalization-based attention module［J/OL］//arXiveprint： 2111.12419.［2022-02-10］. .
20	WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision （ECCV）. Munich， Germany， September 8-14， 2018.
21	ZHENG Z， WANG P， LIU W， et al. Distance-IoU loss： Faster and better learning for bounding box regressionar［J］. Xiv， 2019. doi： 10.1609/aaai.v34i07.6999 . doi: 10.1609/aaai.v34i07.6999
22	谭显东，彭辉.改进YOLOv5的SAR图像舰船目标检测［J］.计算机工程与应用，2022，58（4）：247-254. doi：10.3778/j.issn.1002-8331.2108-0308 TAN Xian-dong， PENG Hui. Improved YOLOv5 ship target detection in SAR image［J］.Computer Engineering and Applications， 2022， 58（4）： 247-254. doi: 10.3778/j.issn.1002-8331.2108-0308
23	HE J， ERFANI S， MA X， et al. Alpha-IoU： A family of power intersection over union losses for bounding box regression［J］. Advances in Neural Information Processing Systems， 2021. doi： 10.48550/arXiv.2110.13675 . doi: 10.48550/arXiv.2110.13675

[1]	廖红玉,邓梦洋,周敏,谢良喜,姚俊夫. 基于钢丝绳传动的自动抹灰机的轻量化设计[J]. 工程设计学报, 2022, 29(2): 196-201.
[2]	倪维宇, 张横, 姚胜卫. 基于多工况的汽车座椅骨架轻量化设计[J]. 工程设计学报, 2021, 28(6): 729-736.
[3]	魏雅君, 邱国梁, 丁广和, 杨亮, 刘桁. 一种重载码垛机器人结构优化设计方法[J]. 工程设计学报, 2020, 27(3): 332-339.
[4]	杨绍勇, 雷飞, 陈园. 基于铺层设计特征的碳纤维增强复合材料悬架控制臂结构优化[J]. 工程设计学报, 2016, 23(6): 600-605,619.
[5]	周镇宇, 唐进元, 董建雄. 同功重比修形斜齿和直齿面齿轮性能对比研究[J]. 工程设计学报, 2016, 23(4): 338-344.
[6]	张冰蔚, 马晓明 . 基于APDL的直线电机进给驱动平台的参数优化设计[J]. 工程设计学报, 2005, 12(2): 93-96.

Viewed

Full text

Abstract

Cited

Shared

Discussed