基于改进Mask Scoring R-CNN的铲齿磨损检测研究

doi:10.3785/j.issn.1006-754X.2022.00.046

基于改进Mask Scoring R-CNN的铲齿磨损检测研究

卢进南^,^,, 刘扬, 王连捷, 杨润坤, 丁振志

辽宁工程技术大学机械工程学院，辽宁阜新 123000

Research on shovel tooth wear detection based on improved Mask Scoring R-CNN

LU Jin-nan^,^,, LIU Yang, WANG Lian-jie, YANG Run-kun, DING Zhen-zhi

College of Mechanical Engineering, Liaoning Technical University, Fuxin 123000, China

收稿日期: 2021-09-17 修回日期: 2021-11-09

基金资助:

国家自然科学基金资助项目. 51874158

Received: 2021-09-17 Revised: 2021-11-09

作者简介 About authors

卢进南（1979—），男，辽宁丹东人，副教授，博士，从事机电液装备自动化及智能控制基础和技术研究，E-mail：21020331@qq.com，https：//orcid.org/0000-0002-8046-2672 , E-mail：21020331@qq.com

摘要

为了实现在电铲工作过程中对铲齿磨损进行实时检测，防止因铲齿磨损而影响电铲开采效率，提出了一种基于改进Mask Scoring R-CNN（region convolutional neural network，区域卷积神经网络）的铲齿实例分割模型。首先，以ResNet-101（residual network，残差网络）和改进的FPN（feature pyramid networks，特征金字塔网络）作为主干网络，提取高、低特征层的语义信息和细节特征并融合，结合ROI Align层对局部特征层进行裁剪和归一化处理，以完成目标检测与实例分割；然后，基于获取的铲齿分割效果图以及二值化掩码图形信息，计算实例分割后图像中铲齿部分的像素面积，以判断其磨损情况。结果表明，以ResNet-101和改进FPN为主干网络的铲齿实例分割模型在测试集上的平均像素精度为90.76%，平均交并比为83.62%，相比于以ResNet-101和传统FPN为主干网络的实例分割模型分别提升了1.18%和1.21%。在电铲采掘工作现场进行8次铲齿磨损检测实验，检测到的每颗铲齿的磨损程度波动幅度均小于2%，均方差为0.7左右，说明所提出的实例分割模型对铲齿有较好的分割效果和稳定性，基本满足磨损检测要求。研究结果可为铲齿磨损状态的智能化检测提供新思路。

关键词： 铲齿 ; 细节特征 ; 实例分割 ; 二值化掩码 ; 磨损检测

Abstract

In order to realize the real-time wear detection for shovel teeth during the working process of electric shovel, and prevent the mining efficiency of electric shovel from being affected by the shovel tooth wear, a shovel tooth instance segmentation model based on the improved Mask Scoring R-CNN (regional convolutional neural network) was proposed.Firstly, taking the ResNet-101 (residual network) and improved FPN (feature pyramid networks) as the backbone network, the semantic information and detail features of high and low feature layers were extracted and fused, and then the local feature layer was trimmed and normalized by combining with the ROI Align layer, so as to complete target detection and instance segmentation; then, based on the obtained shovel tooth segmentation effect image and binary mask graphic information, the pixel area of shovel tooth in the image after instance segmentation was calculated to judge its wear condition. The results showed that the mean pixel accuracy of the shovel tooth instance segmentation model with ResNet-101 and improved FPN as the backbone network was 90.76% and its mean intersection over union was 83.62% on the test set, which was 1.18% and 1.21% higher than that of the instance segmentation model with ResNet-101 and traditional FPN as the backbone network, respectively. Eight shovel tooth wear detection experiments were carried out at the electric shovel excavation site, and the fluctuation amplitude of detected wear degree of each tooth was less than 2%, and the mean square error was about 0.7, which indicated that the proposed instance segmentation model had good segmentation effect and stability for the shovel tooth, and basically met the requirements of wear detection. The research results can provide new ideas for the intelligent detection of shovel tooth wear state.

Keywords： shovel tooth ; detail feature ; instance segmentation ; binary mask ; wear detection

PDF (4738KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

卢进南, 刘扬, 王连捷, 杨润坤, 丁振志. 基于改进Mask Scoring R-CNN的铲齿磨损检测研究. 工程设计学报[J], 2022, 29(3): 309-317 doi:10.3785/j.issn.1006-754X.2022.00.046

LU Jin-nan, LIU Yang, WANG Lian-jie, YANG Run-kun, DING Zhen-zhi. Research on shovel tooth wear detection based on improved Mask Scoring R-CNN. Chinese Journal of Engineering Design[J], 2022, 29(3): 309-317 doi:10.3785/j.issn.1006-754X.2022.00.046

电铲又称为绳铲、钢缆铲，是矿山生产中的主要采掘设备。在电铲作业过程中，其铲齿部分直接冲击矿石，易造成磨损，严重影响采掘效率^［1］。目前，铲齿的磨损状况主要依靠人工记录铲齿的连续工作情况来确定，尚没有成熟的自动检测系统。因此，有必要对铲齿磨损检测系统展开进一步研究。

近年来，国内外学者一直试图在已有的视频监控系统中利用图像分割算法来实现铲齿磨损状态的智能化检测。例如：宋浒等^［2］对图像进行二值化处理，根据目标灰度值和环境灰度值相差较大的特点，采用小波多尺度边缘检测法提取边缘信息，以进行图像分割，从而实现目标的智能化检测。Li等^［3］提出了Grab Cut算法，将最小割问题应用于图像分割，可实现图像中目标和背景部分的分割。除此之外，常用的图像分割算法还包括Canny算法^［4］、LoG（Laplacian of Gassian，拉普拉斯高斯）算法^［5］和Sobel算法^［6］等，这些算法均是通过检测目标物体边界处的像素点并将其连接起来以形成边缘轮廓，从而将图像划分成不同的区域。随着深度学习技术的不断发展，计算机视觉领域取得了突破性进展，卷积神经网络（convolutional neural networks, CNN）等成为图像分割的重要方法。例如：Chen等^［7］提出的深度卷积神经网络（deep CNN, DCNN）可在不额外增加算力和参数的前提下融合更多的特征，有效地扩大了卷积核的感受视野和控制了响应分辨率。Zou等^［8］提出了全卷积网络（fully convolutional networks, FCN）。该方法在编码器中使用池化层来逐渐缩减输入图像的维度，在解码器中利用反卷积网络来复原特征图的尺寸，并在深度不同的特征层之间引入跳级连接结构，以融合不同尺寸的特征，从而实现像素级分类。

综上所述，基于传统图像分割算法的铲齿磨损检测方法主要存在以下几个挑战：1）在检测精度及速度方面达不到要求；2）无法实现全年全天候检测；3）传统图像分割算法在复杂多变的环境下不具备较强的鲁棒性。因此，构建一种检测精度高、检测速度快以及鲁棒性强的铲齿磨损检测方法十分有必要。

基于此，笔者提出采用基于改进Mask Scoring R-CNN（regional CNN，区域卷积神经网络）的实例分割模型对铲齿图像进行分割，以提升分割精度，从而改善检测效果，实现铲齿磨损情况的准确判断。具体步骤为：将铲齿原始图像输入主干网络后，提取高、低特征层的语义信息和细节特征并融合，获得铲齿特征图；然后利用区域推荐网络提取铲齿特征图中的感兴趣区域，并输入ROI Align层进行裁剪和归一化处理，完成目标检测和实例分割，以获得每颗铲齿的分割掩码；最后提取铲齿的掩码轮廓，并对轮廓内的像素面积进行计算，通过与预设初始值对比，输出铲齿的磨损情况。

1 基于改进Mask Scoring R-CNN的铲齿实例分割模型构建

1.1　总体框架

在进行铲齿磨损检测时，须对每一颗铲齿进行分割与判断，而语义分割算法仅能实现一类物体的判别。故在铲齿磨损检测中引入基于改进Mask Scoring R-CNN的实例分割模型^［9］，其主要由特征提取及融合网络、区域推荐网络、目标检测及实例分割网络和掩码回归网络等组成，总体框架如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于改进Mask Scoring R-CNN的铲齿实例分割模型总体框架

Fig.1 Overall framework of instance segmentation model of shovel tooth based on improved Mask Scoring R-CNN

1.2　特征提取网络

特征提取网络选择ResNet-101（residual network，残差网络）^［10］。ResNet-101的内部使用了残差模块，可有效缓解CNN中梯度消失的问题，且在网络优化方面也具有较好的表现。ResNet-101中的残差模块结构如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 ResNet-101中残差模块的结构示意

Fig.2 Structure diagram of residual module in ResNet-101

由图2可知，第l层残差模块的输出可表示为：

x_{l + 1} = x_{l} + F (x_{l}, w_{l})

(1)

式中： $x_{l}$ 为第l层残差模块的输入； F $()$ 为 $R e L U$ 激活函数；w_l 为第l层特征的权重。

ResNet-101自下向上逐层对输入的铲齿原始图像进行特征提取，共提取得到4个特征层，对每个特征层进行可视化处理，结果如图3所示。由图3可知，浅层网络提取的是铲齿的纹理、细节等特征，深层网络提取的是铲齿的轮廓、形状等特征。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 基于ResNet-101提取的铲齿特征图

Fig.3 Shovel tooth feature map extracted based on ResNet-101

1.3　特征融合网络

在对铲齿特征层进行融合的过程中发现，铲齿部分在整个图像中所占的比例较大，导致顶层特征信息对铲齿检测有重要作用。而特征融合中常用的传统FPN（feature pyramid networks，特征金字塔网络）^［11］中顶层特征信息未与其他层融合，虽语义信息较强，但细节损失较多，导致检测效果差。针对这一问题，对传统FPN进行改进，改进后的FPN结构如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 改进后的FPN结构

Fig.4 Structure of improved FPN

首先，以铲齿新增特征层的底层N₂为特征金字塔中的P₂层，不进行多余操作。然后，针对N₃、N₄、N₅层，分别对上层特征进行步长为2的上采样，并与横向连接的P层进行叠加，每次卷积后都采用ReLU激活函数来减少过拟合。最后，去除叠加后特征图中的多余重复特征，获得新的N层。改进后的FPN为底层特征传输提供了新的传递方式，减少了主干网络对细节特征的丢失，缩短了顶层特征与底层特征之间的信息传递距离，从而改善了对铲齿检测的准确性。

1.4　目标检测及实例分割网络

含有位置候选框的铲齿图像经ROI Align层^［12］裁剪和归一化处理后，输入具有3个分支的目标检测及实例分割网络，分别进行铲齿分类、预测框回归和掩码分割。本文采用R-CNN对铲齿进行分类与预测框回归，用实例分割网络进行掩码分割。实例分割网络通过将归一化处理后的区域推荐特征图输入FCN来进行像素分类^［13］，以提取目标特征的语义信息，其结构如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 铲齿实例分割网络结构

Fig.5 Instance segmentation network structure for shovel tooth

首先，对特征融合后的铲齿特征图进行5次卷积和最大池化操作，将其分别缩放至原来的1/2，1/4，1/8，1/16和1/32，在降低分辨率的同时将特征变得集中和抽象，并保留池化3和池化4操作后对应层的特征图，再经过第6，7次卷积获得高维特征图；然后，将高维特征图进行32倍上采样以得到FCN-32s，并将经2倍上采样的高维特征图与池化4操作后的特征图融合后再进行16倍上采样以得到FCN-16s，同时将FCN-16s在进行16倍上采样前融合的特征图进行2倍上采样后与池化3操作后的特征图结合，并再次进行8倍上采样获得FCN-8s。重复上采样的分割效果远优于仅一步上采样的结果，可使浅层铲齿分割结果的细节更饱满，深层铲齿分割结果的鲁棒性更强。将上述3个层级的特征层进行堆叠，可大幅度提高对铲齿的分割精度。

1.5　掩码回归网络

在进行实例分割时，多数分割网络采用目标分类置信度作为分割质量得分，而分割后的掩码与真实标注掩码的关系并未在得分中体现，导致评分结果与真实分割结果的相关性较差，不利于提升对目标的分割质量。针对这一问题，引入分割掩码评分机制^［14］。掩码回归网络的结构如图6所示，将目标掩码进行最大池化后与ROI Align层的特征图合并，并输入掩码回归网络，经过4个卷积层和3个全连接层后，末尾全连接层输出每一类目标的掩码交并比（mask intersection over union, MaskIoU）。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 掩码回归网络结构

Fig.6 Mask regression network structure

在铲齿的实例分割过程中，将目标检测及实例分割网络中得分最高的前n个框输入掩码回归网络，以获得铲齿掩码。将铲齿掩码和分割前的特征图结合，利用掩码回归网络计算得到掩码像素级交并比，再与铲齿分类置信度相乘得到最终的掩码分割得分，其计算式如下：

L_{m a s k} = N_{c l s} \times I_{m a s k i o u}

(2)

式中：L_mask为铲齿的掩码分割得分； $N_{c l s}$ 为铲齿分类置信度； $I_{m a s k i o u}$ 为掩码像素级交并比。

2 铲齿实例分割模型训练与测试

2.1　铲齿数据集建立

2.1.1　图像采集

利用工业相机采集铲齿图像，其进光量比普通监控摄像头多，在露天微光环境下也可采集清晰的图像。此外，还配备了角度可调节的摄像头支架和混合补光灯，便于调整拍摄角度和夜间补光，保证在恶劣工况环境下也能获得最优的铲齿图像。本次训练共采集铲齿关键帧图像1 200张，其中夜间500张，白天700张，覆盖缺齿、遮挡等工况；铲齿图像大小为（1 280×960）像素，使用传统数据增强方法对铲齿原始图像进行旋转、镜像、亮度变换（变暗、变亮）和色彩抖动^［15-17］等操作（效果如图7所示），将数据集扩充至2 000张。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 铲齿图像增强效果

Fig.7 Enhanced rendering of shovel tooth image

2.1.2　图像标注

使用图像标注工具labelme对采集到的铲齿图像进行手动标注，沿铲齿边缘绘制轮廓线并定义标签，共获得5 030个铲齿样本。标注完成后，将铲齿边缘轮廓坐标和标签等图像信息保存为json文件，再通过py脚本将标签格式文件转化为实例分割模型训练所需的标注图像和掩码图像，如图8所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 铲齿图像实例分割标注结果

Fig.8 Instance segmentation and annotation results of shovel tooth image

2.2　铲齿实例分割模型训练

在Windows10系统中，选择Tensorflow和Keras组合的深度学习框架，构建基于改进Mask Scoring R-CNN的铲齿实例分割模型。设定初始学习率为1×10^-3，动量因子为0.9，权重衰减率为0.001，迭代次数为35 000次，分别在迭代25 000次和28 000次时将学习率改为1×10^-4和1×10^-5。为验证ResNet-100的优越性，分别对基于ResNet-50和ResNet-101的铲齿实例分割模型进行训练，其损失值变化曲线如图9所示。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 基于不同ResNet的铲齿实例分割模型的损失值变化曲线

Fig.9 Change curve of loss value of shovel tooth instance segmentation model based on different ResNet

由图9可知，当特征提取网络为ResNet-50时，迭代前期铲齿实例分割模型的损失值较大，下降速度较快；在迭代数为5 000~15 000次时损失值下降的速度变慢；当迭代数为15 000次后损失值的变化趋势较平缓并逐步收敛，在迭代数为32 000次时损失值稳定在0.1左右，此时终止训练。当特征提取网络为ResNet-101时，损失值的下降速率比采用ResNet-50时平缓，在迭代数为5 000~15 000次时损失值逐步收敛，之后下降幅度较缓和，最终在迭代数为28 000次时收敛于0.1左右。由此表明，ResNet-101比ResNet-50拥有更深层的网络结构，其特征提取效果更好。

2.3　铲齿分割评估指标

选定一些评估指标对不同条件下的铲齿分割结果进行定量分析，以直观反映所构建实例分割模型的检测效果。实例分割模型常用的评估指标包含像素精度（pixel accuracy, PA）、平均像素精度（mean pixel accuracy, mPA）和平均交并比（mean intersection over union, mIoU）等。

像素精度和平均像素精度是实例分割中最基本的评估指标。其中，像素精度A表示分割后标记正确的像素与总像素之比，其计算式为：

A = \frac{\sum_{i = 0}^{C} p_{i i}}{\sum_{i = 0}^{C} \sum_{j = 0}^{C} p_{i j}}

(3)

式中： $C$ 为铲齿分割类别； $p_{i i}$ 为 $i$ 类被正确分割标记为i类的铲齿像素； $p_{i j}$ 为 $i$ 类被错误分割标记为 $j$ 类的铲齿像素。

平均像素精度A_m在像素精度的基础上进一步提升，即先计算每一类中正确分割像素的比例，再对所有类（包括背景）求像素精度均值，其计算式为：

A_{m} = \frac{1}{C + 1} \sum_{i = 0}^{C} \frac{p_{i i}}{\sum_{j = 0}^{C} p_{i j}}

(4)

平均交并比I_m通过先计算被正确分割的每一类铲齿的像素与此类铲齿真实像素和预测像素并集之比，再求所有类均值后得到，其计算式为：

I_{m} = \frac{1}{C + 1} \sum_{i = 0}^{C} \frac{p_{i i}}{\sum_{j = 0}^{C} p_{i j} + \sum_{j = 0}^{C} p_{j i} - p_{i i}}

(5)

式中： $p_{j i}$ 为 $j$ 类被错误分割标记为 $i$ 类的铲齿像素。

2.4　测试结果分析

铲齿实例分割模型训练完成后，分别将铲齿关键帧图像输入到基于不同主干网络的各实例分割模型中进行精度测试，以分析不同模型的分割效果，其精度—召回率曲线如图10所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 基于不同主干网络的铲齿实例分割模型的精度—召回率曲线

Fig.10 Precision‒recall curve of shovel tooth instance segmentation model based on different backbone networks

由图10可知，以ResNet-101和改进FPN为主干网络的实例分割模型的精度最高，说明其检测和分割铲齿的性能优于以其他算法为主干网络的模型。提取不同实例分割模型的平均像素精度A_m、平均交并比I_m和单帧检测时间t，结果如表1所示。由表1可直观看出：以ResNet-101和改进FPN为主干网络时实例分割模型的平均像素精度可达到90.76%，平均交并比为83.62%，比以ResNet-101和传统FPN为主干网络的模型分别提高了1.18%和1.21%；同时，在检测精度和速度方面均优于以Grab Cut算法为主干网络的模型。综上，以ResNet-101和改进FPN为主干网络的Mask Scoring R-CNN对铲齿磨损检测的效果最好。

表1 基于不同主干网络的铲齿实例分割模型的性能对比

Table1 Performance comparison of shovel tooth instance segmentation models based on different backbone networks

主干网络	A_m/%	I_m/%	t/s
Garb Cut算法	89.78	82.44	0.765
ResNet-50+FPN	88.04	80.37	0.282
ResNet-101+ FPN	89.58	82.41	0.347
ResNet-10+改进FPN	90.76	83.62	0.376

新窗口打开| 下载CSV

采用基于改进Mask Scoring R-CNN的实例分割模型对铲齿关键帧图像进行分割，效果如图11所示。默认分割结果显示铲齿目标边框、类别标签及掩码信息。其中，图11（a）所示为目标掩码标签，图11（b）所示为实例分割模型的分割效果。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 基于改进Mask Scoring R-CNN的铲齿实例分割效果

Fig.11 Instance segmentation effect of shovel tooth based on improved Mask Scoring R-CNN

从图11所示的铲齿分割效果可直观看出，基于改进Mask Scoring R-CNN的铲齿实例分割模型具有良好的检测和分割效果，基本满足铲齿磨损检测的需求，并对环境具有较强的鲁棒性。

2.5　铲齿磨损程度计算

利用所构建的实例分割模型对铲齿关键帧图像进行目标检测和实例分割后，提取每颗铲齿在图像中的相对位置和二值化掩码图形信息。利用铲齿分割掩码对铲齿像素面积进行定量计算，并与其原始像素面积进行对比，从而输出铲齿的真实磨损情况。铲齿像素面积计算过程如图12所示。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 铲齿像素面积计算过程

Fig.12 Calculation process of shovel tooth pixel area

首先，依次输入单颗铲齿的二值化掩码图像，通过OpenCV软件中的轮廓跟踪算法Suzuki85^［18］对铲齿二值化掩码图像进行拓扑分析，确定铲齿的外边界和层次关系，提取图像的轮廓信息并绘制轮廓线后，遍历铲齿掩码像素。当像素点 $i m a g e (x, y)$ 属于铲齿时，对像素点进行叠加，则可得铲齿轮廓内的像素面积为：

S_{T_{h}} = \sum_{x = 0}^{1 280} \sum_{y = 0}^{960} i m a g e (x, y), i m a g e (x, y) \in C o n t o u r s (T_{h})

式中： $S_{T_{h}}$ 为第 $h$ 颗铲齿当前的像素面积； $C o n t o u r s (T_{h})$ 为第 $h$ 颗铲齿的轮廓。

将计算得到的铲齿像素面积与未磨损铲齿的像素面积进行对比，得到铲齿的磨损情况。用 $W_{h}$ 表示铲齿的磨损程度，当 $W_{h}$ >40%时，表明铲齿磨损严重。 $W_{h}$ 的计算式如下：

W_{h} = (1 - \frac{S_{T_{h}}}{S_{T_{h}}^{0}}) \times 100 %

(6)

式中： $S_{T_{h}}^{0}$ 为第 $h$ 颗铲齿未磨损时的初始像素面积。

3 铲齿磨损状态实验分析

3.1　设备安装

为了验证所构建模型对铲齿磨损检测的可行性，在内蒙古某大型露天矿上进行现场实验。经过对现场考察，综合权衡生产安全性、硬件可靠性、系统稳定性和布局合理性等，搭建铲齿磨损状态检测系统硬件平台，其安装情况如图13所示。其中，摄像机安装在电铲大臂上，负责采集铲齿图像；图像检测装置安装在驾驶舱内，负责检测铲齿的磨损状态。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 铲齿磨损状态检测系统硬件平台

Fig.13 Hardware platform of shovel tooth wear state detection system

3.2　磨损检测实验

在磨损检测实验中，将电铲的3号铲齿更换为未磨损的新铲齿，其实际长度为914 mm，初始面积为126 804.622 4 $m m^{2}$ ，初始像素面积为11 796像素。在1 h内共进行8次磨损检测实验，分别对5颗铲齿的磨损程度进行检测和评估。其中，第1次磨损检测实验中提取的各铲齿的轮廓如图14所示。基于图14，计算各铲齿的像素面积并得到其磨损程度，结果如表2所示。

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 第1次磨损检测实验中提取的各铲齿轮廓

Fig.14 Profile of each shovel tooth extracted in the first wear detection experiment

表2 第1次铲齿磨损检测实验的结果

Table 2 Results of first shovel tooth wear detection experiment

铲齿	像素面积检测值/像素	真实面积检测值/ $m m^{2}$	磨损程度/%	报警情况
1号	10 186.5	109 502.821 8	13.64	否
2号	11 186.5	120 252.620 3	5.17	否
3号	11 679.0	125 546.896 1	0.99	否
4号	11 098.0	119 301.263 1	5.92	否
5号	10 448.5	112 319.269 2	11.42	否

新窗口打开| 下载CSV

由表2实验结果可知，由于5颗铲齿的工作状态和工作时长不同，检测得到的各铲齿磨损程度也不同。其中3号铲齿为新更换的铲齿，其磨损程度最轻，仅为0.99%；1号铲齿的磨损程度最严重，为13.64%；5颗铲齿的磨损程度均低于报警值（40%），说明电铲可正常工作。

8次铲齿磨损检测实验的结果如图15所示。由图15可知，检测到的每颗铲齿的磨损程度均在一定范围内波动，其中4号铲齿的波动幅度最小，为1.70%；1号铲齿的波动幅度最大，为1.97%；所有铲齿磨损程度的波动幅度均小于2%，均方差均在0.7左右，说明所搭建检测系统的误差较小，满足磨损检测的稳定性要求。

图15

新窗口打开| 下载原图ZIP| 生成PPT

图15 铲齿磨损检测实验结果

Fig.15 Experiment results of shovel tooth wear detection

4 结论

本文将实例分割应用于铲齿的磨损检测，结合ResNet-101和改进FPN，构建了基于改进Mask Scoring R-CNN的铲齿实例分割模型，充分利用了铲齿的细节特征，提升了检测效果。测试结果表明：以ResNet-101和改进FPN为主干网络时实例分割模型对铲齿的分割效果最佳，平均像素精度为90.76%，平均交并比为83.62%，相比于仅以ResNet-101和传统FPN为主干网络的模型分别提升了1.18%和1.21%，有利于铲齿轮廓提取以及面积计算。现场磨损检测实验表明：检测到的每颗铲齿的磨损程度波动幅度均小于2%，均方差在0.7左右，满足磨损检测的稳定性要求。研究结果为铲齿磨损状态的智能化检测提供了新思路，具有工程指导价值。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

穆晓鹏，权龙，程珩，等.

矿用电铲整机运行特性联合仿真研究

［J］.机械设计与制造，2021（5）：8-13. doi：10.3969/j.issn.1001-3997.2021.05.003

[本文引用: 1]

Xiao-peng

， QUAN

Long

， CHENG

Heng

， et al.

Co-simulation research on operation characteristics of mining electric shovel

［J］. Machinery Design & Manufacture， 2021（5）： 8-13.

DOI:10.3969/j.issn.1001-3997.2021.05.003 [本文引用: 1]

[2]

宋浒，张利，许梦晗，等.

基于形态学和小波变换的图像边缘检测方法

［J］.西南大学学报，2020，42（4）：105-111. doi：10.13718/j.cnki.xdzk.2020.04.014

[本文引用: 1]

SONG

， ZHANG

， XU

Meng-han

， et al.

An image edge detection method based on morphology and wavelet transform

［J］. Journal of Southwest University （Natural Science）， 2020， 42（4）： 105-111.

DOI:10.13718/j.cnki.xdzk.2020.04.014 [本文引用: 1]

[3]

， ZHANG

， GAO

， et al.

Grab cut image segmentation based on image region

［C］//IEEE International Conference on Image， Chongqing， Jun. 27-29， 2018. doi：10.1109/icivc.2018.8492818

[本文引用: 1]

[4]

薛岚燕，刘杜鹃，陈艺慧.

基于Canny边缘检测和外观特征的微血管瘤检测方法

［J］.现代电子技术，2017，40（6）：103-108. doi：10.16652/j.issn.1004-373x.2017.06.026

[本文引用: 1]

XUE

Lan-yan

， LIU

Du-juan

， CHEN

Yi-hui

Microaneurysm detection method based on Canny edge detection and appearance feature

［J］. Modern Electronics Technique， 2017， 40（6）： 103-108.

DOI:10.16652/j.issn.1004-373x.2017.06.026 [本文引用: 1]

[5]

陈晓文，刘光帅，刘望华，等.

结合LoG边缘检测和增强局部相位量化的模糊图像识别

［J］.计算机科学，2020，47（12）：197-204. doi：10.11896/jsjkx.191000054

[本文引用: 1]

CHEN

Xiao-wen

， LIU

Guang-shuai

， LIU

Wang-hua

， et al.

Blurred image recognition based on LoG edge detection and enhanced local phase quantization

［J］. Computer Science， 2020， 47（12）： 197-204.

DOI:10.11896/jsjkx.191000054 [本文引用: 1]

[6]

曹辉，杨理践，刘俊甫，等.

基于数据融合的小波变换漏磁异常边缘检测

［J］.仪器仪表学报，2019，40（12）：71-79. doi：10.19650/j.cnki.cjsi.J1905421

[本文引用: 1]

CAO

Hui

， YANG

Li-jian

， LIU

Jun-fu

， et al.

Magnetic flux leakage anomaly edge detection based on data fusion and wavelet transformation

［J］. Chinese Journal of Scientific Instrument， 2019， 40（12）： 71-79.

DOI:10.19650/j.cnki.cjsi.J1905421 [本文引用: 1]

[7]

CHEN

L C

， ZHU

， PAPANDREOU

， et al.

Encoder-decoder with atrous separable convolution for semantic image segmentation

［C］//European Conference on Computer Vision， Munich， Sep. 8-14， 2018. doi：10.1007/978-3-030-01234-2_49

[本文引用: 1]

[8]

ZOU

， CHEN

， WANG

， et al.

A modified U-Net with a specific data argumentation method for semantic segmentation of weed images in the field

［J］. Computers and Electronics in Agriculture， 2021， 187： 106242. doi：10.1016/j.compag.2021.106242

[本文引用: 1]

[9]

蔡彪，沈宽，付金磊，等.

基于Mask R-CNN的铸件X射线DR图像缺陷检测研究

［J］.仪器仪表学报，2020，41（3）：61-69. doi：10.19650/j.cnki.cjsi.J1905908

[本文引用: 1]

CAI

Biao

， SHEN

Kuan

， FU

Jin-lei

， et al.

Research on defect detection of X-ray DR images of casting based on Mask R-CNN

［J］. Chinese Journal of Scientific Instrument， 2020， 41（3）： 61-69.

DOI:10.19650/j.cnki.cjsi.J1905908 [本文引用: 1]

[10]

秦晓飞，盛凯，朱玥，等.

基于注意力模型的人脸关键点检测算法

［J］.光学仪器，2020，42（2）：45-49. doi：10.3969/j.issn.1005-5630.2020.02.008

[本文引用: 1]

QIN

Xiao-fei

， SHENG

Kai

， ZHU

Yue

， et al.

Detection algorithm for key points on face based on attention model

［J］. Optical Instrument， 2020， 42（2）： 45-49.

DOI:10.3969/j.issn.1005-5630.2020.02.008 [本文引用: 1]

[11]

李晖晖，周康鹏，韩太初.

基于CReLU和FPN改进的SSD舰船目标检测

［J］.仪器仪表学报，2020，41（4）：183-190. doi：10.19650/j.cnki.cjsi.J2006122

[本文引用: 1]

Hui-hui

， ZHOU

Kang-peng

， HAN

Tai-chu

Ship object detection based on SSD improved with CReLU and FPN

［J］. Chinese Journal of Scientific Instrument， 2020， 41（4）： 183-190.

DOI:10.19650/j.cnki.cjsi.J2006122 [本文引用: 1]

[12]

YANG

， KO S， JO G.

Visual tracking based on a unified tracking-and-detection framework with spatial-temporal consistency filtering

［J］. Computers and Electrical Engineering， 2019， 80： 106453. doi：10.1016/j.compeleceng.2019.106453

[本文引用: 1]

[13]

冯家文，张立民，邓向阳.

基于多源融合FCN的图像分割

［J］.计算机应用研究，2018，35（9）：2877-2880. doi：10.3969/j.issn.1001-3695.2018.09.075

[本文引用: 1]

FENG

Jia-wen

， ZHANG

Li-min

， DENG

Xiang-yang

Image segmentation based on multi-source fusion FCN

［J］. Application Research of Computers， 2018， 35（9）： 2877-2880.

DOI:10.3969/j.issn.1001-3695.2018.09.075 [本文引用: 1]

[14]

GARCIA-GARCIA

， ORTS-ESCOLANO

， OPREA

， et al.

A survey on deep learning techniques for image and video semantic segmentation

［J］. Applied Soft Computing， 2018， 70： 41-65. doi：10.1016/j.asoc.2018.05.018

[本文引用: 1]

[15]

姜骞，刘亚东，方健，等.

基于轮廓特征的电力设备红外和可见光图像配准方法

［J］.仪器仪表学报，2020，41（11）：252-260. doi：10.19650/j.cnki.cjsi.J2006709

[本文引用: 1]

JIANG

Qian

， LIU

Ya-dong

， FANG

Jian

， et al.

Registration method for power equipment infrared and visible images based on contour feature

［J］. Chinese Journal of Scientific Instrument， 2020， 41（11）： 252-260.

DOI:10.19650/j.cnki.cjsi.J2006709 [本文引用: 1]

[16]

， GUO

， et al.

A hybrid method for underwater image correction

［J］. Pattern Recognition Letters， 2017， 94： 62-67. doi：10.1016/j.patrec.2017.05.023

[17]

蒲恬，张子夜，彭真明.

保持自然度的非均匀光照图像增强的Retinex算法

［J］.数据采集与处理，2021，36（1）：76-84. doi：10.16337/j.1004-9037.2021.01.007

[本文引用: 1]

Tian

， ZHANG

Zi-ye

， PENG

Zhen-ming

Enhancing uneven lighting images with naturalness preserved Retinex algorithm

［J］. Journal of Data Acquisition and Processing， 2021， 36（1）： 76-84.

DOI:10.16337/j.1004-9037.2021.01.007 [本文引用: 1]

[18]

MEI

M J

， MAKSYM

A textural approach to improving snow depth estimates in the weddell sea

［J］. Remote Sensing， 2020， 12（9）： 1494. doi：10.3390/rs12091494

[本文引用: 1]

矿用电铲整机运行特性联合仿真研究

2021

... 电铲又称为绳铲、钢缆铲，是矿山生产中的主要采掘设备.在电铲作业过程中，其铲齿部分直接冲击矿石，易造成磨损，严重影响采掘效率^［1］.目前，铲齿的磨损状况主要依靠人工记录铲齿的连续工作情况来确定，尚没有成熟的自动检测系统.因此，有必要对铲齿磨损检测系统展开进一步研究. ...

矿用电铲整机运行特性联合仿真研究

2021

基于形态学和小波变换的图像边缘检测方法

2020

... 近年来，国内外学者一直试图在已有的视频监控系统中利用图像分割算法来实现铲齿磨损状态的智能化检测.例如：宋浒等^［2］对图像进行二值化处理，根据目标灰度值和环境灰度值相差较大的特点，采用小波多尺度边缘检测法提取边缘信息，以进行图像分割，从而实现目标的智能化检测.Li等^［3］提出了Grab Cut算法，将最小割问题应用于图像分割，可实现图像中目标和背景部分的分割.除此之外，常用的图像分割算法还包括Canny算法^［4］、LoG（Laplacian of Gassian，拉普拉斯高斯）算法^［5］和Sobel算法^［6］等，这些算法均是通过检测目标物体边界处的像素点并将其连接起来以形成边缘轮廓，从而将图像划分成不同的区域.随着深度学习技术的不断发展，计算机视觉领域取得了突破性进展，卷积神经网络（convolutional neural networks, CNN）等成为图像分割的重要方法.例如：Chen等^［7］提出的深度卷积神经网络（deep CNN, DCNN）可在不额外增加算力和参数的前提下融合更多的特征，有效地扩大了卷积核的感受视野和控制了响应分辨率.Zou等^［8］提出了全卷积网络（fully convolutional networks, FCN）.该方法在编码器中使用池化层来逐渐缩减输入图像的维度，在解码器中利用反卷积网络来复原特征图的尺寸，并在深度不同的特征层之间引入跳级连接结构，以融合不同尺寸的特征，从而实现像素级分类. ...

基于形态学和小波变换的图像边缘检测方法

2020

Grab cut image segmentation based on image region

2018

基于Canny边缘检测和外观特征的微血管瘤检测方法

2017

基于Canny边缘检测和外观特征的微血管瘤检测方法

2017

结合LoG边缘检测和增强局部相位量化的模糊图像识别

2020

结合LoG边缘检测和增强局部相位量化的模糊图像识别

2020

基于数据融合的小波变换漏磁异常边缘检测

2019

基于数据融合的小波变换漏磁异常边缘检测

2019

Encoder-decoder with atrous separable convolution for semantic image segmentation

2018

A modified U-Net with a specific data argumentation method for semantic segmentation of weed images in the field

2021

基于Mask R-CNN的铸件X射线DR图像缺陷检测研究

2020

... 在进行铲齿磨损检测时，须对每一颗铲齿进行分割与判断，而语义分割算法仅能实现一类物体的判别.故在铲齿磨损检测中引入基于改进Mask Scoring R-CNN的实例分割模型^［9］，其主要由特征提取及融合网络、区域推荐网络、目标检测及实例分割网络和掩码回归网络等组成，总体框架如图1所示. ...

基于Mask R-CNN的铸件X射线DR图像缺陷检测研究

2020

基于注意力模型的人脸关键点检测算法

2020

... 特征提取网络选择ResNet-101（residual network，残差网络）^［10］.ResNet-101的内部使用了残差模块，可有效缓解CNN中梯度消失的问题，且在网络优化方面也具有较好的表现.ResNet-101中的残差模块结构如图2所示. ...

基于注意力模型的人脸关键点检测算法

2020

基于CReLU和FPN改进的SSD舰船目标检测

2020

... 在对铲齿特征层进行融合的过程中发现，铲齿部分在整个图像中所占的比例较大，导致顶层特征信息对铲齿检测有重要作用.而特征融合中常用的传统FPN（feature pyramid networks，特征金字塔网络）^［11］中顶层特征信息未与其他层融合，虽语义信息较强，但细节损失较多，导致检测效果差.针对这一问题，对传统FPN进行改进，改进后的FPN结构如图4所示. ...

基于CReLU和FPN改进的SSD舰船目标检测

2020

Visual tracking based on a unified tracking-and-detection framework with spatial-temporal consistency filtering

2019

... 含有位置候选框的铲齿图像经ROI Align层^［12］裁剪和归一化处理后，输入具有3个分支的目标检测及实例分割网络，分别进行铲齿分类、预测框回归和掩码分割.本文采用R-CNN对铲齿进行分类与预测框回归，用实例分割网络进行掩码分割.实例分割网络通过将归一化处理后的区域推荐特征图输入FCN来进行像素分类^［13］，以提取目标特征的语义信息，其结构如图5所示. ...

基于多源融合FCN的图像分割

2018

基于多源融合FCN的图像分割

2018

A survey on deep learning techniques for image and video semantic segmentation

2018

... 在进行实例分割时，多数分割网络采用目标分类置信度作为分割质量得分，而分割后的掩码与真实标注掩码的关系并未在得分中体现，导致评分结果与真实分割结果的相关性较差，不利于提升对目标的分割质量.针对这一问题，引入分割掩码评分机制^［14］.掩码回归网络的结构如图6所示，将目标掩码进行最大池化后与ROI Align层的特征图合并，并输入掩码回归网络，经过4个卷积层和3个全连接层后，末尾全连接层输出每一类目标的掩码交并比（mask intersection over union, MaskIoU）. ...

基于轮廓特征的电力设备红外和可见光图像配准方法

2020

... 利用工业相机采集铲齿图像，其进光量比普通监控摄像头多，在露天微光环境下也可采集清晰的图像.此外，还配备了角度可调节的摄像头支架和混合补光灯，便于调整拍摄角度和夜间补光，保证在恶劣工况环境下也能获得最优的铲齿图像.本次训练共采集铲齿关键帧图像1 200张，其中夜间500张，白天700张，覆盖缺齿、遮挡等工况；铲齿图像大小为（1 280×960）像素，使用传统数据增强方法对铲齿原始图像进行旋转、镜像、亮度变换（变暗、变亮）和色彩抖动^［15-17］等操作（效果如图7所示），将数据集扩充至2 000张. ...

基于轮廓特征的电力设备红外和可见光图像配准方法

2020

A hybrid method for underwater image correction

2017

保持自然度的非均匀光照图像增强的Retinex算法

2021

保持自然度的非均匀光照图像增强的Retinex算法

2021

A textural approach to improving snow depth estimates in the weddell sea

2020

... 首先，依次输入单颗铲齿的二值化掩码图像，通过OpenCV软件中的轮廓跟踪算法Suzuki85^［18］对铲齿二值化掩码图像进行拓扑分析，确定铲齿的外边界和层次关系，提取图像的轮廓信息并绘制轮廓线后，遍历铲齿掩码像素.当像素点

i m a g e (x, y)

属于铲齿时，对像素点进行叠加，则可得铲齿轮廓内的像素面积为： ...

〈

〉