浙江大学学报(工学版), 2025, 59(10): 2144-2153 doi: 10.3785/j.issn.1008-973X.2025.10.015

计算机技术

基于YOLOv8-HSV的隧道螺栓锈蚀检测及等级判定

武晓春,, 张恒骏, 谭磊

1. 兰州交通大学 自动化与电气工程学院,甘肃 兰州 730070

2. 北京市市政工程研究院,北京 100037

Corrosion detection and grade determination of tunnel bolts based on YOLOv8-HSV

WU Xiaochun,, ZHANG Hengjun, TAN Lei

1. School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China

2. Beijing Municipal Engineering Research Institute, Beijing 100037, China

收稿日期: 2024-10-15  

基金资助: 中国国家铁路集团有限公司基金资助项目(N2022G012);国家自然科学基金资助项目(61661027).

Received: 2024-10-15  

Fund supported: 中国国家铁路集团有限公司基金资助项目(N2022G012);国家自然科学基金资助项目(61661027).

作者简介 About authors

武晓春(1973—),女,教授,硕士,从事交通信息工程及控制研究.orcid.org/0009-0005-9874-452X.E-mail:369038806@qq.com , E-mail:369038806@qq.com

摘要

针对盾构隧道扫描图像中锈蚀螺栓目标小、存在遮挡、扫描图像尺寸大的问题,提出改进YOLOv8锈蚀螺栓检测模型. 将焦点调制模块引入YOLOv8主干网络,颈部升级为4级别特征融合的加权双向特征金字塔网络(BiFPN),提升小目标的特征提取能力;检测头添加分离增强注意力模块(SEAM),有效解决螺栓的遮挡问题;检测阶段借助切片辅助推理(SAHI),实现对大尺寸扫描图像的高效处理. 提出基于HSV(色相、饱和度、明度)色域分割的锈蚀等级判定方法,利用锈蚀区域与背景颜色上的差异,对检测到的螺栓进行锈蚀区域分割,划分锈蚀等级并将等级信息还原到扫描图像中. 实验结果表明,改进YOLOv8锈蚀螺栓检测模型的平均精度均值为95.0%,模型大小为3.9 MB,帧率为83.3 帧/s,实现了对锈蚀螺栓的高性能检测.

关键词: 盾构隧道 ; 螺栓锈蚀 ; YOLOv8 ; 等级判定 ; HSV色域分割

Abstract

An improved YOLOv8 corrosion bolt detection model was proposed to address the challenges in detecting corroded bolts in shield tunnel scanning images, particularly the issues of small target sizes, occlusion, and large image dimensions. A focal modulation module was introduced in the backbone, and the neck was upgraded to a weighted bidirectional feature pyramid network (BiFPN) with four levels of feature fusion, to enhance feature extraction ability for small targets. A separated and enhancement attention module (SEAM) was incorporated into the detection head, effectively addressing the problem of bolt occlusion. Slicing aided hyper inference (SAHI) was applied during the detection phase, allowing the model to process large-sized scanned images efficiently. A rust grade determination method based on HSV (hue, saturation, value) color space segmentation was proposed. The color contrast between the rusted areas and the surrounding background was utilized to accurately segment the rust regions, classify the corrosion severity, and overlay the results directly onto the scanned image. Experimental results showed that the improved YOLOv8 corrosion bolt detection model achieved a mean average precision of 95.0%, with a compact model size of 3.9 MB and a frame rate of 83.3 frames per second, enabling high-performance detection of corroded bolts.

Keywords: shield tunnel ; bolt corrosion ; YOLOv8 ; grade determination ; HSV color space segmentation

PDF (3160KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

武晓春, 张恒骏, 谭磊. 基于YOLOv8-HSV的隧道螺栓锈蚀检测及等级判定. 浙江大学学报(工学版)[J], 2025, 59(10): 2144-2153 doi:10.3785/j.issn.1008-973X.2025.10.015

WU Xiaochun, ZHANG Hengjun, TAN Lei. Corrosion detection and grade determination of tunnel bolts based on YOLOv8-HSV. Journal of Zhejiang University(Engineering Science)[J], 2025, 59(10): 2144-2153 doi:10.3785/j.issn.1008-973X.2025.10.015

盾构法作为安全、环保、快速的建设手段,在地铁隧道修建中有广泛应用[1]. 截至2024年,中国城市轨道交通建设盾构法施工占比超过90%[2]. 随着服役时间增加,隧道结构不可避免地出现各种病害. 病害的出现不仅影响结构耐久性,还严重危害结构安全性[3]. 地铁盾构隧道的衬砌病害检测[4-6]是当今研究关注的热点,隧道衬砌的安全性直接影响地铁运行安全与效率.

在地铁盾构隧道中,管片衬砌是支护结构的主体,是决定隧道质量、安全和使用寿命的关键[7]. 管片的固定以及管片间的连接均由管片螺栓实现. 螺栓暴露在空气中,与水分和污染物接触,易使钢材料锈蚀[8-10],从而影响螺栓的机械性能及其抗拉强度,导致螺栓松动和破损,带来渗漏水、管片松动,甚至脱落等危险后果,影响行车安全. 因此,管片螺栓锈蚀检测对于盾构隧道的安全使用至关重要. 传统人工检测效率低、主观因素影响大、成本高[11],巡视员必须在非运行时间(如夜间和清晨)检查所有螺栓. 通常10~15名训练有素的巡视人员检查2~3 km的隧道区间大约需要3 h,人工成本昂贵且低效[12]. 随着计算机视觉的不断发展,基于深度学习的检测方法得到越来越多的关注. 该方法既可以有效弥补人工检测的不足,也可以通过数据处理对隧道状态进行分析预测. 周中等[13]提出YOLOX-G隧道衬砌裂缝图像检测算法,实现对隧道裂缝的实时检测;Gu等[14]采用自监督的隧道渗漏水识别方法,在大幅减小标注量的同时保证了较好的识别效果;Guo等[15]提出改进空间自适应的锈蚀螺栓检测网络,它能够自适应地关注重要区域并减少干扰特征,提高检测精度. 基于深度学习的目标检测算法主要有2个类别,分别是二阶段检测算法和一阶段检测算法. 二阶段检测算法须对图像生成一系列候选区域,再进行候选区域内目标的分类和定位. 一阶段检测算法可直接预测目标的位置和类别,无需生成候选区域. 相较而言,一阶段检测算法的准确率略低,但检测速度快,模型尺寸小,更便于在工程领域的部署和应用[16-17]. 地铁巡检时间有限,对模型实时性的要求较高,因此一阶段检测算法更适用于隧道螺栓锈蚀检测任务,其中YOLOv8[18-20]的检测效果与实时性较好,研究与应用广泛[21].

将深度学习算法搭载到无人机或者检测台车上,沿着隧道线路进行隧道病害检测的方法能够大大降低人工成本,但是锈蚀螺栓检测仍存在以下问题. 1)螺栓尺寸较小,不易发现,当采集设备进行隧道衬砌整体扫描时,存在扫描图像中的螺栓目标小的问题;2)地铁盾构是处于弱光环境下的一维地下管状结构,衬砌表面有特殊的曲率,伴有管片拼缝、电力线缆、管道、螺栓孔、灌浆孔、LED 灯等影响图像识别的干扰物[22],存在扫描图像中的螺栓被遮挡的问题;3)隧道内不同位置的亮度和光线不同,锈蚀螺栓检测模型须具备优越的泛化能力,才能保证不同光照下的检测精度.

本研究1)提出改进 YOLOv8的检测模型,改进原始YOLOv8n模型,并验证YOLOv8改进模型在不同光照下的泛化能力. 2)针对盾构隧道螺栓锈蚀等级判定的研究鲜少,无法及时对检测到的螺栓进行锈蚀等级判定,为此提出基于HSV(色相hue、饱和度saturation和明度value)色域分割的锈蚀等级判定方法,根据锈蚀面积及时对螺栓锈蚀程度进行分级. 3)将YOLOv8检测模型与HSV色域分割算法级联,形成YOLOv8-HSV,对锈蚀螺栓进行端到端的检测与等级判定.

1. 盾构隧道锈蚀螺栓检测模型

YOLOv8模型由3个部分组成:负责特征提取的主干网络(backbone),实现特征融合的颈部网络(neck)和检测头(head). 主干网络参考CSPDarknet-53的结构,将卷积核个数为1 024的卷积层删除,把卷积核为3×3卷积(Conv)改为特征提取能力更强的C2f(CSP bottleneck with 2 convolutions),再对第5层的特征图进行快速空间金字塔池化(spatial pyramid pooling fast, SPPF). 颈部网络采用路径聚合特征金字塔网络(path aggregation network with feature pyramid network, PAN-FPN)结构,将上采样中的卷积操作删除. 检测头为解耦头结构,将检测头和分类头分离,放弃基于锚点(anchor based)的策略,使用无锚点(anchor free)的方法,通过检测对象的中心并估计中心与边界框间的距离来定位对象[23].

针对盾构隧道锈蚀螺栓检测任务,进行YOLOv8n模型改进,改进YOLOv8模型结构如图1所示. 1)将主干网络中的SPPF替换为焦点调制模块(focal modulation, FM)[24],再将PAN-FPN升级为加权双向特征金字塔网络(bidirectional feature pyramid network, BiFPN)[25];2)检测头引入分离增强注意力模块(separated and enhancement attention module, SEAM)[26];3)将边界框的回归损失函数改进为Wise-IoU v3[27].

图 1

图 1   改进YOLOv8锈蚀螺栓检测模型的结构图

Fig.1   Structure diagram of improved YOLOv8 corrosion bolt detection model


1.1. 锈蚀螺栓小目标问题

在尺寸为500×500的锈蚀螺栓图片中,锈蚀螺栓的尺寸约为36×36,约占整张图片的0.5%. 为了解决小目标问题,将主干网络末端的SPPF模块替换为焦点调制网络(focal modulation networks)中的焦点调制模块,再将颈部网络的PAN-FPN升级为特征融合能力更优秀的BiFPN.

1.1.1. 焦点调制模块

图2所示,焦点调制模块由上下文聚合(context aggregation)和元素仿射变换(interact)组成,其中上下文聚合分为2个步骤:分层上下文信息(hierarchical contextualization)和门控聚合(gated aggregation). 分层上下文信息使用一系列深度卷积(depthwise convolution, DWConv)得到不同感受野下的特征信息;门控聚合是决策过程,通过线性层获取门控权重,通过元素相乘执行加权和得到聚合后的结果. 元素仿射变化是将门控聚合得到的调制器信息与查询q进行元素相乘,实现上下文信息与查询q之间的整合,通过上下文信息来调整查询q,提高对关键特征的捕捉能力.

图 2

图 2   焦点调制模块的结构图

Fig.2   Structure diagram of focal modulation module


1.1.2. 加权双向特征金字塔网络

在主干网络中,随着卷积的深入,大目标的特征容易保留,小目标的特征容易丢失. 为了更好地保留小目标的特征并进行特征融合,替换颈部网络的PAN-FPN为如图3所示的BiFPN. 1)BiFPN在特征图尺寸相同的输入和输出间增加了1条额外的分支,在不增加太多计算量的同时融合更多的特征,如P4层经过Conv操作后,存在1条分支直接与输出节点进行融合. 2)BiFPN使用加权的快速标准化融合,既能放大重要的信息,也能提高融合的效率. 3)特征金字塔网络中的P2层包含许多细节特征,可以帮助识别网络中其他层遗漏的小目标. 融合P2层,可以使颈部网络变得更加深刻,计算层更多,更好地学习输入图像的复杂表示,并提取更多细节特征,特别是针对小目标的检测任务[28]. 本研究融合P2层的特征,实现4个级别的特征融合.

图 3

图 3   加权双向特征金字塔网络的结构图

Fig.3   Structure diagram of weighted bidirectional feature pyramid network


1.2. 锈蚀螺栓被遮挡问题

隧道内环境复杂,扫描图像中存在大量被遮挡的螺栓. 如图4所示为螺栓被电缆线遮挡的示例. 受遮挡物的影响,螺栓的锈蚀特征较少,会出现漏检或误检的情况. 借鉴YOLO-Face v2针对人脸遮挡提出的SEAM,本研究将该模块引入YOLOv8的检测头. 如图5所示,通道空间混合模块(channel and spatial mixing module, CSMM)是SEAM的主要部分,由深度可分离卷积(depthwise separable convolution, DSConv)通过残差连接组合而成. CSMM的输出通过2层的全连接层(fully connected layer)交互所有通道间的信息,再与原始特征进行相乘,增强对遮挡目标特征的注意力和捕捉能力.

图 4

图 4   螺栓被遮挡示例

Fig.4   Example of bolt being obstructed


图 5

图 5   分离增强注意力模块的结构图

Fig.5   Structure diagram of separated and enhancement attention module


1.3. 损失函数

损失函数作为衡量模型训练好坏的标准,能够引导模型向更好的方向训练. 传统YOLOv8检测框的损失函数是综合交并比(complete intersection over union, CIoU). 由于训练集难免包含低质量示例,导致CIoU这种仅依靠几何度量的损失函数会加剧对低质量示例的惩罚,使模型的泛化能力下降. 可以动态聚焦的Wise-IoU v3能够根据示例的质量动态地分配增益. Wise-IoU v1(Wise-IoU以下简称WIoU)在IoU的基础上引入几何因子RIoU,由于低质量锚框RIoU大,会放大IoU损失函数LIoU,获取更大的梯度增益;高质量的锚框会获得较小的梯度增益,

$ L_{{\mathrm{IoU}}} = 1 - {\text{IoU}} = 1 - \frac{{A \cap B}}{{A \cup B}}, $

$ R_{{\mathrm{IoU}}} = \exp \left( {\frac{{{c^2}+{d^2}}}{{\left( {{W^2}+{H^2}} \right)}}} \right), $

$ L_{\mathrm{v1}} = R_{{\mathrm{IoU}}} \times L_{{\mathrm{IoU}}} . $

式中:ABAB分别为锚框与真实框的交集和并集,cd分别为锚框与真实框中心坐标间的横向距离和纵向距离,WH分别为最小包围框的宽和高,Lv1为WIoU v1损失函数. WIoU v3引入离群度β,既降低了高质量示例竞争力,也防止了低质量示例产生较大的有害梯度. 离群度小则锚框质量高,为高质量锚框分配较小的梯度增益,以便边界框回归聚焦到普通质量的锚框上;对离群度较大的锚框会分配较大的梯度增益,同时β会有效防止低质量示例产生较大的有害梯度,导致的收敛效果不好. 损失函数WIoU v3计算过程如下:

$ \beta = \frac{\gamma }{{\overline {L_{{\mathrm{IoU}}} } }}, $

$ r = \frac{\beta }{{\delta {\alpha ^{\beta - \delta }}}}, $

$ L_{\mathrm{v3}} = rL_{\mathrm{v1}}. $

式中:γLv1的单调聚焦系数,$ \overline {L_{{\mathrm{IoU}}} } $LIoU的滑动平均值,αδ均为超参数,Lv3为WIoU v3损失函数.

1.4. 数据处理

将数据处理分为前期处理与后期处理2个部分. 前期处理为图像裁剪,建立用于模型训练的数据集;后期处理应用于预测阶段,借助切片辅助推理(slicing aided hyper inference, SAHI)[29]实现对大尺寸隧道图像的预测. 改进YOLOv8模型的技术路线如图6所示.

图 6

图 6   改进YOLOv8锈蚀螺栓检测模型的技术路线图

Fig.6   Technology roadmap of improved YOLOv8 corrosion bolt detection model


1.4.1. 图像裁剪

扫描设备扫描的图像若尺寸过大将无法输入训练(1 km的扫描图像大约有6.42 GB[30]),为此使用图像裁剪方法,将原始扫描图像裁剪为易于人工标注并可输入训练的图像. 如图7所示,在尺寸为 500×500 的样本中,螺栓清晰,易于肉眼观察到螺栓是否发生锈蚀. 将隧道原始扫描图像裁剪为大量尺寸为500×500的图片,利于人工进行标注,输入模型训练时调整尺寸为640×640.

图 7

图 7   尺寸为500×500的图片样本示例

Fig.7   Example of image sample with size of 500×500


1.4.2. 切片辅助推理

扫描设备输出的是长条形矢量图,预测阶段须先将其转化为位图,再输入模型进行预测. 因此,原始图像将被转化为多段尺寸为17 000×8 600的位图. 螺栓的尺寸约为36×36,约占预测图像的0.000 9%,使用SAHI帮助实现锈蚀螺栓的预测. 如图8所示,SAHI的滑窗将大尺寸图像细分为较小的切片,随后在这些尺寸适当的切片上进行物体检测,最后将检测完的切片重新拼接回原始分辨率图像. 训练使用的锈蚀螺栓数据集的图片尺寸为500×500,因此设置SAHI的滑窗切片的大小同样为500×500. 为了解决因切片导致切片边界目标被分割,设置滑窗的滑动步长为400,保证每个切片间有20%的重叠,并利用非极大抑制(non-maximum suppression, NMS)来删除由切片重叠导致的冗余检测结果.

图 8

图 8   切片辅助推理滑窗示意图

Fig.8   Schematic diagram of slicing aided hyper inference window


1.5. 实验结果分析
1.5.1. 数据集

数据集为MS100移动三维扫描系统(南方测绘科技股份有限公司)扫描的北京某地铁部分区间图像. 经过图像裁剪与筛选后,共得到3 344张锈蚀螺栓图片,按照7∶2∶1的比例划分为训练集、测试集、验证集.

1.5.2. 实验环境

GPU为NVIDIA GeForce RTX 4060 Laptop GPU,CPU为CPU12th Gen Intel(R) Core(TM) i5-12450H,操作系统为Windows 11,深度学习框架为Pytorch1.13.1、Cuda11.6.

1.5.3. 参数设置

将YOLOv8n作为基础模型,设置迭代次数为200,批量大小为32,优化器为SGD(初始学习率为0.01,最终学习率为0.000 1,权重衰减为0.000 5,动量因子为0.937),进行改进YOLOv8模型的训练. 为了得到收敛效果更好的损失函数,进行针对αδ的超参数选择实验,结果对比图如图9所示,其中Epoch为迭代轮次. 对比Lv3提供的3组超参数α=1.4、δ=5,α =1.6、δ=4,α =1.9、δ=3[27]以及LCIoU的收敛程度与收敛速度,采用收敛速度更快收敛程度更好的超参数组,即α=1.4、δ=5.

图 9

图 9   损失函数收敛对比图

Fig.9   Comparison plot of loss function convergence


1.5.4. 模型结果

完成参数设置后,进行模型训练. 绘制训练平均准确率AP曲线如图10所示. 可以看出,前50 次迭代,AP不断上升;训练75 次后,AP不断波动;训练125 次后,AP趋于稳定,并在135 次达到最大值,为0.956 44.

图 10

图 10   平均准确率曲线(IoU = 0.5)

Fig.10   Average precision curve (IoU = 0.5)


为了验证每个改进模块的必要性,设计消融实验,对比各改进后模型的精度与尺寸变化. 观察改进对模型精度的提升效果,同时避免改进造成模型尺寸过量增大. 如表1所示,将SPPF替换为焦点调制模块,在IoU小于等于0.5时,模型检测的平均精度mAP@50提升了0.1个百分点,模型大小与原模型基本一致,检测精度小幅度提高;PAN-FPN升级为BiFPN,mAP@50提升了0.3个百分点,模型大小S减小了2 MB;SEAM融合到检测部分,mAP@50提升了0.6个百分点,且模型大小减小了0.3 MB;使用WIoU v3的损失函数,mAP@50增加了0.1个百分点,检测精度进一步提高.

表 1   改进YOLOv8锈蚀螺栓检测模型的消融实验结果

Tab.1  Ablation experiment results of improved YOLOv8 corrosion bolt detection model

YOLOv8nFMBiFPNSEAMWIoU v3mAP@50/%S/MB
93.96.0
94.06.2
94.34.2
94.93.9
95.03.9

新窗口打开| 下载CSV


为了验证SEAM解决螺栓遮挡问题的有效性,生成应用SEAM与原始模型的特征提取热力图进行对比. 如图11所示,相比原始YOLOv8模型,引入SEAM后的模型更加关注未被遮挡的区域,遮挡物对检测产生的干扰降低,检测精度提高.

图 11

图 11   引入分离增强注意力模块前后的特征提取热力图对比

Fig.11   Comparison of feature extraction heat maps before and after introduction of separated and enhancement attention module


1.5.5. 模型性能对比

在相同的数据集、参数和训练设备的前提下,训练Faster R-CNN[31]、YOLOv5n、YOLOv8n、YOLOv9t[32]、YOLOv10n[33],进行模型性能对比. 由于准确率和召回率无法直接衡量模型的检测精度,将准确率-召回率曲线与F1分数纳入评估指标. F1分数综合考虑了精确率与召回率,F1分数越大,模型检测性能越好. F1分数的计算式为

$ F_1 = \frac{{2 \times P \times R}}{{P+R}}. $

式中:P为准确率,R为召回率. 以模型的准确率和召回率绘制模型的准确率-召回率曲线,曲线在坐标轴中包含区域的面积即为AP. 如图12所示,改进YOLOv8模型的面积最大,精度最优. 不同模型的评估指标如表2所示,相比Faster R-CNN、YOLOv5n、YOLOv8n、YOLOv9t、YOLOv10n,改进YOLOv8模型的mAP@50分别提高了24.6、0.8、1.1、0.6、0.5个百分点;F1分数分别提高了46.88、0.85、0.03、0.04、0.12个百分点;模型大小分别减小了104.1、1.1、2.1、0.5、1.6 MB;帧率FPS为83.3帧/s (批量大小为1),仅低于YOLOv8n,可满足工程任务的需求. 各模型检测结果如图13所示,由于Faster R-CNN的准确率过低,图中并未展示其检测效果.

图 12

图 12   不同检测模型的准确率-召回率曲线

Fig.12   Precision-recall curves of different detection models


表 2   不同检测模型的性能指标对比结果

Tab.2  Comparison results of performance indicators of different detection models

模型P/%R/%mAP@50/%F1/%S/MBFPS(帧/s)
Faster R-CNN27.896.070.443.11108.013.7
YOLOv5n84.694.294.289.145.082.6
YOLOv8n86.094.393.989.966.090.9
YOLOv9t87.193.094.489.954.469.4
YOLOv10n86.693.494.589.875.578.1
本研究85.495.195.089.993.983.3

新窗口打开| 下载CSV


图 13

图 13   不同模型的检测结果对比

Fig.13   Detection results comparison of different models


1.5.6. 不同光照条件实验

当扫描设备对隧道进行扫描时,不同区间隧道内光照存在差异,且隧道不同位置的光照强度也存在差异. 为了验证改进YOLOv8模型在不同光照强度下的泛化能力与鲁棒性,通过调整图片的亮度与对比度随机改变图片的光照强度. 改变验证集中图片的光照强度,相同图片样本改变光照强度前后如图14所示. 利用改进YOLOv8模型对改变光照后的验证集进行验证,并于原始验证结果的PR、mAP@50进行对比,结果如表3所示. 相较于原始验证集,改变光照的验证结果虽稍有下降,但满足不同光照条件下的检测需求,证明改进YOLOv8模型具有良好的泛化能力和鲁棒性.

图 14

图 14   改变光照前后验证集图片示例

Fig.14   Examples of validation set images before and after changing lighting


表 3   改变光照前后改进YOLOv8锈蚀螺栓检测模型的验证结果对比

Tab.3  Comparison of verification results of improved YOLOv8 corrosion bolt detection model before and after changing lighting %

状态PRmAP@50F1
改变光照前85.495.195.089.99
改变光照后86.093.294.189.46

新窗口打开| 下载CSV


2. 螺栓锈蚀等级判定方法

隧道扫描图背景颜色比较单一,锈蚀区域与隧道背景主要是颜色上的区别,本研究提出基于HSV色域分割的锈蚀等级判定方法,利用锈蚀螺栓和正常螺栓在HSV颜色空间中的差异,分割锈蚀区域,实现对螺栓锈蚀等级的判定[34].

2.1. HSV色域分割

HSV颜色空间,利用色相H、饱和度S、明度V来描述颜色[35]. 基于HSV的色域分割通过确定HSV这3条通道的分割阈值,实现对某一颜色或部分相似颜色的分割. 螺栓的锈蚀颜色存在多样性,仅用1张锈蚀螺栓的HSV颜色分布图进行比较,无法代表整体锈蚀区域颜色情况,为此进行多张锈蚀螺栓图片拟合. 为了确定拟合图片的数量n,通过均值计算,对700张锈蚀螺栓图片的HSV曲线进行拟合. 如图15所示,H通道相对平稳;S通道趋于下降,拟合500 张后稳定;V通道趋于上升,在拟合600 张后稳定. 因此设定拟合图片数量为700 张. 根据颜色分量B分布的像素点个数进行拟合,得到拟合700 张锈蚀螺栓图片的HSV颜色分布图,随后通过对比锈蚀螺栓与正常螺栓不同颜色分量下像素点频率f确定分割阈值. 正常螺栓与锈蚀螺栓HSV颜色分布图对比如图16所示,锈蚀螺栓的H通道与S通道分别在颜色分量50~110和 55~100存在像素点,而正常螺栓在此处不存在像素点. 锈蚀螺栓与正常螺栓的V通道在颜色分量65~95存在明显差异. 确定分割阈值:

图 15

图 15   锈蚀螺栓图片的HSV拟合曲线

Fig.15   HSV fitting curve of corroded bolt images


图 16

图 16   正常螺栓与锈蚀螺栓HSV颜色分布图对比

Fig.16   Comparison of HSV color distribution maps between normal bolts and corroded bolts


$ 50 \leqslant H \leqslant 110, $

$ 55 \leqslant S \leqslant 100, $

$ 65 \leqslant V \leqslant 95. $

此分割阈值下,锈蚀区域分割后的二值化图像如图17所示.

图 17

图 17   锈蚀区域分割后的二值化图像

Fig.17   Binary image after segmentation of corroded areas


2.2. 锈蚀等级判定

利用SAHI实现对扫描图像的检测后,对检测到的目标单独裁剪,输出检测框信息(检测框左上角与右下角坐标及检测框的宽高). 对裁剪出的目标进行HSV色域分割,算出锈蚀区域的占比,

$ P_{{\mathrm{c}}} = \frac{{N_{{\mathrm{c}}} }}{{N_{{\mathrm{b}}} }} \times 100{\text{%}} . $

式中:Nc为锈蚀区域的像素点总数,Nb为锈蚀螺栓图片的像素点总数. Pc越大,锈蚀等级越高;Pc越小,锈蚀等级越低. 参考文献[36],划分螺栓锈蚀级别如表4所示. 当Pc<3%时,可能是尘土等异物遮挡或光线干扰,锈蚀等级判定为0级,锈蚀程度为无锈蚀,无需检修人员前去检修;当3%≤Pc<10%时,锈蚀等级判定为1级,锈蚀程度为轻度锈蚀,需检修人员进行除锈处理;当10%≤Pc<40%时,锈蚀等级判定为2级,锈蚀程度为中度锈蚀,检修人员须测量螺栓内部锈蚀程度,进行除锈或更换处理;当Pc≥40%时,锈蚀等级判定为3级,锈蚀程度为重度锈蚀,螺栓表面几乎完全锈蚀,检修人员应及时了解螺栓内部锈蚀情况. 各锈蚀等级检测图示例如图18所示. 算出检测到的螺栓锈蚀等级,将等级信息作为检测框标签,输入原始隧道扫描图像中,帮助检修人员快速定位到带有锈蚀等级的螺栓目标,带有锈蚀等级的部分检测截图如图19所示.

表 4   螺栓锈蚀等级

Tab.4  Bolt corrosion grade

Pc/%锈蚀级别锈蚀程度
[0, 3)0无锈蚀
[3, 10)1轻微锈蚀
[10, 40)2中度锈蚀
[40, 100]3重度锈蚀

新窗口打开| 下载CSV


图 18

图 18   不同锈蚀等级的螺栓示例

Fig.18   Examples of bolts with different corrosion grades


图 19

图 19   带有锈蚀等级的检测截图

Fig.19   Detection capture of corrosion grade


3. 结 语

本研究提出基于YOLOv8-HSV的隧道锈蚀螺栓检测与等级判定方法,实现端到端锈蚀螺栓的检测及等级判定. 1)通过引入FM、BiFPN、SEAM及WIoU v3损失函数,对YOLOv8n进行改进,解决锈蚀螺栓目标小、存在遮挡的问题. 所提模型的mAP@50、F1分数、模型大小、FPS分别为95.0%、89.99%、3.9 MB、83.3帧/s,达到盾构隧道内锈蚀螺栓的检测要求. 2)通过对比锈蚀螺栓和正常螺栓的HSV分布图,确定HSV分割阈值并进行锈蚀区域分割,计算得到锈蚀区域的占比情况,参照等级划分表,实现对螺栓锈蚀等级的判定. 3)借助图像裁剪和SAHI,分别实现对巨大隧道扫描图像的数据集制作和检测推理工作. 本研究仅针对隧道锈蚀螺栓病害检测,未考虑隧道其他表观病害,如裂缝、渗漏水,未来计划充分考虑隧道表观病害,进行更加全面的隧道表观病害检测工作.

参考文献

何川, 封坤, 方勇

盾构法修建地铁隧道的技术现状与展望

[J]. 西南交通大学学报, 2015, 50 (1): 97- 109

[本文引用: 1]

HE Chuan, FENG Kun, FANG Yong

Review and prospects on constructing technologies of metro tunnels using shield tunnelling method

[J]. Journal of Southwest Jiaotong University, 2015, 50 (1): 97- 109

[本文引用: 1]

訾谦. 我国盾构技术驶入数智发展快车道[N]. 光明日报, 2024–11–20(3).

[本文引用: 1]

沈恺, 张森, 李胜腾, 等

基于摄影测量的盾构隧道轮廓快速检测方法

[J]. 铁道学报, 2021, 43 (10): 136- 146

[本文引用: 1]

SHEN Kai, ZHANG Sen, LI Shengteng, et al

A rapid shield tunnel profile measuring method based on close-range photogrammetry

[J]. Journal of the China Railway Society, 2021, 43 (10): 136- 146

[本文引用: 1]

WANG Y, LIAO W, DONG A, et al

High-speed acquisition and intelligent tunnel surface defects recognition

[J]. Tunnelling and Underground Space Technology, 2024, 144: 105572

DOI:10.1016/j.tust.2023.105572      [本文引用: 1]

TAN L, CHEN X, HU X, et al. DMDSNet: a computer vision-based dual multi-task model for tunnel bolt detection and corrosion segmentation [C]// Proceedings of the IEEE 26th International Conference on Intelligent Transportation Systems. Bilbao: IEEE, 2023: 4827–4833.

宋娟, 贺龙喜, 龙会平

基于深度学习的隧道衬砌多病害检测算法

[J]. 浙江大学学报: 工学版, 2024, 58 (6): 1161- 1173

[本文引用: 1]

SONG Juan, HE Longxi, LONG Huiping

Deep learning-based algorithm for multi defect detection in tunnel lining

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (6): 1161- 1173

[本文引用: 1]

葛双双, 高玮, 汪义伟, 等

我国交通盾构隧道病害、评价及治理研究综述

[J]. 土木工程学报, 2023, 56 (1): 119- 128

[本文引用: 1]

GE Shuangshuang, GAO Wei, WANG Yiwei, et al

Review on evaluation and treatment of traffic shield tunnel defects in China

[J]. China Civil Engineering Journal, 2023, 56 (1): 119- 128

[本文引用: 1]

NIKRAVESH S M Y, GOUDARZI M

A review paper on looseness detection methods in bolted structures

[J]. Latin American Journal of Solids and Structures, 2017, 14 (12): 2153- 2176

DOI:10.1590/1679-78254231      [本文引用: 1]

REDDY M S B, PONNAMMA D, SADASIVUNI K K, et al

Sensors in advancing the capabilities of corrosion detection: a review

[J]. Sensors and Actuators A: Physical, 2021, 332: 113086

DOI:10.1016/j.sna.2021.113086     

XU Y, LI D, XIE Q, et al

Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN

[J]. Measurement, 2021, 178: 109316

DOI:10.1016/j.measurement.2021.109316      [本文引用: 1]

许敏娟, 陈莹莹, 刘浩

基于全景图像的隧道渗漏水病害识别方法

[J]. 铁道学报, 2023, 45 (8): 184- 192

[本文引用: 1]

XU Minjuan, CHEN Yingying, LIU Hao

Identification method of tunnel water leakage based on panoramic image

[J]. Journal of the China Railway Society, 2023, 45 (8): 184- 192

[本文引用: 1]

TAN L, TANG T, YUAN D

An ensemble learning aided computer vision method with advanced color enhancement for corroded bolt detection in tunnels

[J]. Sensors, 2022, 22 (24): 9715

DOI:10.3390/s22249715      [本文引用: 1]

周中, 闫龙宾, 张俊杰, 等

基于YOLOX-G算法的隧道裂缝实时检测

[J]. 铁道科学与工程学报, 2023, 20 (7): 2751- 2762

[本文引用: 1]

ZHOU Zhong, YAN Longbin, ZHANG Junjie, et al

Real-time detection of tunnel cracks based on YOLOX-G algorithm

[J]. Journal of Railway Science and Engineering, 2023, 20 (7): 2751- 2762

[本文引用: 1]

GU Y, AI Q, XU Z, et al

Cost-effective image recognition of water leakage in metro tunnels using self-supervised learning

[J]. Automation in Construction, 2024, 167: 105678

DOI:10.1016/j.autcon.2024.105678      [本文引用: 1]

GUO Z, CHENG X, XIE Q, et al

Spatial adaptive improvement detection network for corroded bolt detection in tunnels

[J]. Buildings, 2024, 14 (8): 2560

DOI:10.3390/buildings14082560      [本文引用: 1]

LI X, WANG Q, YANG X, et al

Track fastener defect detection model based on improved YOLOv5s

[J]. Sensors, 2023, 23 (14): 6457

DOI:10.3390/s23146457      [本文引用: 1]

REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779–788.

[本文引用: 1]

JOCHER, G, CHAURASIA, A, QIU, J, et al. YOLO by Ultralytics (Version 8.0. 0) [EB/OL]. [2024–12–03]. https://github.com/ultralytics/ultralytics.

[本文引用: 1]

WANG X, LIU J

Vegetable disease detection using an improved YOLOv8 algorithm in the greenhouse plant environment

[J]. Scientific Reports, 2024, 14: 4261

DOI:10.1038/s41598-024-54540-9     

LIU L, LI P, WANG D, et al

A wind turbine damage detection algorithm designed based on YOLOv8

[J]. Applied Soft Computing, 2024, 154: 111364

DOI:10.1016/j.asoc.2024.111364      [本文引用: 1]

冉庆东, 郑力新

基于改进YOLOv5的锂电池极片缺陷检测方法

[J]. 浙江大学学报: 工学版, 2024, 58 (9): 1811- 1821

[本文引用: 1]

RAN Qingdong, ZHENG Lixin

Defect detection method of lithium battery electrode based on improved YOLOv5

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (9): 1811- 1821

[本文引用: 1]

黄宏伟, 李庆桐

基于深度学习的盾构隧道渗漏水病害图像识别

[J]. 岩石力学与工程学报, 2017, 36 (12): 2861- 2871

[本文引用: 1]

HUANG Hongwei, LI Qingtong

Image recognition for water leakage in shield tunnel based on deep learning

[J]. Chinese Journal of Rock Mechanics and Engineering, 2017, 36 (12): 2861- 2871

[本文引用: 1]

QIU S, CAI B, WANG W, et al

Automated detection of railway defective fasteners based on YOLOv8-FAM and synthetic data using style transfer

[J]. Automation in Construction, 2024, 162: 105363

DOI:10.1016/j.autcon.2024.105363      [本文引用: 1]

YANG J, LI C, DAI X, et al

Focal modulation networks

[J]. Advances in Neural Information Processing Systems, 2022, 35: 4203- 4217

[本文引用: 1]

TAN M, PANG R, LE Q V. EfficientDet: scalable and efficient object detection [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 10778–10787.

[本文引用: 1]

YU Z, HUANG H, CHEN W, et al

YOLO-FaceV2: a scale and occlusion aware face detector

[J]. Pattern Recognition, 2024, 155: 110714

DOI:10.1016/j.patcog.2024.110714      [本文引用: 1]

TONG Z, CHEN Y, XU Z, et al. Wise-IoU: bounding box regression loss with dynamic focusing mechanism [EB/OL]. (2023–04–08)[2024–12–03]. https://arxiv.org/pdf/2301.10051.

[本文引用: 2]

DE MELO LIMA B P, DE ARAÚJO BARBOSA BORGES L, HIROSE E, et al

A lightweight and enhanced model for detecting the Neotropical brown stink bug, Euschistus heros (Hemiptera: Pentatomidae) based on YOLOv8 for soybean fields

[J]. Ecological Informatics, 2024, 80: 102543

DOI:10.1016/j.ecoinf.2024.102543      [本文引用: 1]

AKYON F C, ONUR ALTINUC S, TEMIZEL A. Slicing aided hyper inference and fine-tuning for small object detection [C]// Proceedings of the IEEE International Conference on Image Processing. Bordeaux: IEEE, 2022: 966–970.

[本文引用: 1]

TAN L, HU X, TANG T, et al

A lightweight metro tunnel water leakage identification algorithm via machine vision

[J]. Engineering Failure Analysis, 2023, 150: 107327

DOI:10.1016/j.engfailanal.2023.107327      [本文引用: 1]

REN S, HE K, GIRSHICK R, et al

Faster R-CNN: towards real-time object detection with region proposal networks

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39 (6): 1137- 1149

DOI:10.1109/TPAMI.2016.2577031      [本文引用: 1]

WANG C Y, YEH I H, MARK LIAO H Y. YOLOv9: learning what you want toLearn using programmable gradient information [C]// Computer Vision – ECCV 2024. [S.l.]: Springer, 2025: 1–21.

[本文引用: 1]

WANG A, CHEN H, LIU L, et al. YOLOv10: real-time end-to-end object detection [EB/OL]. (2024–10–30)[2024–12–03]. https://arxiv.org/pdf/2405.14458.

[本文引用: 1]

邓伟, 王洪亮

基于级联网络的螺栓锈蚀检测方法研究

[J]. 现代电子技术, 2023, 46 (19): 111- 115

[本文引用: 1]

DENG Wei, WANG Hongliang

Research on bolt corrosion detection method based on cascade network

[J]. Modern Electronics Technique, 2023, 46 (19): 111- 115

[本文引用: 1]

WALDAMICHAEL F G, DEBELEE T G, AYANO Y M

Coffee disease detection using a robust HSV color-based segmentation and transfer learning for use on smartphones

[J]. International Journal of Intelligent Systems, 2022, 37 (8): 4967- 4993

DOI:10.1002/int.22747      [本文引用: 1]

中国工程建设标准化协会. 城市轨道交通盾构隧道结构病害检测技术规程: T/CECS 788—2020 [S]. 北京: 中国建筑工业出版社, 2020: 1.

[本文引用: 1]

/