浙江大学学报(工学版), 2025, 59(9): 1838-1845 doi: 10.3785/j.issn.1008-973X.2025.09.007

计算机技术

轻量化YOLOv5s-OCG的轨枕裂纹检测算法

董超群,, 汪战, 廖平, 谢帅, 荣玉杰, 周靖淞

1. 重庆科技大学 机械与智能制造学院,重庆 401331

2. 重庆科技大学 石油天然气装备研究院,重庆 401331

Lightweight YOLOv5s-OCG rail sleeper crack detection algorithm

DONG Chaoqun,, WANG Zhan, LIAO Ping, XIE Shuai, RONG Yujie, ZHOU Jingsong

1. College of Mechanical and Intelligent Manufacturing, Chongqing University of Science and Technology, Chongqing 401331, China

2. Oil and Gas Equipment Research Institute, Chongqing University of Science and Technology, Chongqing 401331, China

收稿日期: 2024-04-3  

基金资助: 国家自然科学基金资助项目(5227041805);国家重点研发计划资助项目(2018YFB2002205);重庆市教委资助项目(KJQN202001538).

Received: 2024-04-3  

Fund supported: 国家自然科学基金资助项目(5227041805);国家重点研发计划资助项目(2018YFB2002205);重庆市教委资助项目(KJQN202001538).

作者简介 About authors

董超群(1983—)男,副教授,博士,从事基于图像处理的油气装备安全评价研究.orcid.org/0000-0002-3962-2435.E-mail:dcqust@126.com , E-mail:dcqust@126.com

摘要

针对高铁轨枕运行年限增加导致裂纹缺陷增多的安全隐患,以及高铁轨枕表面裂纹漏检与误检问题,提出改进的YOLOv5s轨枕裂纹目标检测算法. 在YOLOv5s算法主干网络中使用基于多维注意力机制的全维动态卷积代替传统卷积,提升网络整体的特征提取能力以提高细小裂纹的检测精度;根据ConvNeXt模块和深度可分离卷积提出改进的轻量化C3结构,压缩模型体积和加速网络的收敛以提高检测效率;使用尺度优化的加权GFPN特征融合网络,解决小目标多尺度下采样过程中细节特征丢失的问题,改进的YOLOv5s轨枕裂纹目标检测算法能够有效改善轨枕表面细小裂纹漏检问题. 实验结果表明:改进后的算法模型参数量减少了19.7%,精确率、召回率、平均精度均值分别提高了1.8、2.4和4.2个百分点,检测速度达96帧/s. 结果表明,提出的轻量化YOLOv5s-OCG算法模型为轨枕表面裂纹的实时性检测提供了一种有效解决方案.

关键词: 轨枕裂纹检测 ; 目标检测 ; 全维动态卷积 ; 轻量化结构 ; 特征融合网络

Abstract

An improved YOLOv5s sleeper crack target detection algorithm was proposed, in response to the safety hazards posed by the increasing number of crack defects in high-speed rail sleepers due to extended service life, as well as the issues of missed and false detections of surface fine cracks in high-speed rail sleepers. In the backbone network of the YOLOv5s algorithm, the full-dimensional dynamic convolution based on the multi-dimensional attention mechanism was used instead of the traditional convolution to enhance the overall feature extraction ability of the network and improve the detection accuracy of fine cracks. An improved lightweight C3 structure was proposed based on the ConvNeXt module and depth-separable convolution to compress the model volume and accelerate the convergence of the network to improve the detection efficiency. The scale-optimized weighted GFPN feature fusion network was used to solve the problem of detail feature loss in the sampling process of small targets at multiple scales. The improved YOLOv5s sleeper crack target detection algorithm could solve the problem of missed detection of fine cracks on the sleeper surface effectively. The experimental results showed that the parameter count of the improved algorithm model was decreased by 19.7%, the accuracy rate, recall rate and mean average precision were increased by 1.8, 2.4 and 4.2 percentage points respectively, and the detection speed was up to 96 frames per second. The results verify that the proposed lightweight YOLOv5s-OCG algorithm model provides an effective solution for the real-time detection of surface cracks on sleepers.

Keywords: rail sleeper crack detection ; object detection ; omni-dimensional dynamic convolution ; lightweight structure ; feature fusion network

PDF (1980KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

董超群, 汪战, 廖平, 谢帅, 荣玉杰, 周靖淞. 轻量化YOLOv5s-OCG的轨枕裂纹检测算法. 浙江大学学报(工学版)[J], 2025, 59(9): 1838-1845 doi:10.3785/j.issn.1008-973X.2025.09.007

DONG Chaoqun, WANG Zhan, LIAO Ping, XIE Shuai, RONG Yujie, ZHOU Jingsong. Lightweight YOLOv5s-OCG rail sleeper crack detection algorithm. Journal of Zhejiang University(Engineering Science)[J], 2025, 59(9): 1838-1845 doi:10.3785/j.issn.1008-973X.2025.09.007

随着高铁铁轨铺设年限的增加,铁轨轨枕表面不可避免会产生裂纹,如果不及时对轨枕表面产生的裂纹进行监管处理,可能会付出高昂的维修成本,甚至造成严重的交通事故[1]. 为了提高铁路轨道巡检的效率以及轨枕裂纹检测的精度,有必要对现有铁路轨枕缺陷检测的先进技术进行研究.

传统轨枕裂纹检测方法包括人工检测、磁粉检测、超声波检测、电涡流检测等,这些检测方式对人工技能要求过高,且成本高、检测效率低. 近年来,深度学习目标检测技术不断进步完善,这种低成本高效益的技术方法在众多工业检测领域都取得了成功的应用[2]. 目前,针对铁路轨枕裂纹缺陷区域的定位检测已经开展了深入研究,通常采用基于深度学习的目标检测和图像分割方法,这种自动化检测方案可减少人力与设备成本投入[3]. 深度学习的目标检测算法有RCNN[4]、Faster-RCNN[5] 和FPN等双阶段检测算法和SDD[6]、YOLO[7]和RetinaNet等单阶段检测算法. 双阶段检测算法的识别效率难以满足实时性检测的需求,因此单阶段目标检测算法的应用更加广泛. 如今已有多项研究利用YOLO系列模型实现轨道裂纹和交通、工业、农业等行业的缺陷检测. Redmon 等[8]通过在YOLO模型结构中融合残差模块、双特征金字塔、解耦头等方式,提出RDD-YOLO模型用于解决钢铁表面缺陷检测. 李鑫等[9]在YOLOv5中引入坐标注意力机制、优化损失函数,实现了航空发动机表面缺陷的高效智能检测. 汪沛洁等[10]通过在主干网络中添加多头自注意力机制、优化特征融合及优化计算效率等方式改进YOLOv5,弥补水环境中鱼群小目标误检、漏检的问题. 王宏志等[11]在YOLOv5中增加小目标检测层、解耦检测头、注意力机制与特征增强等方式增强对复杂道路目标检测的能力. 令雅莉等[12]在YOLOv5主干网络中引入SE注意力模块,同时改进SPP池化模块和特征融合结构,有效降低了轨枕裂纹的漏检情况,但对细小裂纹的识别效果还有较大的提升空间.

深度学习的目标检测技术在工业领域取得了迅速发展,但在轨枕裂纹检测方面实践应用较少. 现场裂纹像素特征占比较小、背景复杂且优质数据集量较少,易造成轨枕细小裂纹误检、漏检及重检等问题,且检测精度不高. 为了提高轨枕裂纹的识别效率,本研究提出改进YOLOv5s-OCG的轨枕裂纹检测算法,在主干网络中利用全维动态卷积设计新的特征提取层,弥补传统卷积层对裂纹特征提取的不足;为了提高网络检测速度,压缩模型体积,设计改进的轻量化C3模块,使算法模型更符合现场应用的部署条件;为了解决裂纹在多层卷积操作后细节特征丢失的问题,在聚合网络中使用尺度优化的加权GFPN网络,加强浅层网络与深层网络间的特征传播.

1. YOLOv5算法概述

随着近些年YOLO系列算法的更新换代,其检测准确性和检测速度逐渐提升[13],2020年已演变为YOLOv5,成为目前最流行的目标检测算法之一[14]. YOLOv5模型不断更新, 根据不同的工业需求发展出YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x等版本,其中YOLOv5s模型参数量最少、检测速度最快,更适合于轨枕裂纹检测的研究,因此本研究以YOLOv5的6.0版本中的YOLOv5s模型为基础,其网络结构如图1所示. YOLOv5s模型由输入端、主干网络、特征融合网络和输出端4部分构成,6.0版本在原始模型上进行了一些改进:1)在网络初始层中使用6×6大小的卷积层代替了Focus模块,更便于部署应用. 2)使用C3模块代替CSP模块,强化网络特征融合能力,同时减少了计算量. 3)使用SPPF模块代替SPP模块,提高了运行速度.

图 1

图 1   YOLOv5s-6.0网络结构

Fig.1   YOLOv5s-6.0 network structure


2. YOLOv5s优化改进

2.1. 主干网络改进

常规卷积(Conv)的静态卷积核,其结构参数在不同输入样本和不同网络深度中都不会发生改变,当网络深度和通道受到限制时,网络性能会变差,对复杂背景下的轨道裂纹特征提取有限. 动态卷积使用n个卷积核的线性组合,通过注意力机制动态加权,使卷积运算自适应输入数据的不同部分或上下文,这种动态特性提升了模型对各种输入数据的提取性能. 全维动态卷积[15](ODConv)弥补了条件参数卷积[16](CondConv)和动态卷积[17](DyConv)参数量大,及只关注卷积内核数量一个维度的不足,采用多维注意力机制,以平行的方式沿卷积内核的数量、空间大小、输入通道数、输出通道数4个维度互补学习卷积内核的4种注意力,从而强化卷积操作特征提取能力. 为了提高网络整体性能,在主干网络中使用全维动态卷积代替常规卷积模块,丰富轨道裂纹在卷积核数量、空间大小、通道数上不同纬度的语义信息,强化网络对裂纹特征的识别能力.

ODConv结构示意图如图2所示. 图中,$ x $$ y $分别表示输入和输出特征,ReLU、Sigmoid、Softmax为激活函数,GAP为全局池化操作,FC表示全连接层,参数$ {{\boldsymbol{\alpha }}_{{\mathrm{w}}i}} $表示卷积核$ {{\boldsymbol{W}}_i} $的注意标量,参数$ {{\boldsymbol{\alpha }}_{{\mathrm{s}}i}} $$ {{\boldsymbol{\alpha }}_{{\mathrm{c}}i}} $$ {{\boldsymbol{\alpha }}_{{\mathrm{f}}i}} $分别表示沿卷积核$ {{\boldsymbol{W}}_i} $的空间维度、输入通道维度和输出通道维度计算分配的标量,符号$ \odot $表示沿核空间中不同维度的乘法运算. 数学表达式如下:

图 2

图 2   ODConv结构示意图

Fig.2   Schematic diagram of ODConv structure


$\begin{split} y =& \left( {{\boldsymbol{\alpha }}_{{\mathrm{w}}1}} \odot {{\boldsymbol{\alpha }}_{{\mathrm{f}}1}} \odot {{\boldsymbol{\alpha }}_{{\mathrm{c}}1}} \odot {{\boldsymbol{\alpha }}_{{\mathrm{s}}1}} \odot {{\boldsymbol{W}}_1}+\cdots\right. \\&\left.+{{\boldsymbol{\alpha }}_{{\mathrm{w}}n}} \odot {{\boldsymbol{\alpha }}_{{\mathrm{f}}n}} \odot {{\boldsymbol{\alpha }}_{{\mathrm{c}}n}} \odot {{\boldsymbol{\alpha }}_{{\mathrm{s}}n}} \odot {{\boldsymbol{W}}_n} \right)*x .\end{split} $

2.2. 改进的轻量化C3模块

YOLOv5s主干网络和特征融合网络主要通过C3模块提取图像特征,结构如图3所示. C3模块借鉴了残差网络的思想,通过叠加网络深度强化特征提取能力,结构通过1×1大小的CBS(标准卷积层)模块将上层输入特征降维为2个分支,主支部分与2个CBS模块逐层提取特征并通过shortcut残差连接(Bottleneck模块),再与分支部分进行特征融合提升维度,保证一个完整的C3模块输入与输出通道维度不发生改变,整个维度变换计算过程提高了网络特征融合能力并减少了参数计算量.

图 3

图 3   C3模块示意图

Fig.3   Schematic diagram of C3 module


轨枕裂纹排查检测任务更适合使用移动端的边缘设备检测完成,为了控制设备成本、节约计算资源,使用高性能ConvNeXt[18]结构和深度可分离卷积[19](DWConv)改进C3特征融合模块,在减少网络参数量的同时,依然保持了对裂纹特征的提取能力. ConvNeXt网络是2022年Facebook团队借鉴SwinTransformer[20]思想利用现有的方法和技术构建出来的网络,结构如图4所示,以更简单的结构和规模在图像分类、识别和训练等效果上反超Transformer.

图 4

图 4   ConvNeXt结构示意图

Fig.4   Schematic diagram of ConvNeXt structure


深度可分离卷积将输入特征图按不同通道分别使用一个逐点卷积,然后将每个通道的卷积输出拼接得到最终输出. 在不考虑偏置情况下其参数量计算表达式如下:

$ {P}_{\mathrm{DWConv}}={K}_{\mathrm{w}} {K}_{\mathrm{h}} {C}_{\mathrm{i}}+{C}_{\mathrm{i}} {C}_{\mathrm{o}} . $

常规卷积的参数量计算表达式如下:

$ {P}_{\text {Conv}}={K}_{\mathrm{w}} {K}_{\mathrm{h}} {C}_{\mathrm{i}} {C}_{\mathrm{o}} . $

由此得出深度可分离卷积和常规卷积参数量计算之比:

$ \frac{{P}_{\mathrm{DWConv}}}{{P}_{\text {Conv }}}=\frac{1}{{C}_{\mathrm{i}}}+\frac{1}{{K}_{\mathrm{w}} {K}_{\mathrm{h}}} . $

式中:$ {{{K}}_{\mathrm{w}}} $$ {{{K}}_{\mathrm{h}}} $分别为各卷积核的宽、高,$ {{{C}}_{\mathrm{i}}} $$ {{{C}}_{\mathrm{o}}} $分别为输入、输出通道数. 可以看出,当卷积核大小相同时,常规卷积计算的参数量是深度可分离卷积计算参数量的数倍.

改进后的轻量化C3模块如图5所示,将上一层输入特征降维为2个分支,一个分支先通过一个标准卷积层,将输入特征再次降维为原来1/4后分为两部分,分别通过Bottleneck模块和ConvNeXt模块提取不同深度的图像特征信息. 另一个分支通过卷积核大小为1×1的深度可分离卷积层,在不同特征通道上逐元计算扩大模型感受野,同时优化了检测速度和计算效率,最后将多个分支提取的特征进行融合,通过一个标准卷积层对特征升维,使模块整体输入与输出维度不发生改变. 改进后的C3模块和原始C3模块相比,结构中的一个分支使用深度可分离卷积代替常规卷积计算,大大减少了计算量,另一个分支先对特征降维计算并引入ConvNeXt模块,使改进后C3模块特征融合能力增强且更具轻量化. 原始网络主干层最后一个C3模块和聚合网络中C3模块替换为改进后轻量化C3模块,强化了网络对上层特征的融合能力,同时大大压缩了模型体积.

图 5

图 5   轻量化C3结构示意图

Fig.5   Schematic diagram of lightweight C3 structure


2.3. 改进的加权GFPN特征融合网络

轨枕表面裂纹在图像中占有较小的像素比例,其携带的信息多存在于卷积操作的初始层之中. 经过多次下采样操作后,细节特征容易丢失,造成对细小裂纹的漏检. 在YOLOv5s中采用PAN进行多尺度特征融合,通过简单上下采样将各尺度特征变为相同尺寸进行特征融合,从而获得不同尺寸的目标特征信息,但输入特征有不同分辨率,不同分辨率输入特征融合后对输出特征图有不同的贡献[21],因此无法把握输入特征图中的主要特征信息. 在BiFPN[22]结构中引入可学习的权重分量来区分不同输入特征贡献度,经多次双向路径堆叠实现深层特征融合,但BiFPN内部各模块相互独立,堆叠过深可能造成梯度消失的问题. 从GFPN[23]中借鉴DenseNet思想设计log2n-link,强化各尺度特征之间的联系,保留更多有效的特征复用. 如图6所示为不同尺度的特征融合结构图,其中下箭头表示下采样,上箭头表示上采样.

图 6

图 6   不同尺度的特征融合结构图

Fig.6   Feature fusion structure diagram with different scales


$ \boldsymbol{o}=\displaystyle \sum_{i=1} \frac{{\boldsymbol{\omega}}_i}{\varepsilon+\displaystyle \sum_{i=1} {\boldsymbol{\omega}}_i} {I}_i. $

式中:$ {{\boldsymbol{\omega}} _i} $表示可学习权重,经ReLU激活函数后确保$ {{\boldsymbol{\omega}} _i} \geqslant 0 $;$ {I_i} $表示输入特性;$ \varepsilon $为保证数字稳定的一个小数值.

将BiFPN可学习权重分量扩展到GFPN结构,不但能保留更多浅层信息,而且能区分不同输入特征的贡献程度,对目标和背景做出有效分辨,强化网络抗干扰能力. 本研究在实验中,针对裂纹这类小目标检测,将YOLOv5聚合网络替换为改进后的加权GFPN网络,如图7为改进前、后YOLOv5特征融合网络结构图. 图中,Pn表示图像下采样n次. 图7(b)中橙色模块(斜线填充)表示使用式(5)对上层输入特征加权计算后的特征图,不同尺度的特征预测所占有的贡献度不同. 另外,针对小目标检测,在输入图像尺寸为640×640的情况下,舍弃了YOLOv5中使用20×20大小的特征图对32×32以上像素的大目标检测计算,新增了使用160×160大小的特征图对4×4以上像素的小目标检测计算. 这种增加小目标检测层舍弃大目标检测层的方式,使网络获取了更多有关裂纹特征的有效信息,同时减少了网络下采样的次数,使得模型参数的计算量也有所降低.

图 7

图 7   YOLOv5特征融合网络结构图

Fig.7   YOLOv5 feature fusion network structure diagram


3. 实验设计

3.1. 实验环境及数据集

本实验所使用硬件和软件配置如表1所示,训练采用SGD优化算法,初始学习率为0.01,采用余弦退火策略动态降低学习率,动量因子为0.937,权重衰减系数为0.0005,批次大小为16,训练迭代次数为200轮,其他实验设置为YOLOv5s的官方默认设置.

表 1   实验硬件与软件环境

Tab.1  Experimental hardware and software environment

配置项配置规格
CPUIntel(R) Xeon(R) CPU E5-2680 v4 @2.40 GHZ
GPUNVIDIA GeForce RTX3060(12 G)
内存30 G
操作系统Ubuntu18.04
深度学习框架Pytorch1.11.0、CUDA11.3
编程语言Python

新窗口打开| 下载CSV


曹建斌[24]收集了大量轨枕缺陷检测现场数据,从中挑选出2000张高质量轨枕裂纹图组成实验数据集,用Labelimg软件对图像中裂纹进行单类别标注. 由于裂纹在图像中像素占比较小,大量背景像素的干扰会使裂纹误检增加,为了使标注框中含有裂纹目标的像素比例增加,使用多个较小的标注框沿裂纹的形状对一个裂纹进行标注. 按照8∶2的比例将数据集划分为训练集和验证集,其中训练集有1600张,验证集有400张,数据标注和部分数据集样例如图8所示.

图 8

图 8   标注样例与数据集样例

Fig.8   Annotated example and dataset example


3.2. 评价指标

采用精确率$ {\mathrm{Precision}} $、召回率$ {\mathrm{Recall}} $、平均精度均值$ {\mathrm{mAP }}$来评价模型的检测性能,采用帧率$ {\mathrm{FPS}} $评价模型的检测速度,采用模型参数量$ P $来评价模型的复杂程度. 表达式分别如下:

$ \text { Precision }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}} ,$

$ \text { Recall }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} , $

$ \mathrm{mAP}=\dfrac{1}{N} {\displaystyle \sum_{i=1}^N \mathrm{AP}_i} , $

$\mathrm{FPS}=\dfrac{1}{{T}}{\text{Framenum }} . $

式中:$ {\mathrm{TP}} $表示将正例预测为正例的个数,$ {\mathrm{FP}} $表示反例预测为正例的个数,$ {\mathrm{FN}} $表示正例预测为反例的个数,$ N $为总的类别数,$ {\mathrm{A}}{{\mathrm{P}}_i} $表示单类别的检测精度,$ {\mathrm{Framenum}} $表示检测图片数量,$ {{T}} $表示检测用时.

3.3. 实验结果分析

为了验证本研究3个改进算法实验的有效性,设计消融实验来验证各模块单独使用、组合使用的检测效果,共设计了8组实验,包含YOLOv5s基础实验和各个改进模块不同组合使用的实验,每组实验保持相同的实验条件. 消融实验结果如表2所示. 表中,ODConv表示主干网络使用全维动态卷积代替常规卷积的改进,实验模型记作YOLOv5s-O;C3_LIGHT表示使用ConvNeXt模块和深度可分离卷积改进后的轻量化C3模块,实验模型记作YOLOv5s-C;GFPN表示使用改进后的加权聚合网络代替原始网络的Neck层,实验模型记作YOLOv5s-G;“√”代表在YOLOv5s模型基础上额外引入改进的模块. 由于图像中裂纹目标过小且采用多个小框组合标注一个裂纹的方式,一幅图内标注框数量多,标注框之间存在少量重叠部分,原始YOLOv5s实验的平均精度均值mAP仅为42.9%. 在相同实验条件下,本研究提出的修改后轻量化算法YOLOv5s-OCG的实验结果中,平均精度均值mAP为47.1%,提升了4.2个百分点.

表 2   YOLOv5s基础实验和改进模块的消融实验结果

Tab.2  Ablation experiment results of YOLOv5s basic experiment and improved module

编号模型ODConvC3_LIGHTGFPNPrecision/%Recall/%mAP@0.5/%FPS/(帧·s−1)P/106
1YOLOv5s44.459.742.9947.03
2YOLOv5s-O45.161.144.9917.03
3YOLOv5s-C44.761.144.8985.55
4YOLOv5s-G45.861.846.2927.35
5YOLOv5s-OC45.661.445.7965.56
6YOLOv5s-OG45.561.946.5927.35
7YOLOv5s-CG45.961.846.3955.62
8YOLOv5s-OCG46.262.147.1965.64

新窗口打开| 下载CSV


第2组实验是在主干网络使用全维动态卷积改进,使Precision、Recall、mAP分别提升0.7个百分点、1.4个百分点和2.0个百分点,说明全维动态卷积相较于常规卷积在裂纹特征提取方面更具有优势,再由第7、8组的实验对比可知,在不使用全维动态卷积时,检测的各项性能都有所下降,从而进一步验证了全维动态卷积对裂纹特征识别的有效性;C3模块的改进实验,在检测精度、召回率都有所提升的情况下,第3、5、7、8组实验模型的参数量都大大下降,且检测速度最快达到98帧/s,因其ConvNeXt模块本身即是一个轻量化模块,且该模块对图像的分类识别具有优越的性能,另外C3模块一个分支使用了深度可分离卷积,进一步提升了模型的轻量性;最后,第4组实验使用可训练加权因子的方法对输入特征做区分的GFPN网络,相对原YoLov5s模型,Precision、Recall、mAP分别提升了1.4个百分点、2.1个百分点和3.3个百分点,是单独使用改进模块的实验中效果最好的,说明使用尺度优化的加权GFPN网络,能提取更多裂纹的浅层纹理信息,有效辨别图像中的主要特征.

3.4. 对比实验

为了客观评价算法的综合性能,在轨枕裂纹数据集下使用经典目标检测算法模型Faster-RCNN、SSD、CenterNet、RetinaNet、YOLO等[25-26]和用于缺陷检测的轻量化模型YOLOv5s-GhostNet[27]、YOLOv5s-shufflenetv2[28]进行实验对比分析,不同算法模型的各性能指标实验结果如表3所示.可以看出,与经典目标检测算法相比,YOLOv5s-OCG的平均精度均值相比Faster-RCNN、SSD、CenterNet、RetinaNet、YOLOv3、YOLOv5s、YOLOv7-tiny分别提升了14.5、9.0、5.3、7.1、5.2、4.2、5.1个百分点,在检测速度和模型体积方面,YOLOv5s-OCG有最快的检测速度,同时所需的内存空间最少. 另外,与用于缺陷检测的轻量化模型相比,本研究算法的平均精度均值较YOLOv5s-GhostNet、YOLOv5s-shufflenetv2模型分别提升了8.6个百分点和10.9个百分点,虽然检测速度和模型大小不如轻量化模型,但96帧/s的检测速度和5.64×106的计算量已经满足实时检测的要求. 经综合比较,YOLOv5s-OCG较其他主流目标检测算法,拥有更稳定的性能,更适合于实际场景的轨枕裂纹检测任务.

表 3   经典算法模型与轻量化模型对比实验结果

Tab.3  Comparison experimental results between classic algorithm models and lightweight models

ModelPrecision/%Recall/%mAP@0.5/%FPS/(帧·s−1)P/106
Faster-RCNN41.943.832.612137.10
SSD40.354.438.13126.23
CenterNet43.656.141.87032.62
RetinaNet41.154.840.06428.55
YOLOv342.559.741.9889.31
YOLOv5s44.459.742.9947.03
YOLOv7-tiny43.156.842.0896.03
YOLOv5s-GhostNet40.856.138.51073.71
YOLOv5s-shufflenetv240.153.536.21100.84
YOLOv5s-OCG46.262.147.1965.64

新窗口打开| 下载CSV


为了更切实地证明本研究算法的优越性,如图9所示给出了改进前后算法在不同环境下的检测效果图和GradCam热力图. 可以看出,原YOLOv5s算法对越明亮的图片检测效果越好,随亮度降低对细小裂纹的漏检情况越严重. 本研究所提的YOLOv5s-OCG,在各种背景条件下,相较于原YOLOv5s算法对细小裂纹的识别能力更强,漏检率更低,进而验证了改进算法的优越性.

图 9

图 9   改进算法前后检测效果图和热力图

Fig.9   Detection effect and heatmaps under conditions before and after algorithm improvement


4. 结 论

(1)为了有效解决铁路轨枕裂纹缺陷的有效识别,提出基于图像处理的改进YOLOv5算法提高裂纹缺陷检测识别的效率,通过改进YOLOv5算法,将不同卷积核提取的特征拼接以全面提取输入图像中的各类裂纹特征. 经消融实验分析,全维动态卷积的改进在原YOLOv5s的基础上,精确率、召回率、平均精度均值分别提升了0.7、1.4、2.0个百分点,验证了全维动态卷积改进的有效性.

(2)为了使模型满足实时性检测的需求,通过ConvNeXt结构和深度可分离卷积改进得到轻量化的C3模块. 改进后的C3模块使YOLOv5模型的参数量减少19.7个百分点,检测速度达96帧/s,同时保持了检测精度的稳定性,更便于模型的部署应用.

(3)为了解决细小裂纹特征在深度网络传播过程中丢失导致裂纹漏检的问题,使用尺度优化的加权GFPN特征融合网络改进YOLOv5的特征融合层,加强浅层网络与深层网络间的特征传播,改进后GFPN网络,在YOLOv5s的基础上,精确率、召回率、平均精度均值分别提升了1.4、2.1、3.3个百分点,大大地提升了细小裂纹特征的识别能力,减少了漏检情况.

(4)实验证明,改进的YOLOv5s算法在轨枕缺陷识别的精确率、召回率、平均精度均值上分别提升了1.8、2.4和4.2个百分点,在细小裂纹漏检识别方面优势明显,识别速度快、内存占比小,能有效提高轨枕裂纹缺陷检测识别精度.

本研究提出改进算法,显著提升了轨道裂纹缺陷的检测精度,为小目标裂纹类检测提供了一种解决思路,但光照不均、轨枕表面污物、数据样本多样性不足等因素仍然会对检测结果造成影响. 可以通过有效采集各时间段、各运营区域的真实路况图片数据,利用生成对抗网络合成多样化的裂纹数据样本,并结合迁移学习提升模型识别能力. 下一步计划融合轨枕裂纹的视觉检测和轨枕声纹检测、铁轨寿命预测模型和深度学习方法,多角度综合验证轨枕的缺陷尺寸和位置,使得轨枕裂纹识别更加精准可靠.

参考文献

李修文, 曾承志, 杨荣华, 等

轨道故障引发的轮轨冲击特征研究

[J]. 城市轨道交通研究, 2022, 25 (1): 122- 126

[本文引用: 1]

LI Xiuwen, ZENG Chengzhi, YANG Ronghua, et al

Research on the characteristics of wheel rail impact caused by rail fault

[J]. Urban Mass Transit, 2022, 25 (1): 122- 126

[本文引用: 1]

侯学良, 单腾飞, 薛靖国

深度学习的目标检测典型算法及其应用现状分析

[J]. 国外电子测量技术, 2022, 41 (6): 165- 174

[本文引用: 1]

HOU Xueliang, SHAN Tengfei, XUE Jingguo

Analysis of typical target detection algorithm based on deep learning and its application status

[J]. Foreign Electronic Measurement Technology, 2022, 41 (6): 165- 174

[本文引用: 1]

WANG Y, ZHANG K, WANG L, et al

An improved YOLOv8 algorithm for rail surface defect detection

[J]. IEEE Access, 2024, 12: 44984- 44997

DOI:10.1109/ACCESS.2024.3380009      [本文引用: 1]

GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 580–587.

[本文引用: 1]

REN S, HE K, GIRSHICK R, et al

Faster R-CNN: towards real-time object detection with region proposal networks

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39 (6): 1137- 1149

DOI:10.1109/TPAMI.2016.2577031      [本文引用: 1]

LIU W, DRAGOMIR A, DUMITRU E, et al. SSD: single shot multibox detector [C]// European Conference on Computer Vision. Cham: Springer, 2016: 21–37.

[本文引用: 1]

薛雅丽, 贺怡铭, 崔闪, 等

基于改进YOLOv5的SAR图像有向舰船目标检测算法

[J]. 浙江大学学报: 工学版, 2025, 59 (2): 261- 268

[本文引用: 1]

XUE Yali, HE Yiming, CUI Shan, et al

Oriented ship detection algorithm in SAR image based on improved YOLOv5

[J]. Journal of Zhejiang University: Engineering Science, 2025, 59 (2): 261- 268

[本文引用: 1]

REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779–788.

[本文引用: 1]

李鑫, 李香蓉, 汪诚, 等

基于改进YOLOv5的航空发动机表面缺陷检测模型

[J]. 激光与光电子学进展, 2023, 60 (16): 304- 313

[本文引用: 1]

LI Xin, LI Xiangrong, WANG Cheng, et al

Aero-engine surface defect detection model based on improved YOLOv5

[J]. Laser & Optoelectronics Progress, 2023, 60 (16): 304- 313

[本文引用: 1]

汪沛洁, 谌雨章, 王诗琦, 等

基于改进YOLOv5的鱼群小目标检测优化算法

[J]. 湖北大学学报: 自然科学版, 2024, 46 (1): 14- 24

[本文引用: 1]

WANG Peijie, CHEN Yuzhang, WANG Shiqi, et al

Optimization algorithm of fish shoal small target detection based on improved YOLOv5

[J]. Journal of Hubei University: Natural Science, 2024, 46 (1): 14- 24

[本文引用: 1]

王宏志, 宋明轩, 程超, 等

基于改进 YOLOv5 算法的道路目标检测方法

[J]. 吉林大学学报: 工学版, 2024, (9): 2658- 2667

[本文引用: 1]

WANG Hongzhi, SONG Mingxuan, CHENG Chao, et al

Road object detection method based on improved YOLOv5 algorithm

[J]. Journal of Jilin University: Engineering and Technology Edition, 2024, (9): 2658- 2667

[本文引用: 1]

令雅莉, 杨桂芹, 张又元, 等

基于改进算法YOLOv5+的混凝土轨枕裂纹检测

[J]. 铁道标准设计, 2024, 68 (4): 70- 77

[本文引用: 1]

LING Yali, YANG Guiqin, ZHANG Youyuan, et al

Crack detection of concrete sleeper based on improved algorithm YOLOv5+

[J]. Railway Standard Design, 2024, 68 (4): 70- 77

[本文引用: 1]

王琳毅, 白静, 李文静, 等

YOLO系列目标检测算法研究进展

[J]. 计算机工程与应用, 2023, 59 (14): 15- 29

DOI:10.3778/j.issn.1002-8331.2301-0081      [本文引用: 1]

WANG Linyi, BAI Jing, LI Wenjing, et al

Research progress of YOLO series target detection algorithms

[J]. Computer Engineering and Applications, 2023, 59 (14): 15- 29

DOI:10.3778/j.issn.1002-8331.2301-0081      [本文引用: 1]

GUO S, LI L, GUO T, et al

Research on mask-wearing detection algorithm based on improved YOLOv5

[J]. Sensors, 2022, 22 (13): 4933

DOI:10.3390/s22134933      [本文引用: 1]

LI C, ZHOU A, YAO A. Omni-dimensional dynamic convolution [C]// International Conference on Learning Representations. Appleton: [s.n.], 2022(1181): 1–20.

[本文引用: 1]

YANG B, BENDER G, LE Q V, et al. Condconv: conditionally parameterized convolutions for efficient inference [J]. Advances in Neural Information Processing Systems, 2019, 32.

[本文引用: 1]

CHEN Y, DAI X, LIU M, et al. Dynamic convolution: attention over convolution kernels [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 11030–11039.

[本文引用: 1]

LIU Z, MAO H, WU C Y, et al. A ConvNet for the 2020s [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 11966–11976.

[本文引用: 1]

LIU Z, LIN Y, CAO Y, et al. Swin transformer: hierarchical vision transformer using shifted windows [C]// IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 9992–10002.

[本文引用: 1]

刘欢, 李云红, 张蕾涛, 等

基于MA-ConvNext网络和分步关系知识蒸馏的苹果叶片病害识别

[J]. 浙江大学学报: 工学版, 2024, 58 (9): 1757- 1767,1780

[本文引用: 1]

LIU Huan, LI Yunhong, ZHANG Leitao, et al

Identification of apple leaf diseases based on MA-ConvNext network and stepwise relational knowledge distillation

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (9): 1757- 1767,1780

[本文引用: 1]

朱宏禹, 韩建宁, 徐勇

基于改进型YOLOv5s的印刷线路板瑕疵检测

[J]. 国外电子测量技术, 2023, 42 (3): 152- 159

[本文引用: 1]

ZHU Hongyu, HAN Jianning, XU Yong

Printed circuit board blemishes detection based on the improved YOLOv5s

[J]. Foreign Electronic Measurement Technology, 2023, 42 (3): 152- 159

[本文引用: 1]

TAN M, PANG R, LE Q V. EfficientDet: scalable and efficient object detection [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 10778–10787.

[本文引用: 1]

ZHAO C, SHU X, YAN X, et al

RDD-YOLO: a modified YOLO for detection of steel surface defects

[J]. Measurement, 2023, 214: 112776

DOI:10.1016/j.measurement.2023.112776      [本文引用: 1]

曹建斌. 基于深度学习的高速铁路混凝土轨枕裂纹检测[D]. 上海: 上海大学, 2020.

[本文引用: 1]

CAO Jianbin. Crack detection of railway concrete sleeper based on deep learning [D]. Shanghai: Shanghai University, 2020.

[本文引用: 1]

李飞, 胡坤, 张勇, 等

基于混合域注意力YOLOv4的输送带纵向撕裂多维度检测

[J]. 浙江大学学报: 工学版, 2022, 56 (11): 2156- 2167

[本文引用: 1]

LI Fei, HU Kun, ZHANG Yong, et al

Multi-dimensional detection of longitudinal tearing of conveyor belt based on YOLOv4 of hybrid domain attention

[J]. Journal of Zhejiang Universit: Engineering Science, 2022, 56 (11): 2156- 2167

[本文引用: 1]

王安静, 袁巨龙, 朱勇建, 等

基于改进YOLOv8s的鼓形滚子表面缺陷检测算法

[J]. 浙江大学学报: 工学版, 2024, 58 (2): 370- 380

[本文引用: 1]

WANG Anjing, YUAN Julong, ZHU Yongjian, et al

Drum roller surface defect detection algorithm based on improved YOLOv8s

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (2): 370- 380

[本文引用: 1]

HAN K, WANG Y, TIAN Q, et al. GhostNet: more features from cheap operations [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 1577–1586.

[本文引用: 1]

MA N, ZHANG X, ZHENG H T, et al. Shufflenet v2: practical guidelines for efficient cnn architecture design [C]// European Conference on Computer Vision. Berlin: Springer, 2018: 116–131.

[本文引用: 1]

/