基于改进YOLO-v8的精密管件表面缺陷检测方法
Surface defect detection method of precision pipe fittings based on improved YOLO-v8
收稿日期: 2024-05-6
| 基金资助: |
|
Received: 2024-05-6
| Fund supported: | 国家自然科学基金资助项目(62374074);浙江省“尖兵领雁”研发攻关计划(2024C04028);嘉兴市公益性研究计划项目(SQGY202400009);校企合作项目(00523144);海盐重点研发计划项目(2024ZD03);嘉兴大学人才项目(CD70623008);浙江省大学生科技创新训练计划项目(2023R417A030);嘉兴大学SRT科技创新训练计划项目(8517231497,8517231255,8517231256,8517231279,8517231493). |
作者简介 About authors
刘子豪(1988—),男,副教授,博士,从事工业产品在线无损检测技术研究.orcid.org/0009-0006-4837-5575.E-mail:
随机缺陷具有微尺度、形态和类型多样的特点,传统机器学习模型的缺陷检测精度和泛化性能欠佳,为此提出基于改进YOLO-v8的多源管件表面缺陷检测方法. 为了获取管件全局信息,构建基于焦距可调的管件全表面图像采集系统,对不同类型管件样本进行快速、高效的高清成像. 针对样本来源多样性问题,在YOLO-v8模型的主干特征提取模块中嵌入渐进特征金字塔网络(AFPN)架构,在瓶颈卷积特征层中融合封装-激励(SE)注意力机制,有效提升缺陷检测模型的泛化性. 通过视频抽取关键帧及静态定焦拍摄相结合的方式,对标定后的图像构建训练集和测试集,采用改进YOLO-v8算法自动识别管件表面缺陷. 实验结果表明,所提方法在推理阶段的检测mAP50为82.2%,相比传统YOLO-v8提升了3.1个百分点. 该结果为金属目标的缺陷通用性检测提供了参考.
关键词:
Random defects are characterized by micro-scale, various forms and rich types, and the defect detection accuracy and generalization performance of traditional machine learning models are ordinary. Based on the improved YOLO-v8, a multi-source pipe fitting surface defect detection method was proposed. In order to obtain global information on pipe fittings, a whole-surface image acquisition system based on the adjustable focal length of pipe fittings was constructed, and high-definition imaging of different types of pipe fittings was conducted quickly and efficiently. For the diverse sample sources, the asymptotic feature pyramid network (AFPN) architecture was added to the backbone feature extraction module of the YOLO-v8 model, and the squeeze-and-excitation (SE) attention mechanism was embedded in the bottleneck convolution feature layer to effectively improve the generalization of defect detection model. A training set and a test set were constructed by combining the video extraction of keyframes and static fixed-focus images, and the improved YOLO-v8 algorithm was used to automatically identify the surface defects of pipe fittings. Experimental results showed that the detection mAP50 of the proposed method in the inference stage was 82.2%, which was improved by 3.1 percentage points compared to the traditional YOLO-v8. The results provide a reference for the universal defect detection of metal targets.
Keywords:
本文引用格式
刘子豪, 张佳欣, 薛峰, 张俊, 陈伟杰, 鹿业波.
LIU Zihao, ZHANG Jiaxin, XUE Feng, ZHANG Jun, CHEN Weijie, LU Yebo.
深度学习技术发展迅速,涌现出一批金属管件的快速检测技术与装备,高质量成像和高精度缺陷检测是构造金属管件检测装备的重要研究课题.
在机器视觉系统搭建方面,Wen等[1]使用双线阵相机采集轴承内部圆柱滚子的柱状图,该方法有效提高了图像获取的稳定性. Tao等[2] 考虑光源照射在轴承外观缺陷上形成的光度差异,探索融合2种不同的打光方式,实现对滚动滚子面的连续图像采集. 为了显示细粒度缺陷,Xu等[3] 对光源构造方案进行优化,所设计的偏振光滤波方法能够有效解决圆柱金属表面微尺度缺陷难以成像的问题. Feyza等[4] 应用立体视觉成像技术,使用电荷耦合元件(charge-coupled device, CCD)相机拍摄金属零件不同侧面的多幅图像,采用尺度不变特征变换(scale-invariant feature transform, SIFT)算法形成多角度图像,由此获得目标的全表面图像. 上述研究在部分金属材料上进行图像采集的硬件设计工作,没有针对不同形态管件的图像采集解决方案.
在金属目标表面缺陷识别的算法构造方面,姜乐兵等[5] 提出基于粒子群优化Gabor 滤波器的钢板表面缺陷检测方法,解决了钢板表面缺陷形态差别大、对比度低、无法准确检测的问题. 郭浩然等[6] 提出在水下目标识别场景中使用的轻量化图像语义分割网络,该网络的推理速度达到258.84 帧/s,平均交并比为53.55%,满足水下实时检测速度的要求. 崔克彬等[7] 提出基于改进卷积块注意力模块(convolutional block attention module,CBAM)、自适应空间特征融合结构(adaptively spatial feature fusion,ASFF)及四头ASFF预测头的YOLO-v8钢材表面缺陷检测算法,用于解决基于深度学习的钢材表面缺陷检测算法存在的误检、漏检和检测精度低等问题. 王春梅等[8] 提出轻量级的带钢表面缺陷检测模型YOLOv8-VSC,解决了带钢表面缺陷检测领域中小型企业检测终端设备计算能力和资源有限的问题. Zheng等[9] 提出基于形态学和遗传算法的智能方法检测了颠簸金属表面的结构缺陷. Stivanello等[10] 提出基于圆度和面积特征的最小距离分类器,用来检测罐头铆钉断裂缺陷. Sun等[11] 提出基于机器视觉的焊缝缺陷检测与分类算法,进行薄壁金属罐焊缝缺陷的有效识别和分类. 上述研究大多集中在目标物上区域成像和显著缺陷检测,未涉及目标的全表面信息获取方法和外观表面的小目标缺陷检测方法的研究.
本研究面向管件表面的缺陷检测,设计在线实时检测方法:1) 构建基于参数柔性变动的管件采图系统,实现相机在可变参数下获取最优管件图像;2) 在YOLO-v8模型中嵌入渐进特征金字塔网络(asymptotic feature pyramid network, AFPN)架构,并在瓶颈卷积特征层中融合封装-激励(squeeze-and-excitation, SE)注意力机制,提升缺陷检测模型的泛化性;3) 通过视频抽取关键帧及静态定焦拍摄相结合的方式,提升算法的执行效率.
1. 材料与方法
1.1. 实验材料获取
实验样本一部分来自浙江迈思特液压管件股份有限公司,另一部分采购于嘉兴经开区五金城. 样本类型主要包括直通管件、二通管件和三通管件. 前期调研发现,管件表面的缺陷主要有4类:磕碰、裂纹、锈迹和毛刺. 磕碰由运输震动或除毛刺时金属件相互碰撞导致,呈弧形或带有直线型沟槽,主要分布在管件的外表面,尤其是外螺纹接口处. 裂纹是呈直线型或波浪线状的黑色纹路,多由不良的制造工艺引起. 锈迹是金属与空气接触后发生氧化反应生成的红褐色状物质,附着在金属表面,形成原因是管件存放的环境过于潮湿. 毛刺形成与剪刃的重合度、加工间隙以及设备老化等因素有关,是在管件剪切截面上产生的余屑和极细小的显微金属颗粒. 依据管件表面缺陷类别构建数据集,其中磕碰数据集、裂纹数据集、锈迹数据集和毛刺数据集含有的图片数量分别为3 869、2 697、1 578和419张,4种缺陷在直通、二通和三通管件产品中均存在,而且位置分布随机,部分带有缺陷的管件图像如图1所示.
图 1
1.2. 构建管件采图的机器视觉系统
为了获取高清晰度、无高光区的管件图像样本,搭建多目标成像系统,组成部件包括CCD工业相机、动态旋转圆盘、工控机、固定相机和环形光源. 为了实现均匀性较好的扩散照明,减小装置所占空间,获取较好的管件表面轮廓特征,选用型号为KM-2RND7035A30的LED环形光源. 为了获取管件全局信息且成像物距动态可调的采图系统,根据变焦相机的成像特点,对基于摄影行业常用的白纸高反光材料进行反复折叠,形成类似扇页形态的可拉伸结构,构造类似变焦相机的成像方案,解决在采图系统中焦距固定带来的某些缺陷区域成像模糊的问题,实现工业相机成像清晰度的最优调节. 管件全表面图像采集系统如图2所示. 2款海康威视CCD工业相机型号分别为MV-CE200-11UC和MV-CA016-10UC;前者为2 000万像素的USB 3.0彩色相机,采集管件目标表面的细微磕碰和裂纹缺陷;后者为160万像素的网口面阵彩色相机,采集管件目标表面的锈迹和划痕. 定焦镜头使用固定焦距,为了满足不同大小管件的成像需求,采用3种型号分别为MVL-HF5024M-10MP、MH0420S、MVL-KF5024M- 25MP的可替换工业镜头,镜头与可调物距的扇页系统匹配使用以获取高清晰图像. 管件图像采集的机器视觉系统如图3所示.
图 2
图 2 管件图像采集装置示意图
Fig.2 Schematic diagram of image acquisition device of pipe fittings
图 3
图 3 管件图像采集的机器视觉系统
Fig.3 Machine vision system for image acquisition of pipe fittings
1.3. 特定管件图像采集方案
图像采集装置和图像采集软件共同构成图像采集系统,通过铝型材、柔光板、环形光源搭建的采图装置以及摄像机自带MVS软件对管件进行拍摄. 不同管件采取不同的拍摄采图方式. 对于圆柱形直通管件,当圆盘转速为10 r/s时,将管件平稳放置于圆盘中心,开启摄像头,拍摄超过10 s的视频并保存. 抽取视频中的关键帧,得到待处理的管件图像. 为了避免出现样本冗余导致的图像检测模型泛化性不高的问题,基于像素当量精确计算管件的高亮区域所占弧长对应的圆心角度,计算获取该管件全表面的最少帧数,提取关键帧图像. 柱面成像如图4(a)所示,光源位于圆柱金属管件顶部,沿圆周方向形成3个伞状弧面;图4(b)中,长线代表外径,短线代表亮光长度,以原图管件上下截面边缘为基准扩增20个像素点,管件左右边缘各扩增50个像素点进行子图截取. 在获取圆柱形管件全局图像的前提下,通过计算基于单个相机可视区域覆盖的最小角度来确定需要的相机数量,该角度取决于管件表面突出的3个伞状弧面中最小的一个,弦长
图 4
式中:
式中:
1.4. 基于改进YOLO-v8的管件表面缺陷检测方法
采用YOLO-v8基准模型实现对不同类型、不同来源的管件表面缺陷的目标检测:待检目标表面出现的缺陷由训练模型推理生成矩形框,实现快速标定. YOLO-v8是由Hussain提出的深度卷积神经网络模型[12],在主干网络中,YOLO-v7的C3被替换成跨阶段双卷积特征 (cross stage partial bottleneck with 2 convolutions, C2f)模块,借鉴YOLO-v7的增强型层级聚合网络(effective long-range aggregation network, ELAN)结构,有更多的分支跨层链接,在使模型轻量化的同时,也使模型获得了更丰富的梯度流信息. 相比YOLO-v7的C3模块,C2f在全连接层和卷积层之间建立平滑的转换,实现了参数的共享,提高了模型的效率和泛化能力. YOLO-v8逐渐成为深度学习领域中的主流网络模型,被广泛用于人工智能研究中,包括农业目标识别算法[13]、牛脸识别[14]、自动驾驶[15]、智能安防[16]、伪彩色自动生成[17]等,应用场景丰富.
把YOLO-v8模型直接运用在管件表面多种缺陷的识别中存在以下问题. 1)管件表面缺陷形态不统一:在实际生产中,缺陷产生的原因包括工艺过程不完备、加工装备不稳定、人工参数设置错误、产品在运输中相互剐蹭等,都可能导致管件表面产生缺陷,这些缺陷的颜色、形状、表面纹理、沟壑等各不相同,会直接影响算法的识别效果. 2)多批次管件样本来源多样:将基准YOLO-v8算法应用于所构建数据集中,算法在特定场景中的测试精度较高,但测试样本集更新,模型识别精度会呈现箱体震荡规律,不同批次的管件类样本缺陷在外观特征的表达上出现无法统一的矛盾. 改进YOLO-v8网络结构的目的是最大限度地适应管件样本来源的多样性,提高缺陷检测算法的泛化性能. 本研究改进YOLO-v8算法,在特征提取层主干网络后面接续的3个C2f模块的瓶颈层中嵌入有效多尺度卷积(efficient multi-scale convolution,EMSC)模块和SE注意力机制,采用Inner-CIoU损失函数替换传统CIoU损失函数,将颈层的FPN架构替换为AFPN架构.
1.4.1. 引入尺度因子改进现有损失函数
通过引入渐进性特征融合和针对不同采样率的自适应操作,改进YOLO-v8卷积神经网络检测模型的主干网络层,Inner-CIoU损失函数通过辅助边框计算IoU损失,引入尺度因子
式中:(
1.4.2. 引入渐进特征金字塔网络架构丰富图像多尺度特征
传统FPN在特征融合时直接融合所有层特征,本研究引入AFPN,采用渐进特征融合的方式逐步集成低级别、高级别和最高级别的特征,使得在不同层次特征之间的语义差距在融合过程中逐渐减小,有利于捕捉图像中的语义信息. 如图5所示,CBS表示把传统卷积层加入归一化层,再结合SiLU函数以使模型学习更复杂的映射关系;BasicBlock表示位于颈部模块中进行特征提取;AFPN根据特定采样率选择不同卷积核和步长执行特征采样,不仅适应不同图像尺度,还能够缩放目标缺陷在图像中的尺度.
图 5
图 5 渐进特征金字塔网络的结构流程图
Fig.5 Structure flowchart of asymptotic feature pyramid network
1.4.3. 在瓶颈卷积特征层中融合封装-激励注意力机制
图 6
图 6 有效多尺度卷积模块示意图
Fig.6 Schematic diagram of efficient multi-scale convolution module
式中:
图 7
图 7 改进YOLO-v8检测模型结构示意图
Fig.7 Structure schematic diagram of improved YOLO-v8 detection model
1.5. 管件缺陷的热力图生成方法
把所提方法扩展到单通管件、二通管件、三通管件以及多通管件的目标检测和缺陷识别任务中,针对不同类型的管件进行特征可视化,实现对网络中高层特征的精准提取和优化,探明管件在何种特征下对检测效果提供较大贡献,明确图像在经过主干网络特征提取层后得出的图像特征区域对管件缺陷检测的贡献较大,并进行特征区域的定位和目标关注. 可视化步骤如下. 1)梯度计算:初始化YOLO-v8网络,计算带类别标签的输出值和主干网络模块中特征图的中间输出结果,在每一轮反向传播中,通过计算获取不同管件类图像相对于主干网络模块中目标层各特征图的梯度,保留有效梯度. 2)偏差计算:对目标层的梯度进行全局平均池化处理,将处理后的梯度矩阵与目标层的输出矩阵进行点乘处理,得到初始化的矩阵灰度图. 3)生成热力图:热力图是灰度图像,灰度值的范围为0~255,灰度图在人眼中表达的层次差异感不强烈,为此增强对比度,添加不同特征在颜色上的表现力,借助伪彩色图像处理算法对梯度图求均值,得到的标量放到原图中,进行不同色彩颜色的添加,即可形成对应不同特征权重的彩色图.
2. 实验结果与分析
2.1. 数据来源
深度学习硬件平台为 DELL P5820台式电脑,Intel(R) Core(TM) i9-10900X CPU@ 2.40 GHz 处理器,显卡型号为RTX4090 24 G显存(涡轮增压版),内存为32 GB,采用Pytorch深度学习架构在Pycharm软件平台上实现程序功能. 图像样本由所搭建的系统获取,把管件放在旋转圆盘整转一周,每隔10帧抽取关键帧图像,再采用LabelImg软件标注管件表面缺陷. 训练样本在实验室条件下拍摄获取,采集到的图像总数为8 563张,其中训练集、验证集和推理集分别包含5 000、2 000和1 563张图像. 基准YOLO-v8模型的预训练超参数:学习率为0.01,每批次导入网络训练的样本量为8,交并比IoU=0.65,模型训练迭代轮次epoch=100,权重每层衰减速度为0.001,梯度下降中动量为0.9.
2.2. 管件检测的可视化结果与分析
为了完成对管件表面缺陷区域的有效筛选,从所构建的管件数据集中任意挑选3种缺陷类别导入改进的YOLO-v8模型中生成热力彩色图,结果如图8所示. 在可视化区域中,深色区域大部分集中于管件表面缺陷区域,包含关于管件缺陷部分的卷积特征,尤其是锈迹图像,表明该区域特征模式可以较好地表达管件锈迹特征对识别准确率的贡献. 有些色块区域的方向与缺陷所在方向垂直,包裹了一些标记管件缺陷的矩形框覆盖的背景区域,表明热力彩色图生成的部分与标签标记的矩形框区域具有重要正相关关系,因此生成的热力图可以反向修正所选取训练图像的准确度,这为提高模型对管件表面不同类型的缺陷检测提供了重要参考,也为引入AFPN对YOLO-v8模型进行改进指明了方向.
图 8
2.3. 改进YOLO-v8算法消融实验结果与分析
为了验证YOLO-v8模型3条改进模块的有效性,进行消融实验,结果如表1所示. 表中,++表示增添模块,--表示删减模块,P为模型精度、mAP50为平均准确率、NP为模型参数量、FLOPs为浮点运算量. 由表可知,与基准模型YOLO-v8相比,模型甲到己在训练阶段的模型精度均有一定提升,表明所提的3种网络改进模块均有效. 例如,通过辅助边框计算IoU损失,引入尺度因子,将现有损失函数CIoU更新为Inner-CIoU,对不同类型管件外观存在的多尺度、多类型的缺陷模式均可实现损失函数的精准计算,对应的甲模型在训练阶段mAP50相较于原算法提高了0.7个百分点. 乙模型引入AFPN,使得不同层特征之间的语义差异在融合过程中逐渐减小,有助于更好捕捉图像中的语义信息,同时在基准模型基础上进一步适应图像中尺度缩放的变化,模型mAP50提高了2.3个百分点,并且参数量相较YOLO-v8 模型减少了 7.0×106. 丙模型虽然引入在模式识别领域常见的SE注意力机制方法,也在YOLO-v8特征提取模块的瓶颈中加入EMSC结构,该结构与SE注意力机制算法配合使用,可以减小非相邻层次特征之间的语义差距,增强多级融合特征的表达能力. 在原始YOLO-v8上采用该方法后,模型mAP50提高了0.6个百分点. 综上所述,与传统YOLO-v8算法相比,所提算法在模型参数量和浮点运算量方面稍有增加,但在mAP50上表现良好.
表 1 改进YOLO-v8检测模型的模块消融实验结果
Tab.1
| 模型名称 | Inner-CIoU | AFPN | SE | P | mAP50/% | NP/106 | GFlops |
| YOLO-v8 | -- | -- | -- | 0.731 | 80.5 | 74.2 | 93.1 |
| 甲 | ++ | -- | -- | 0.785 | 81.2 | 67.7 | 99.4 |
| 乙 | -- | ++ | -- | 0.758 | 82.8 | 81.2 | 87.6 |
| 丙 | -- | -- | ++ | 0.764 | 81.1 | 84.9 | 94.8 |
| 丁 | ++ | ++ | -- | 0.812 | 83.1 | 76.3 | 92.2 |
| 戊 | ++ | -- | ++ | 0.779 | 82.3 | 68.7 | 96.9 |
| 己 | -- | ++ | ++ | 0.782 | 82.1 | 84.1 | 89.3 |
| 本研究 | ++ | ++ | ++ | 0.795 | 83.5 | 78.9 | 95.5 |
2.4. 管件表面缺陷检测结果与分析
为了评估所提算法的效果,引入4个指标. 1)真阳性TP,表示实际为正样本,预测结果也为正样本; 2)真阴性TN,表示实际为负样本,预测结果也为负样本; 3)假阳性FP,表示实际为负样本,预测结果为正样本; 4)假阴性FN,表示实际为正样本,预测结果为负样本. 在本实验期望得到的结果中,对管件表面缺陷的识别精度越高越好,这导致真阳性和假阴性样本较多,而真阴性和假阳性的样本会大规模减少,可提升模型推理阶段的精确度. 为了评价本预测模型的优劣,引入模型精度P、召回率R、平均准确率mAP50判断改进YOLO-v8算法的效率:
如图9所示为所提算法在检测管件表面缺陷过程中的训练阶段和推理阶段中,损失函数(检测损失函数L1、分类损失函数L2、真实度损失函数L3)、准确率以及召回率随迭代轮次的曲线走势图. 在训练阶段,分类损失函数曲线的变化趋势基本在前20轮附近迅速下降,快速收敛到对应分类损失函数的最小值,之后下降速度开始逐渐放缓,原因在于改进策略主要在主干网络特征提取层引入AFPN架构丰富图像多尺度特征,对不同来源管件表面产生的不同尺寸、不同颜色以及不同纹理的缺陷均具有较高的识别精度,在特征的多尺度上具备较好的泛化性和鲁棒性. 改进的算法在特征提取层瓶颈中嵌入的SE注意力模块,通过引入渐进性的特征融合,可有效减小非相邻层次特征之间的缺陷尺度偏差,在管件表面缺陷形态不统一的问题上给出最优解. 在网络的前15层提取的缺陷特征对管件质量等级的判别起关键作用,后期为了提升所提方法的效率,模型可缩减为具有15层结构的精简网络. 在推理阶段,随着迭代次数增加,损失函数和准确率的变化趋势总体保持一致,在前25轮的推理测试中,曲线收敛速度较快,可以完成管件表面缺陷的精准定位.
图 9
图 9 改进YOLO-v8检测模型的损失函数和准确率曲线走势图
Fig.9 Plot of improved YOLO-v8 detection model’s loss function and accuracy curve
从训练阶段模型准确率、验证阶段模型准确率、权重参数、推理时间t等4个方面将所提方法与YOLO系列方法和传统具有代表性的机器视觉算法进行对比,结果如表2所示,其中推理准确率和时间是基于推理集合中样本计算得到的平均值. YOLO系列方法在目标检测准确率方面优于传统多层感知器算法,所提方法针对管件表面缺陷的多尺度特征在模型的时间和空间复杂度方面进行了算法的重新设计,因此在获得较高识别率的同时增加了时间成本. 所提方法的mAP50优于YOLO系列方法,相比于官方公布的YOLO-v8,在训练阶段和推理阶段分别提升了3.0个百分点和3.1个百分点,这在一定程度上说明,所提算法在解决管件来源多样性和缺陷多尺度性的问题上表现较优,且具有较好的管件缺陷特征表达能力. 在周围环境光较暗和缺陷尺度无法被精准标记的情况下,所提方法的检测准确率有一定程度的下降,原因主要是在主干网络特征提取层中,管件的裂纹和磕碰缺陷的表面黑色块状特征与周围环境黑色区域在被提取的矩阵向量中具有一定的相似性,因此在推理阶段,存在错误识别的情况,导致总体精度的下降.
表 2 不同检测方法的性能对比结果
Tab.2
在5类管件缺陷样本混合组成的数据集中开展实验,并从准确率和推理时间评估模型2个方面验证所提方法的有效性. 在推理阶段,每个类别选择若干样本进行推理实验,最终每类的结果为综合若干样本结果的平均值,如表3所示. 表中,裂纹-1表示圆柱形直通小管件裂纹,裂纹-3表示三通管件裂纹. 在推理阶段,对于磕碰、裂纹、锈迹、毛刺,准确率差异较大. 磕碰、锈迹的mAP50值较低,分别为78.2%和81.6%,原因是在磕碰数据集中,检测目标尺寸过小,特征提取使有助于识别该类缺陷的浅层特征逐渐丢失. 对于毛刺类缺陷,mAP50=77.8%,原因是前期在工厂收集的毛刺类管件样本较少,导致在图像采集阶段拍摄的样本量较少,而且毛刺的目标尺度过小,不足以在网络训练过程中形成有效的对最终识别结果产生积极贡献的特征,因此在模型训练完成后,模型更倾向于表达那些特征显著的缺陷类型. 对于裂纹-1和裂纹-3,mAP50分别为97.3%和90.8%,出现此种差异的原因在于,直通管件表面出现的裂纹缺陷尺度相比于三通管件更为明显,在裂纹的形态、纹理上更易判别,当神经网络进行特征卷积逐层迭代形成关于裂纹高层特征时,更倾向于表达明显的裂纹特征,导致裂纹-1的检测mAP50高于其他缺陷. 所提算法应用于金属管件的实时检测系统,由表可知,5类管件缺陷中每类推理时间均不超过50 ms,这意味着系统在选用实时工业相机时,不用过于考虑算法的消耗时间,选用帧率为50 帧/s(每20 ms采集1张)的高分辨率相机,加上相机拍摄和识别的时间总共不超过0.1 s,可以满足在线实时采集的要求. 基于改进YOLO-v8算法对5种缺陷的检测结果如图10所示.
表 3 改进YOLO-v8检测模型的管件缺陷检测实验结果
Tab.3
| 缺陷类型 | mAP50/% | t/ms | |
| 训练阶段 | 推理阶段 | ||
| 磕碰(bruise) | 83.5 | 78.2 | 25.5 |
| 裂纹-1(crack) | 97.3 | 26.8 | |
| 裂纹-3(crack) | 90.8 | 29.7 | |
| 锈迹(rust) | 81.6 | 33.9 | |
| 毛刺(burr) | 77.8 | 28.2 | |
| 平均值 | 83.5 | 85.1 | 28.8 |
图 10
图 10 改进YOLO-v8检测模型对金属管件5种表面缺陷的检测结果
Fig.10 Detection results of five surface defects on metal pipe fittings with improved YOLO-v8 detection model
3. 结 语
针对目标管件表面缺陷的多尺度和管件来源多样性问题,提出改进YOLO-v8模型的管件表面缺陷检测方法. 在主干特征提取层引入渐进特征金字塔网络架构丰富图像多尺度特征,在特征提取层瓶颈中嵌入封装-激励注意力模块. 所提方法在训练阶段和验证阶段的检测平均准确率分别为83.5%和82.2%;在推理时间和权重占比方面,虽然没有YOLO系列的其他算法表现优秀,但是相比传统的YOLO-v8在检测准确率上分别提升了3个百分点和3.1个百分点. 本研究采用的相机基于二维成像定焦采图,在特定场景下,只能对某个面聚焦,由于研究对象是三维立体管件,成像表面可能会出现在凹凸不平的曲面上,调节相机景深可在一定程度上解决曲率较小的问题,但在一些有较大缺陷的曲面上,缺陷不易被检出. 未来在搭建图像采集装置过程中计划改进现有系统,实现对图像的三维重建,可视化细微的管件缺陷,提升缺陷的检测精度,加速方法的落地应用.
参考文献
Vision-based surface inspection system for bearing rollers using convolutional neural networks
[J].DOI:10.3390/app8122565 [本文引用: 1]
Rolling surface defect inspection for drum-shaped rollers based on deep learning
[J].DOI:10.1109/JSEN.2022.3159743 [本文引用: 1]
Light source optimization for automatic visual inspection of piston surface defects
[J].
Online metallic surface defect detection using deep learning
[J].
基于粒子群优化Gabor滤波器的钢板表面缺陷检测
[J].
Surface defect detection of steel plate based on PSO-Gabor filter
[J].
面向水下场景的轻量级图像语义分割网络
[J].
Lightweight semantic segmentation network for underwater image
[J].
基于MCB-FAH-YOLOv8的钢材表面缺陷检测算法
[J].
Steel surface defect detection algorithm based on MCB-FAH-YOLOv8
[J].
YOLOv8-VSC: 一种轻量级的带钢表面缺陷检测算法
[J].DOI:10.3778/j.issn.1673-9418.2308060 [本文引用: 1]
YOLOv8-VSC: lightweight algorithm for strip surface defect detection
[J].DOI:10.3778/j.issn.1673-9418.2308060 [本文引用: 1]
Automatic inspection of metallic surface defects using genetic algorithms
[J].
A machine vision system for online metal can-end rivet inspection
[J].DOI:10.1088/1742-6596/1335/1/012002 [本文引用: 1]
An effective method of weld defect detection and classification based on machine vision
[J].DOI:10.1109/TII.2019.2896357 [本文引用: 1]
YOLO-v1 to YOLO-v8, the rise of YOLO and its complementary nature toward digital manufacturing and industrial defect detection
[J].DOI:10.3390/machines11070677 [本文引用: 2]
改进的YOLO特征提取算法及其在服务机器人隐私情境检测中的应用
[J].
An improved YOLO feature extraction algorithm and its application to privacy situation detection of social robots
[J].
Pseudo color ghost coding imaging with pseudo thermal light
[J].DOI:10.1016/j.optcom.2017.12.064 [本文引用: 1]
IoT perception layer scheduling deadlock relieving optimization method
[J].
A lightweight model for real-time monitoring of ships
[J].DOI:10.3390/electronics12183804 [本文引用: 1]
/
| 〈 |
|
〉 |

