基于特征与形貌重构的轴件表面缺陷检测方法
Shaft surface defect detection method based on feature and morphology reconstruction
通讯作者:
收稿日期: 2019-05-5
Received: 2019-05-5
作者简介 About authors
冯毅雄(1975—),男,教授,博士,从事现代机械设计理论与方法研究.orcid.org/0000-0001-7397-2482.E-mail:
针对轴件表面缺陷机器视觉检测方法中的水渍残留误检率高和人工复检效率低问题,提出一种基于特征与形貌重构的轴件表面缺陷检测方法. 对轴件工业高速线扫描图像进行预处理,基于改进的阀值迭代算法完成图像分割,通过去除背景、噪点和干扰提取缺陷图像. 建立基于曲线簇包络轮廓的轴件表面缺陷特征模型,结合分割图像各连通域的面积、面积占比、粗短度训练逻辑回归分类器,对凹坑、裂纹和麻点等轴件表面典型缺陷进行识别,并结合图像深度信息进行缺陷形貌重构,消除水渍等伪缺陷,提高轴件表面缺陷检测鲁棒性. 实验结果表明,所提出的轴件表面缺陷检测方法有效,具有较高的缺陷识别率和鲁棒性能,平均识别时间为3.69 s,缺陷轴加权识别率为98.86%,可以对3类典型缺陷和水渍进行准确识别.
关键词:
A surface defect detection method based on feature and morphology reconstruction was proposed, aiming at the problems of high misdetection rate of water stain residue and low efficiency of manual re-inspection in machine vision detection of defects in shaft parts surface. The high-speed industry line scanning image of the shaft part was preprocessed, and image segmentation was completed based on the improved threshold iteration algorithm. Defect image was extracted by removing background, noise, and interference. A surface defect feature model of shaft parts based on envelope contour of curve cluster was established. Combining the area, the proportion of area and coarseness of each connected area in the segmented image, a logistic regression classifier was trained to recognize the typical surface defects of pits, cracks, and pits of shaft parts. Combining with image depth information, defect morphology reconstruction was carried out to eliminate pseudo-defects such as water stain, so as to improve the robustness of surface defect detection of shaft parts. The experimental results show that this method is effective for surface defect detection of shaft parts with high defect recognition rate and robustness. The proposed method has an average recognition time of 3.69 seconds and a weighted recognition rate of 98.86%, which can accurately identify three kinds of typical defects and pseudo-defects.
Keywords:
本文引用格式
冯毅雄, 李康杰, 高一聪, 郑浩, 谭建荣.
FENG Yi-xiong, LI Kang-jie, GAO Yi-cong, ZHEN Hao, TAN Jian-rong.
近年来,基于图像的缺陷检测技术引起了学术界和工业界的广泛关注[3-10]. Mentouri[11]结合二值化统计图像特征提取、相关数据还原方法和k最近邻分类器方法,提高了热轧过程中钢带表面缺陷的识别率. Sayed[12]提出了一种新的纺织行业织物疵点检测算法. 该算法使用熵滤波和最小误差阈值分割,在织物疵点检测中具有良好性能. Li等[13]针对卷烟标签,改进了现有的缺陷检测算法,提出了将最小外接矩形应用于缺陷形状分析,得到了较好的实用性和较高的检测精度. Zhang等[14]针对多纹理图像中轮胎缺陷的检测,提出了一种基于小波多尺度分析的轮胎缺陷检测方法,利用缺陷边缘测量模型对边缘进行检测,以区分缺陷和背景纹理. 何再兴等[15]提出了一种基于缺陷特征与种子填充的轮毂缺陷检测方法,通过山峰定位获得缺陷像素小块,利用种子填充算法快速获得缺陷图像. 王宣银等[16]提出了一种基于多元图像分析的表面缺陷检测算法. 该算法受照明不均匀影响小,提高了图像检测系统的准确性和鲁棒性. 李漫丽等[17]针对木板表面节子缺陷被染料染色后难以识别的问题,利用图像融合技术提出了一种新的木板表面缺陷检测方法,验证结果表明基于Laplacian金字塔算法的融合效果最好. 在轴类零件的缺陷检测领域,Lu等[18]提出了一种快速检测轴类表面缺陷的方法,通过中值滤波、OTSU阈值分割、数学形态学检验缺陷目标,提取轮廓特征,利用SVM对缺陷进行分类. 孙雪晨等[19]设计了缺陷分割算法和缺陷区域标记算法,完成了对凸轮轴表面的外伤、砂眼、研磨不良等典型缺陷的判定.
综上所述,基于图像的缺陷检测技术特别在轴类工件表面检测上的应用还处于起步阶段,现有检测方法存在图像特征误判率高、检测效率不高等问题. 为了提高轴类零件缺陷检测的准确性和鲁棒性,本文提出一种基于特征与形貌重构的轴件表面缺陷检测方法,基于改进的阈值迭代算法完成图像分割,去除背景、噪点与干扰以提取缺陷图像. 结合分割图像各连通域的二维特征与深度信息训练分类器对缺陷类型进行识别,提高水渍等伪缺陷识别能力. 最后,通过实验验证结果的正确性.
1. 轴件检测图像获取与缺陷图像提取
1.1. 轴件检测图像获取
在视觉检测系统中,图像采集系统是缺陷检测系统的基础,直接影响到后续的图像处理算法. 由于待检测的金属轴类零件表面光滑,且表面为空间曲面,无法从面阵相机获取图像. X射线为穿透式检验,获取图像衬比度低且有重影,不利于缺陷特征的提取,因此采用线阵相机扫描的方式. 相对CMOS相机,线性CCD具有分辨率高、光学系统误差易于校正、抗噪声干扰能力强的优点. 通过搭建工业高速线扫描CCD摄像机及照明系统,获取实际生产的轴类图像,如图1所示. 轴类零件具有轴向对称性,两端通过定位孔定位,由电机驱动旋转. 单片机检测接受编码器信号,测量和控制旋转角度. 线性光源和相机与轴垂直布置,线性光源发出光线,反射后相机接受,电机每转动一个位置完成一次扫描,图像上传至主机完成图像拼接,最终得到轴件扫描图像.
图 1
图 1 轴件扫描图像获取系统硬件结构示意图
Fig.1 Hardware structure diagram of shaft scanning image acquisition system
图 2
图 3
图 3 线扫描图像中沿A1、A2、A3直线灰度分布
Fig.3 Gray distribution along lines A1, A2 and A3 in line scanning image
1.2. 轴件高灵敏度图像阈值分割
图 4
采集图像对缺陷灰度值敏感,即阈值分割后要求尽可能多地保留缺陷部分,直接采用迭代阈值法会将部分灰度值较高的缺陷舍去,造成漏检现象,因此需要改进新阈值的求取方法. 设图像灰度值为g(x,y),x、y为图像像素坐标, 改进的迭代阈值法步骤如下.
1)设定迭代停止阈值ε,找出最大和最小像素灰度值Lmax和Lmin,取其中值作为图像的初始阈值:
2)Ti将图像分割成前景和背景(g(x,y)<Ti、g(x,y)>Ti)2个区域,分别计算出两部分的像素数N1、N2以及平均灰度值A0和Ab:
3)求新的阈值:
式中:α和β为权值系数,用于调节所求新阈值中前景和背景所占的比例。当对前景更加敏感时,即阈值分割后要求尽可能多地保留前景部分,β取较大值;当对背景更加敏感时,即阈值分割后要求尽可能多地保留背景部分,α取较大值[20]. 本文所获图像对背景敏感,α取0.995,β取0.005.
4)若
1.3. 轴件缺陷图像提取
对采集轴件的线扫描图像进行分割后,对图像进行背景去除. 图像采集系统两端加持部位为所要去除的背景部分. 经过阈值分割后得到二值图,对二值图像进行取反,如图5所示,两边即为所要去除部位. 二值图竖直方向坐标累加值图如图6所示. 图中,A为二值图竖直方向累加值。图5中沿不同行数二值图值区别较大,累加之后背景部分累加值显著高于孔、键与缺陷部位累加值,并存在明显界限,此处曲线发生陡然变化. 将界限的横坐标值记为tl、t2,对二值图像
图 5
图 5 轴件图像迭代阈值算法处理结果
Fig.5 Processed results of shaft image by iterative threshold algorithms
图 6
图 6 轴件二值图竖直方向累加值
Fig.6 Cumulative value in vertical derection of shaft binary graph
根据采集图像特点进行噪点去除,为避免漏检现象,改进的迭代阈值算法中一些噪点也会被采集. 所述噪点即为灰度值低且面积很小,不会被判断为缺陷的区域. 噪点满足下式则进行去除:
式中:
去除背景与噪点后得到图像img,规则干扰为图像中的孔和键部分,需要去除. 规则干扰有可能存在只扫描一部分的情况,出现孔和键不完整的情况,如图5中实线条矩形所示,在消除干扰时不能将此部分判定为缺陷. 算法实施前首先标记出合格轴图像孔的外接矩形长和宽:Lk和Wk,以及合格轴图像键的外接矩形长和宽:Lj和Wj和形状判定接受度
1) img_m=img; //复制图像
img_m=imclose (img_m);//闭操作除内部斑点
img_m=imopen (img_m);//开操作去除缺陷
img_m=imdilate (img_m);//膨胀处理
2) For (img_m中每一个连通域)
计算最小外接矩形长L、宽W;
If
Then 连通域标记为孔;
If
Then 连通域标记为键;
End;
根据孔、健连通域的位置确定规则干扰竖直方向上周期Δy;
img_m=u_add[Δy,img_m];//上方增加宽度Δy,高度与img_m相同的无缺陷图像
img_m=d_add[Δy,img_m];//同理下方增加
将img_m中最上方完整干扰与最下方完整干扰分别上下复制Δy距离;
img减去img_m中所有连通域部分;
通过以上步骤处理,实现缺陷提取img即为最终获得的缺陷图像.
2. 轴件表面缺陷模型
运用解析几何知识对轴件表面缺陷进行统一建模. 假设各类缺陷轮廓为一曲线族包络线加上噪声组成,曲线族由一系列半径不同的圆组成,曲线族轨迹线为椭圆,缺陷模型如图7所示. 图中,灰度图像为实际缺陷,双点划线为未加噪声的包络曲线,虚线为不同位置处的曲线族,点画线为曲线族轨迹线. x和
图 7
曲线簇可以表示为
式中:a、b分别为曲线族轨迹线的长轴和短轴.
对
联立式(5)和(6)即可得到包络线的参数方程x(θ)和y(θ)。
在此基础上进行缩放与旋转的几何变换,最终得到更加普适的缺陷模型
式中:S为缩放倍数,假设其服从正态分布,概率密度函数为
其中,
图 8
3. 轴件表面缺陷分类
针对提取的缺陷图像,获得与缺陷各个连通域对应的灰度图部分实现基于特征与形貌重构的缺陷分类, 如图9所示. 图中A为面积,在图像中用像素点数表示. 缺陷模型中对缺陷形状有显著影响的参数为曲线簇轨迹线长轴a、短轴b、模型缩放倍数S. 结合轴件表面缺陷模型特点,找出各缺陷连通域,进一步构造连通域面积A、连通域与其最小外接矩形的面积比(面积占比)A/(LW)、最小外接矩形的短边与长边比(粗短度)W/L,作为用于缺陷分类的特征.
图 9
在轴件加工过程中,经常会有水渍、油渍等残留,水渍残留图像如图10所示. 虽然水渍不影响轴件使用,但在缺陷检测中会被作伪缺陷标记,分类时含水渍等伪缺陷的轴件可能被错误地划分为不合格品. 因此,需要正确识别水渍等特征,进一步提高识别鲁棒性,减少缺陷轴误判.
图 10
由于图像二维特征已不能准确识别此类伪缺陷,对图像进行三维重构,利用其深度信息判别水渍等伪缺陷. 假设曲面Z=z(x,y)为朗伯特表面,图像在(x,y)处的灰度记为Z(x,y),曲面上点(x,y,Z(x,y))的法向量用此点的梯度
式中:
光照方向用光照的偏角
假设曲面上所有点的反射率为
由式(12)求解深度函数Z(x,y),实现缺陷形貌重构[21],进而定义反应连通域深度信息的Depthfs特征.
凹坑、裂纹、麻点和水渍三维重建结果如图11所示. 对比水渍和3种缺陷类型的深度图,可以看出伪缺陷水渍具有如下特点:
图 11
图 11 轴件表面4类缺陷的三维重建图
Fig.11 Three-dimensional reconstruction images of four kinds of defects in shaft surface
1)轴类水平放置,受重力和毛细现象作用,水渍集中在柱面与平面的交界处,致使获得的水渍图像细而长.
2)对比水渍和缺陷灰度图像的三维深度信息发现,由于水渍表面光学性质不同,恢复的三维信息不具有一致性. 即在整片水渍内部,深度会出现极大、极小两级分化.
根据水渍以上特点,提出Depthfs特征算式:
式中:γ为阶跃函数,T为阈值,r为最小连通域最小外接矩形的细长度(粗短度, W/L).
利用缺陷Depthfs特征、面积、粗短度、面积占比作为输入,训练逻辑回归分类器[22]对缺陷进行分类。
4. 实验与结果分析
图 12
图 13
图 14
为验证所提方法的准确性,设计缺陷识别实验和缺陷分类效果实验. 缺陷识别取1 000个轴件生产图像进行,将具有凹坑、裂纹、麻点的轴定义为不合格品. 由于实际生产不合格品极少,属偏斜类问题,加权识别率为
式中:P为查准率,R为查全率.
式中:TP为合格品识别为合格品的个数,FN为合格品识别为不合格品的个数,FP为不合格品识别为合格品的个数,TN为不合格品识别为不合格品的个数.
利用面积、粗短度、面积占比和Depthfs特征训练分类器,实验结果显示,本分类器可正确识别3类缺陷及伪缺陷水渍,具有较强鲁棒性。正确识别3类缺陷与伪缺陷水渍,具有较强鲁棒性. 实验结果如表1所示,加权识别率F1为98.86%. 单件平均耗时t=3.69 s,较传统人工荧粉检测(平均耗时10 s)减少了63.1%,极大地提高了轴件的检测效率.
表 1 缺陷轴识别结果
Tab.1
缺陷识别统计项 | 数值 | 缺陷识别统计项 | 数值 | |
TP | 955 | TN | 21 | |
FN | 22 | t/s | 3.69 | |
FP | 1 | F1/% | 98.86 |
缺陷分类效果实验取100个图像组成训练集进行回归分类器的训练. 对训练好的网络,利用20个图像组成测试集进行测试. 实验详情如表2所示. 其中,n1为凹坑个数,n2为裂纹个数,n3为麻点个数,n4为水渍个数,η为正确率。 训练集准确率为82%,测试集准确率为75%.
表 2 分类器实验结果
Tab.2
类别 | n1 | n2 | n3 | n4 | η |
训练集 | 25 | 25 | 25 | 25 | 82 |
测试集 | 5 | 5 | 5 | 5 | 75 |
5. 结 语
本研究针对轴件表面缺陷机器视觉检测方法中的水渍残留误检率高和人工复检效率低问题,提出了基于缺陷特征与形貌重构的轴件表面缺陷检测方法, 实现了对缺陷轴的识别与对凹坑、裂纹和麻点3种轴件表面典型缺陷和水渍等伪缺陷类型的识别. 实验结果表明,该方法是一种有效的轴件表面缺陷检测方法,具有较高的缺陷识别率和鲁棒性能,平均识别时间为3.69 s,较传统人工荧粉检测减少了63.1%. 缺陷轴加权识别率为98.86%,可对凹坑、裂纹、麻点和水渍进行准确识别.
参考文献
Edge preserved image enhancement using adaptive fusion of images denoised by wavelet and curvelet transform
[J].DOI:10.1016/j.dsp.2010.09.002 [本文引用: 1]
Improvement of quantized adaptive switching median filter for impulse noise reduction in gray-scale digital images
[J].
FPGA based parallel implementation of morphological operators for 2d gray-level images
[J].
Adaptive threshold selection for background removal in fringe projection profilometry
[J].
Digital acquisition and character extraction from stone inscription images using modified fuzzy entropy-based adaptive thresholding
[J].
A target extraction method of infrared image based on edge and transition region
[J].
Vision-based surface defect inspection for thick steel plates
[J].
A hierarchical extractor-based visual rail surface inspection system
[J].DOI:10.1109/JSEN.2017.2761858 [本文引用: 1]
Steel strip surface defect identification based on binarized statistical features
[J].
Research and achievement on cigarette label printing defect detection algorithm
[J].DOI:10.4028/www.scientific.net/AMM.200.689 [本文引用: 1]
Automatic detection of defects in tire radiographic images
[J].DOI:10.1109/TASE.2015.2469594 [本文引用: 1]
基于缺陷特征与种子填充的轮毂缺陷检测方法
[J].
Hub defect detection method based on defect characteristics and seed filling
[J].
基于多元图像分析的表面缺陷检测算法
[J].
Surface defect detection algorithm based on multivariate image analysis
[J].
基于图像融合的木板表面缺陷检测研究
[J].
Image fusion based wood surface defect detection
[J].
An online surface defects detection system for step-axis
[J].
基于机器视觉的凸轮轴表面缺陷检测系统
[J].DOI:10.3969/j.issn.1007-2276.2013.06.047 [本文引用: 1]
Camshaft surface defect detection system based on machine vision
[J].DOI:10.3969/j.issn.1007-2276.2013.06.047 [本文引用: 1]
Research of image segmentation based on iterative threshold
[J].
Shape from shading using linear approximation
[J].
/
〈 |
|
〉 |
