采用结构光的大跨度销孔加工精度在线测量
Machining precision online measurement of large span pin hole using structured light
通讯作者:
收稿日期: 2019-01-22
Received: 2019-01-22
作者简介 About authors
李瑛(1993—),女,硕士生,从事机器视觉测量研究.orcid.org/0000-0002-5489-0921.E-mail:
设计采用十字线结构光的双相机视觉测量系统,构建由2个高精度工业相机、2个十字激光器和环形光源等组成的图像采集装置. 在传动箱加工现场获取端面销孔图像,提取图像感兴趣区域(ROI),采用双边滤波进行降噪预处理、二值化和边缘检测;基于改进方向模板法提取2个十字线结构光的中心线. 依据测量系统的设计原理分别测出2个销孔的孔径及其位置度. 结果表明:对于孔径,机器视觉在线测量装置与电子塞规的测量结果的偏差平均值为0.001 mm;对于孔组位置度,机器视觉在线测量装置与三坐标测量仪的测量结果的最大偏差为0.02 mm. 这表明机器视觉在线测量装置能满足加工精度要求和在线实时测量需求.
关键词:
A two-cameras vision measurement system was designed using cross-hair structured light; an image acquisition device was constructed, which consisted of two high-precision industrial cameras, two cross lasers, and a ring light source. The image of the end pinhole at the transmission box processing site was obtained; the image region of interest (ROI) was extracted; bilateral filtering was used for noise reduction preprocessing, binarization and edge detection. The center lines of two cross structured light were extracted based on improved direction template method. According to the design principle of the measuring system, the diameter and position degree of two pin holes were measured, respectively. Results show that, for diameter of pin hole, the average deviation of the measurement results between the machine vision online measureement device and the electronic plug gauge is 0.001 mm; for hole set position degree, the maximum deviation of the measurement results between the machine vision online measuring device and the coordinate measuring device is 0.02 mm. The proposed machine vision online measuring device can meet the requirements of processing accuracy and online real-time measurement.
Keywords:
本文引用格式
李瑛, 成芳, 赵志林.
LI Ying, CHENG Fang, ZHAO Zhi-lin.
基于结构光进行测量时,结构光条纹的中心线提取准确度对测量精度有很大影响. 目前,针对结构光中心线提取的算法主要有细化算法[9]、法向量[13]、轮廓线多边形表示[14]、基于Hessian矩阵的Steger算法[15]、方向模板法[16]、骨架跟踪灰度加权法[17]、形态学处理方法[18-19]、相邻点线性插值法[20]、多变性分割技术[21]、采用多项式拟合提取亚像素中心线[22]等. 段瑞玲等[23]提出了结构光强符合高斯分布的情况下适用于光饱和时的结构光中心线提取方法. 特定情况下的结构光中心线提取方法不同,需要改进结构光中心提取算法. 目前适用于传动箱端面十字结构光的有效提取算法尚未见报道.
拖拉机传动箱端面销孔生产制造过程[1]的实际情况如下:平均8 min制造一台传动箱;桁架机械手基于传动箱底面的定位孔,把传动箱放置到传动装置上,放置误差小于视觉测量系统的景深,使得物距保持不变;传动箱到达检测工位时,保持静止. 因此测量过程中在静止工位采集图像. 为了准确测量传动箱端面2个跨度较大的销孔加工精度,本文设计采用结构光的双相机图像采集装置,提取感兴趣区域(region of interest, ROI),对销孔和结构光分别处理,提出改进算法用于提取传动箱端面上的结构光中心,实现销孔孔径和位置度的加工精度测量.
1. 销孔加工精度在线测量系统
1.1. 测量精度要求
传动箱端面销孔的尺寸和加工精度要求如图1所示,销孔直径为
图 1
图 1 传动箱端面销孔尺寸和加工精度要求
Fig.1 Transmission box face pin hole size and machining accuracy requirement
1.2. 销孔加工精度测量系统硬件组成
如图2所示,采用结构光的传动箱端面销孔加工精度在线测量系统的硬件部分由图像采集系统、照明系统、结构光系统、支架以及计算机等组成. 图像采集系统由工业高精度面阵相机、镜头等组成;照明系统由环形光源、光源控制器构成;结构光系统主要由十字激光器、电源等组成,在安装2个激光发射器时,分别在其固定板上的定位孔旋转微调,同时采用三坐标电子水平测量仪和直角规进行调节测试,保证2个激光器发射的结构光在传动箱端面上为水平和竖直.
图 2
图 2 传动箱端面销孔加工精度在线测量系统示意图
1-激光器标准固定板;2-十字激光器;3-水平位置调节支架;4-激光器固定板调节装置;5-竖直调节支架;6-光源位置调节机构;7-相机;8-环形光源;9-箱体上激光线;10-销孔;11-传动箱 Schematic diagram of online measurement system for machining precision for pin hole of transmission box
1.3. 销孔位置度测量原理
图 3
图 3 销孔位置度测量原理图
1-销孔;2-相机采集视场图;3-结构光光条 Schematic diagram of pin hole position measurement
式中:
2. 图像处理与结构光中心线提取
2.1. 图像预处理
图 4
图 4 在线测量系统采集到的传动箱端面销孔原始图像
Fig.4 Original image of transmission box face pin hole obtained using proposed online measurement system
式中:
通过式(2)可以看出,双边滤波同时考虑了空间域信息和像素域信息,在平坦区域,其像素值变化很小,对应的像素范围域权重值接近于1,空间域权重起主要作用,等价于高斯滤波;在边缘区域,像素值变化很大,像素域信息权重值变大,边缘信息被保留.
为了更加直观地显示双边滤波具有滤波降噪并保留边缘的效果,采用峰值信噪比(peak signal to noise ratio, PSNR)和均方误差(mean squared error, MSE)对比中值滤波、均值滤波、高斯滤波和双边滤波. PSNR是一种图像客观评价指标,基于对像素点间的误差评价图像质量,数值越大表示失真越小. MSE是滤波图与原图的均方误差,数值越小表示失真越小. 中值滤波、均值滤波、高斯滤波和双边滤波基于PSNR和MSE的对比结果如表1所示. 从表1可知,双边滤波的MES最小,PSNR最大,即双边滤波后的图像失真最小,即双边滤波能在很好地去除噪声干扰的同时保持边缘不被模糊,因此本文选用双边滤波对图像进行降噪处理,滤波后的图像如图5所示.
表 1 4种滤波算法的滤波效果对比
Tab.1
算法 | MSE | PSNR |
均值滤波 | 28.504 6 | 33.581 7 |
中值滤波 | 48.375 2 | 31.284 6 |
高斯滤波 | 22.150 7 | 34.676 9 |
双边滤波 | 11.357 5 | 37.578 0 |
图 5
图 5 采用双边滤波后得到的图像和原图的对比
Fig.5 Comparison between image obtained by bilateral filtering and original image
2.2. 感兴趣区域提取
提取感兴趣区域对提高测量速度和精度具有重要作用. 由于销孔与结构光的灰度值有较大差别,在进行二值化前,提取感兴趣区域销孔和结构光便于后文分别处理销孔和结构光. 硬件装置固定后,在视觉测量装置每次采集的图像中,销孔位置和结构光位置保持不变. 本文采用矩形框提取感兴趣区域,首先设置矩形框的起点和长、宽,矩形框的起点和长宽通过多次实验确定,实验中矩形框参数保持不变. 销孔和结构光的感兴趣区域提取结果如图6所示,包括水平结构光、销孔和竖直结构光. 水平结构光和竖直结构光的图像处理方法相同,后文主要针对销孔和竖直结构光作具体介绍.
图 6
图 6 销孔和结构光图像的感兴趣区域提取
Fig.6 Extraction for region of interest of pin hole and structured light image
2.3. 图像二值化
为精确提取结构光中心线和销孔边缘,对图像进行二值化处理,使图像的背景和前景分开,设图像的灰度值函数
图 7
图 7 销孔和结构光图像的直方图与二值化图(反色图像)
Fig.7 Histogram and binarization images of pin hole and structured light image (anti-color image)
2.4. Canny边缘检测
边缘检测是机器视觉测量中的重要步骤,边缘检测的精度直接影响测量精度,其实质是提取图像和背景之间的交界线[25]. 边缘检测应尽可能地降低错误率,避免虚假边缘,同时应尽可能地降低对同一边缘的多次响应. 本文选用Canny边缘检测算法[26],该算法可以有效避免虚假边缘,边缘定位准确,主要包括以下步骤:1)使用高斯滤波器滤除噪声,平滑图像;2)计算图像中每个像素点的梯度强度和方向;3)采用非极大值抑制,消除边缘检测带来的杂散响应;4)采用双阈值检测真实和潜在边缘;5)通过抑制孤立的弱边缘完成最终的边缘检测. 拖拉机传动箱端面销孔加工精度测量主要包括测量圆直径、提取圆心和测量圆心到结构光的中心线距离. 采用Canny算法提取的销孔边缘如图8所示.
图 8
图 8 采用Canny算法得到的销孔边缘检测效果图 (反色图像)
Fig.8 Pin hole edge detection renderings with Canny algorithm (anti-color image)
2.5. 特征提取
2.5.1. 霍夫线变换
霍夫线变换是图像处理领域检测直线、曲线的特征提取技术,其把笛卡尔坐标系中的点转换到极坐标系,通过计算累计结果的局部最大值得到符合特定形状的集合并将其作为最终结果.
一条直线在图像二维空间中可用2个变量表示,在笛卡尔坐标系中用斜率和截距表示,在极坐标系中用极径γ和极角θ表示,霍夫线变换极坐标表示如下:
将式(4)简化为
2.5.2. 霍夫梯度法
在笛卡尔坐标系中,圆用圆心
即在笛卡尔坐标中,由圆心坐标、圆半径所确定的一个圆在极坐标系中用一个点表示,故遍历所有点,采用投票方式对图中任意3个点确定的候选圆投票,得票最多的点即为所求圆的3个参数. 通过上述分析可知,3个参数确定的极坐标是三维空间曲面,计算量很大.
霍夫梯度法把圆的提取分为两步:1)检测圆心,圆心是其所在圆周法线的交点,原理和霍夫线变换相同,在第2.5.1节有介绍;2)分析圆心到任意点的距离,计算相同距离的点的累加和,确定一个阈值,当点的累加和大于该阈值时,这些点构成的形状即为所求圆. 霍夫梯度法可以进一步去除边缘的干扰区域,提取销孔边缘,结果如图9所示. 由霍夫梯度算法原理知,采用霍夫梯度算法可以较快和准确地提取销孔的圆心坐标和半径. 结合前文测量公式(式(1))求得销孔的加工质量.
图 9
图 9 采用霍夫梯度法得到的销孔边缘检测效果图 (反色图像)
Fig.9 Pin hole edge detection renderings with Hough gradient algorithm (anti-color image)
2.6. 结构光中心线提取
采集的结构光图像存在光条间断、受外界干扰较大等问题,采用常规形态学细化算法[27]提取速度快,但提取的中心线容易出现毛刺. 常规的方向模板法易受噪声影响,且计算量大. 针对本文采集的结构光是水平结构光和竖直结构光,提出改进方向模板法提取结构光中心线,提高提取效率和精度. 改进方向模板法在提取水平结构光和竖直结构光中心线时的提取原理相同,因此后文针对竖直结构光介绍改进方向模板法.
提取竖直结构光中心线,设图像大小为M×N,某个像素的坐标为
1)某行
2)判断
3)判断
4)通过2)和3)的计算,该行结构光中心线坐标即为
5)若出现结构光断裂情况,则该行结构中心线坐标与上一行同列,行加1;
6)对所有行重复上述操作,直至求出所有行的中心点;
7)所有行计算结束,采用霍夫线变换,求出结构光中心线,霍夫线变换采用概率投票方式,有效避免噪声干扰.
本研究在特定的应用场景中,针对水平结构光和竖直结构光,提出改进方向模板法,快速准确提取水平和竖直结构光中心线.
图 10
图 10 采用形态学细化算法与改进方向模板算法的中心线提取结果对比 (反色图像)
Fig.10 Contrast of centerline exteraction results using morphological refinement algorithm and improved direction template algorithm (anti-color image)
3. 实验验证与测量结果
在拖拉机传动箱加工车间,现场环境下进行试验验证,如图11所示为采用装置和所提方法对实际箱体端面的2个销孔加工精度在线测量.
图 11
图 11 传动箱加工现场端面销孔加工精度在线测量
Fig.11 Transmission box processing site online measurement
表 2 机器视觉在线测量系统与三坐标测量仪的销孔加工质量测量结果对比
Tab.2
mm | ||||
测量方法 | D1 | D2 | W | H |
视觉测量系统 | 14.957 | 14.972 | 40.019 | 329.988 |
三坐标测量仪 | 14.958 | 14.970 | 40.008 | 330.008 |
图 12
图 12 结构光中心线和销孔边缘提取效果图 (反色图像)
Fig.12 Structure light center line and pin hole edge extraction effect diagram (anti-color image)
表 3 机器视觉在线测量系统与电子塞规的销孔直径测量结果对比
Tab.3
mm | |||
箱体编号 | 视觉测量 | 电子塞规 | |
3026181128001 | 14.963 | 14.964 | 0.001 |
3026181128002 | 14.960 | 14.961 | 0.001 |
3026181128003 | 14.967 | 14.965 | 0.002 |
3026181128004 | 14.970 | 14.970 | 0 |
3026181129001 | 14.963 | 14.963 | 0 |
3026181129002 | 14.961 | 14.960 | 0.001 |
3026181129003 | 14.970 | 14.965 | 0.005 |
3026181129004 | 14.967 | 14.966 | 0.001 |
为验证所提改进算法提取到的结构光中心线的精度满足传动箱端面销孔位置度的测量需求,对传动箱端面销孔位置度进行多次测量. 生产车间一般采用首检检测的方式测量位置度,批次内多数箱体没有其端面销孔位置度的三坐标测量数据,在此列出机器视觉在线测量系统对某批次的位置度测量结果,如表4所示,根据工艺要求可知,传动箱端面销孔竖直位置度为330±0.03 mm和40±0.02 mm,测量结果均在误差允许范围内,与该批次加工精度均合格的现场实际结果相一致.
表 4 机器视觉在线测量系统的位置度测量结果
Tab.4
mm | ||
箱体编号 | H | W |
3026181128001 | 40.019 | 329.988 |
3026181128002 | 39.982 | 330.000 |
3026181128003 | 40.011 | 329.980 |
3026181128004 | 40.008 | 329.979 |
3026181129001 | 40.011 | 329.971 |
3026181129002 | 39.986 | 330.021 |
3026181129003 | 39.993 | 329.988 |
3026181129004 | 39.989 | 330.017 |
表 5 机器视觉在线测量系统的孔径重复性测量结果
Tab.5
mm | ||||||
测量次数 | D1 | | 测量次数 | D1 | | |
注:电子塞规对箱体编号为3026181129001的孔径的测量结果为14.963 mm. | ||||||
1 | 14.963 | 0 | 5 | 14.963 | 0 | |
2 | 14.963 | 0 | 6 | 14.964 | 0.001 | |
3 | 14.963 | 0 | 7 | 14.965 | 0.002 | |
4 | 14.964 | 0.001 | 8 | 14.964 | 0 |
4. 结 语
本研究采用结构光设计传动箱端面销孔加工精度在线测量装置,提出的基于改进方向模板法的结构光中心线提取算法能有效提取水平结构光中心线和竖直结构光中心线. 利用本文机器视觉测量装置测量销孔孔径,其测量结果与电子塞规的测量偏差平均值为0.001 mm,重复性测量标准差为0.001 mm;销孔位置度的测量结果满足精度误差为0.02 mm的要求. 实验结果表明,本文设计的基于十字结构光的双相机的机器视觉测量系统具有较高稳定性,能满足传动箱端面销孔测量对精度和稳定性的要求.
本文设计的基于十字结构光的双相机的机器视觉测量装置针对传动箱端面2个销孔位置度的测量,该测量装置也可以推广到多个孔的位置度测量. 本文所提方法针对竖直结构光和水平结构光提取中心线,对于其他形式结构光的中心线提取,需作进一步的改进和完善.
参考文献
三坐标测量机在拖拉机制造业的应用
[J].DOI:10.3969/j.issn.1672-3872.2017.24.050 [本文引用: 2]
Application of coordinate measuring machine in tractor manufacturing industry
[J].DOI:10.3969/j.issn.1672-3872.2017.24.050 [本文引用: 2]
孔组位置度量规的设计
[J].DOI:10.3969/j.issn.1000-7008.2015.01.024 [本文引用: 1]
Design of hole set position gauge
[J].DOI:10.3969/j.issn.1000-7008.2015.01.024 [本文引用: 1]
大型收获机械发动机孔组位置度误差在线检测方法
[J].
online method for large-scale harvester engine punch combination position accuracy measurement
[J].
Measurement and defect detection of the weld bead based on online vision inspection
[J].
数字图像处理技术的现状及其发展方向
[J].
Digital image processing technology and its develop- ment direction
[J].
Computer vision algorithms for measurement and inspection of external screw threads
[J].
基于激光结构光的视觉传感器的图像处理技术研究应用及展望
[J].
Application and prospect of image processing techno-logy for vision sensor based on laser structured light
[J].
基于线结构光视觉技术的工件尺寸三维测量系统研究
[J].
Reseach on 3D measuring system of workpiece dimension based on linear structured light vision technology
[J].
A robust method to extract a laser stripe centre based on grey level moment
[J].DOI:10.1016/j.optlaseng.2014.11.007 [本文引用: 1]
A rigorous fastener inspection approach for high-speed railway from structured light sensors
[J].DOI:10.1016/j.isprsjprs.2017.11.007 [本文引用: 1]
利用轮廓线多边形表示实时提取光带中心线
[J].
Real-time extraction of light stripe central line based on contour polygonal representation
[J].
改进Steger算法的自适应光条纹中心提取
[J].
Implementation of adaptive light stripe center extraction of improved Steger algorithm
[J].
自适应方向模板线结构光条纹中心提取方法
[J].
Adaptive direction template method to extract the center of structured light
[J].
光刀自适应灰度加权亚像素中心精确提取
[J].
Sub-pixel centerline extraction based on light stripe adaptive grayscale weighting
[J].
A study on contour extraction method in computer vision measurement technology
[J].
Affine reconstruction from perspective image pairs with a relative object-camera translation in between
[J].DOI:10.1109/34.476015 [本文引用: 1]
基于改进双边滤波与随机共振的图像去噪算法研究
[J].
Resarch on image denoising algorithm based on improved bilateral filtering and stochastic resonance
[J].
Utilizing polygon segmentation technique to extract and optimize light stripe centerline in line-structured laser 3D scanner
[J].DOI:10.1016/j.patcog.2016.02.008 [本文引用: 1]
Contour extraction of a laser stripe located on a microscope image from a stereo light microscope
[J].DOI:10.1002/jemt.v82.3 [本文引用: 1]
图像边缘检测方法研究综述
[J].
Summary of image edge detection
[J].
焊缝结构光图像处理与特征提取方法
[J].DOI:10.3969/j.issn.1008-245X.2013.01.017 [本文引用: 2]
Image processing and feature extraction for structured light images of welded seam
[J].DOI:10.3969/j.issn.1008-245X.2013.01.017 [本文引用: 2]
Canny edge detection enhancement by scale multiplication
[J].
结构光测量系统中光条中心的提取算法
[J].DOI:10.3969/j.issn.1674-6864.2009.01.011 [本文引用: 1]
Extraction algorithm of light stripes center in the measurement of structured light
[J].DOI:10.3969/j.issn.1674-6864.2009.01.011 [本文引用: 1]
/
〈 |
|
〉 |
