基于表面评估的工件轮廓识别方法研究

doi:10.3785/j.issn.1006-754X.2023.00.004

基于表面评估的工件轮廓识别方法研究

潘盛湖^,^,, 谢林成, 刘云强, 徐尚飞

西南石油大学机电工程学院，四川成都 610500

Research on workpiece contour recognition method based on surface evaluation

PAN Sheng-hu^,^,, XIE Lin-cheng, LIU Yun-qiang, XU Shang-fei

School of Mechatronics Engineering, Southwest Petroleum University, Chengdu 610500, China

收稿日期: 2022-03-31 修回日期: 2022-05-04

基金资助:

四川省教育厅项目. 16ZA0070

Received: 2022-03-31 Revised: 2022-05-04

作者简介 About authors

潘盛湖（1982—），男，侗族，贵州天柱人，副教授，硕士，从事机电一体化技术和石油机械智能化等研究，E-mail:psh2000psh@126.com,http://orcid.org/0000-0002-3147-9910 , E-mail：psh2000psh@126.com

摘要

现有加工工件材料和加工方式的多样性使得工件的表面情况多样，导致视觉系统难以准确识别工件轮廓，因此提出了一种适用于不同工件表面的轮廓识别方法。根据纹理区域面积与凸包面积的比值对工件表面进行评估和分类。对于表面质量较好的工件，采用高通线性滤波器对图像进行滤波处理，通过工件表面信息与边缘信息的差异实现工件图像边缘提取；对于表面质量较差的工件，采用一种自适应轮廓提取方法来识别图像边缘。实验表明，与传统的Canny边缘检测算法相比，所提出的方法能够更好地去除噪声干扰，其识别轮廓的精度更高。所提出的轮廓识别方法对不同工件表面有较好的适应性，具有一定的应用价值。

关键词： 工件轮廓 ; 表面评估 ; 细化算法 ; 边缘提取

Abstract

The diversity of existing workpiece materials and processing methods makes the surface of the workpiece diverse, which makes it difficult for the vision system to accurately recognize the workpiece contour. Therefore, a contour recognition method suitable for different workpiece surfaces was proposed. The workpiece surface was evaluated and classified according to the ratio of texture area to convex hull area. For the workpiece with good surface quality, the high-pass linear filter was used to filter the image, and the edge of the workpiece image was extracted by the difference between the workpiece surface information and the edge information; for the workpiece with poor surface quality, an adaptive contour extraction method was adopted to recognize the image edge. Experimental results showed that the proposed method could better remove noise interference than the traditional Canny edge detection algorithm, and its contour recognition accuracy was higher. The proposed contour recognition method has good adaptability to different workpiece surfaces and has certain application value.

Keywords： workpiece contour ; surface evaluation ; thinning algorithm ; edge extraction

PDF (3352KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

潘盛湖, 谢林成, 刘云强, 徐尚飞. 基于表面评估的工件轮廓识别方法研究. 工程设计学报[J], 2023, 30(1): 13-19 doi:10.3785/j.issn.1006-754X.2023.00.004

PAN Sheng-hu, XIE Lin-cheng, LIU Yun-qiang, XU Shang-fei. Research on workpiece contour recognition method based on surface evaluation. Chinese Journal of Engineering Design[J], 2023, 30(1): 13-19 doi:10.3785/j.issn.1006-754X.2023.00.004

高精度地识别工件轮廓是工业智能化发展的必然要求。提取高精度的图像边缘需要高质量的机器视觉设备及其配套产品。当硬件设备的生产达到一定水准后，通过算法对数字图像进行处理来实现更高的辨识精度成为一种突破硬件限制的有效手段。

许多学者对图像边缘和轮廓的提取方法进行了研究。唐路路等^[1]针对传统Canny边缘检测算法的阈值导致的提取的边缘精度不足的问题，提出了一种基于最大类间方差法得到较优阈值的方法，来获取较高精度的边缘；倪元敏等^[2]借助模糊形态学对梯度进行运算，并且对IFT（image foresting transform，图像森林变化）分割算法进行改进，用来识别图像轮廓；权威等^[3]将图像分为3层不同的特征结构进行处理，通过滤波的方式获取图像轮廓；胡敏等^[4]针对二维Otsu算法计算过程复杂而可能影响轮廓精度的问题，提出了一种自适应Otsu图像分割改进方法，用来提取图像边缘；李强等^[5]采用不同的算子对图像梯度进行计算，得出Krisch算子能够更加稳定地提取焦斑边缘和轮廓的结论；陈芳等^[6]采用灰度拉伸算法对图像进行增强，并通过一种自适应分割算法得到图像的边缘和轮廓。

以上方法主要分为3类：一是基于梯度对图像边缘进行提取，该方法虽然有较好的抗噪能力，但可能出现获取的工件轮廓不连续的情况；二是通过阈值分割得到图像边缘，该方法能够快速分割类间方差为单峰的图像，但当图像前景和背景的比例选取不当时，不能有效提取不同表面工件的边缘；三是结合图像的多个特征来识别图像轮廓，尽管结合图像的多特征能够准确识别图像轮廓，然而实际加工工件材料和加工方式的多样性导致工件表面的状况多样，使得采用该方法提取的工件边缘存在偏差。因此，为了更好地识别工件轮廓，作者提出一种基于表面评估的工件轮廓识别方法。通过表面评估将工件表面进行分类，分别采用滤波及自适应轮廓识别方法来提取表面质量较好及较差工件的轮廓，使视觉系统能更加有效地识别工件轮廓。

1 工件表面评估

图像的灰度值标准偏差是表征图像灰度值分布情况的特征量^[7]。当灰度值标准偏差较大时，图像像素值之间的差异较大。当工件表面纹理较多时，在其图像上表现为存在许多亮暗不一的条纹，此时图像的灰度值差异就较大；如果工件表面特性较好，则其图像的灰度值标准偏差较小。因此，可以通过工件图像的灰度值标准偏差来对工件的表面特性进行评估。

创建一个 $m \times m$ 的窗口，以工件图像的每个像素点作为窗口中心进行遍历，计算每个窗口内的灰度值标准偏差并用该值重置窗口中心像素点，这样就得到了工件图像的灰度值标准偏差图。每个窗口内的灰度值标准偏差s为：

s = \sqrt[]{\frac{1}{a - 1} \sum_{(r, c) \in R} (g_{(r, c)} {- \bar{g})}^{2}}

式中： $a$ 为窗口内像素点的个数，其值为 $m \times m$ ； $\bar{g}$ 为窗口内灰度值的平均值； $g_{(r, c)}$ 为窗口遍历到的像素点的灰度值；R表示m×m的窗口区域；（r, c）为遍历像素点的坐标。

对提取ROI（region of interest，感兴趣区域）后的图像进行灰度值标准偏差滤波^[8]，得到灰度值标准偏差图，如图1所示。从图中可以看出：工件边缘及纹理区域的灰度值都存在差异，灰度值标准偏差大，亮度就大；灰度值接近的区域，灰度值标准偏差很小，接近于0，在图像上基本呈黑色。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 灰度值标准偏差图

Fig.1 Standard deviation image of gray value

设定阈值T=20对图1进行阈值分割。将灰度值标准偏差在阈值以下的像素点置为0，只保留灰度值标准偏差较大的区域。阈值分割后所得图像如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 阈值分割后的图像

Fig.2 Image after threshold segmentation

为了评估工件的表面特性，须进一步分析其纹理情况，这里采用纹理区域面积H（包含一定的边缘区域，但是其影响较小，可以忽略）与凸包面积C的比值b作为判断依据，如式(2)所示：

b = \frac{H}{C}

通过对多种不同类型工件表面质量的测试，取b的最大忍受值为0.16，当b>0.16时认为工件的表面纹理较多，表面质量较差。

2 工件轮廓识别方法

2.1　表面质量较好工件的轮廓识别方法

表面质量较好的工件，其图像灰度值分布较集中，且同一表面内灰度值的变化范围不大，属于图像中的低频成分，而工件的边缘或阶层处属于图像的高频成分，因此区分图像中的高频和低频分量就可以有效获取工件的边缘信息。采用高通线性滤波器对图像进行滤波操作^[9]，通过工件表面信息与边缘信息的差异实现工件图像边缘的提取。滤波器F表示为：

F = \frac{1}{j \times k} [\begin{matrix} - 1 \dots & - 1 \dots & - 1 \\ - 1 \dots & j \times k - 1 \dots & - 1 \\ - 1 \dots & - 1 \dots & - 1 \end{matrix}]

(3)

式中：j，k分别为滤波模板的长和宽。

工件轮廓初步提取完成后，凸包可能对轮廓后续的准确提取存在一定干扰，因此须去除。滤波后的图像减去凸包区域图像即可得到去除凸包的工件轮廓。至此，可获取工件图像的大致轮廓区域，但其还不是准确的单像素二值轮廓区域，因此须对提取的轮廓继续进行处理以得到更为准确的单像素轮廓区域。对去除凸包后的轮廓进行二值化处理，把灰度值大于0的像素点全部置为255，然后将处理后的图像进行连通域分析和处理。为了避免后续出现双轮廓的情况，去除过小的连通区域并填充工件表面区域，处理后的图像记为M。然后继续对该图像采用3×3的结构单元A进行腐蚀操作，图像M减去腐蚀操作后的图像就可以获得图像的单像素轮廓曲线I^[10]，可以表示为：

I = M - (M ⊖ A)

(4)

式中： $M ⊖ A$ 表示腐蚀后的图像。

2.2　表面质量较差工件的轮廓识别方法

表面质量较差的工件，由于其表面存在的噪声干扰很多，边缘信息隐藏在边缘纹理中，采用传统的Canny边缘检测算法难以实现对轮廓的识别，因此，提出一种自适应方法来提取表面质量较差工件的轮廓。

首先对工件进行ROI提取操作，操作完成后可以去除背景影响，缩小检测范围，提高检测效率。然后按图3所示的流程精确提取图像边缘，采用Canny算子计算梯度幅值^[11]，并进行非极大值抑制处理以及迟滞边界阈值分割。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 精确提取图像边缘的流程

Fig.3 Process of accurately extracting image edge

分割后图像边缘处仍然存在一些由于表面纹理的存在而误检出的特殊噪声，因此须去除这些特殊噪声信息，保留边缘信息。这些特殊噪声主要分为2类^[12]：一类不与边缘直接相连，可以通过图像形态学分析，采用连通域分析方法等去除^[13]；另一类与边缘直接相连，该类噪声无法通过通常的方法去除，须采用一种自适应方法去除。提取的边缘信息中边缘区域较为平整，噪声部分杂乱地分布在其周围，连接在边缘上的噪声从形状上看像是从边缘伸出的枝干，因此考虑设计一种对轮廓枝干进行“修剪”的算法。

在轮廓枝干修剪前，为了简化后续操作和保证处理结果的准确性，对连通域筛选后的图像进行细化操作，以最外侧边缘为基准进行细化。细化算法的设计参考Jianwei Dong^[14]提出的细化算法。细化算法的原理如下。

1）以一个像素点为中心，建立如图4所示3×3窗口模板，其中g₁至g₉分别对应像素点1至像素点9的灰度值，其值为0或1。对图像遍历，删除图像中同时满足以下条件的像素点：

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 3×3窗口模板示意

Fig.4 Schematic of 3×3 window template

① 2≤g₂+g₃+g₄+g₅+g₆+g₇+g₈+g₉≤6，保证删除的像素点不是端点、孤立点和内部点。

②像素点2至像素点9中按任意顺序排列的相邻两点的灰度值为“0, 1”模式的数量为1。

③ g₂×g₄×g₆ = 0。

④ g₄×g₆ ×g₈ = 0。

条件③、④同时确定了遍历点所在的方向，首先去除图像右下方符合条件的点。

2）重复步骤1），其中条件③改为g₂×g₄×g₈=0，条件④改为g₂×g₆×g₈=0，以去除图像左上方满足条件的点。

3）重复步骤1）和2），直到获取图像的单像素轮廓信息。

获得了工件轮廓以及部分特殊噪声的单像素信息后，对特殊噪声进行去除。为了便于操作，先对图像内所有连通域进行提取，分别标记后对每个连通域进行单独分析。图像细化后，与轮廓相连的特殊噪声都存在连接的节点，这些节点信息就是进行噪声去除的关键因素，可以通过节点打断图像的连通域而对噪声进行筛选并去除。根据边缘上节点周围的像素点数量可以将节点分为3类：第1类为三像素点节点，第2类为四像素点节点，第3类为五像素点节点，如图5所示。图中灰色区域为像素值为1的像素点，有黑色圆圈的区域为节点。当然还存在其他像素分布情况的节点，这里不进行详细的列举^[15]。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 像素点节点类型

Fig.5 Pixel node types

节点类型不同，则节点去除及其8个连通域分割的效果不同，如三像素点节点在去除节点及连通域分割后，连通域存在3个方向的打断。如果轮廓为封闭区域，则图像被分割为连通域X和Y两部分，如图6(a)所示。如果图像为开放区域（即连通域与图像边界存在交点，轮廓与图像边界处交点称为边界端点），则图像被分割为连通域X、Y和Z三部分，如图6(b)所示。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 去除三像素点节点后的图像

Fig.6 Image after removing three pixel nodes

提取后的连通域默认存在上述2种形式，即封闭和开放的连通域。去除干扰噪声要分2种情况进行。图像边缘去枝原理如图7所示。通过区域是否存在边界端点判断图像中的连通域是封闭的还是开放的。对于开放的连通域，从一个边界端点开始进行搜索，直到搜索至另一个边界端点，其间搜索到分叉点时删除分叉点及其8个连通域内像素，保留包含边界端点的连通域，删除其他连通域，然后恢复分叉点信息并去除剩余节点端点。对于封闭的连通域，则从任意节点开始搜索，直到搜索到重复节点，其间遇到分叉点同样进行删除操作，然后保留长连通区域，再恢复节点信息。至此，可以获得表面质量较差工件的轮廓。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 边缘去枝原理图

Fig.7 Schematic diagram of edge pruning

综上，自适应轮廓识别的步骤为：

1）对提取ROI后的工件图像进行边缘检测，得到大致的轮廓图像。

2）将得到的轮廓图像进行细化操作，把轮廓以及特殊噪声进行细化。

3）把得到的细化图像进行边缘去枝，去除特殊噪声，得到准确的工件轮廓。

3 工件轮廓识别实验

3.1　表面质量较好工件的轮廓识别实验

工件图像及其处理过程如图8所示。其中：图(h)中纹理区域有7 422像素，凸包有216 929像素, 则b=0.034，小于最小容忍值，表明该工件表面质量较好。根据表面质量较好工件的轮廓提取步骤得到工件图像的单像素轮廓曲线。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 工件图像及其处理过程

Fig.8 Workpiece image and its processing process

将提取的工件轮廓在原图像上进行绘制，如图9(a)所示；通过Canny算法识别的工件轮廓如图9(b)所示。可见采用本文方法能够去除噪声干扰，将工件轮廓准确地识别出来。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 表面质量较好工件的轮廓识别结果

Fig.9 Contour recognition result of workpiece with good surface quality

3.2　表面质量较差工件的轮廓识别实验

图2所示工件表面纹理较多，通过式(2)对其表面进行评估。其纹理区域有560 305像素，凸包有1563 220像素，经过计算得b=0.358，大于最小容忍值，表明该工件表面质量较差，须采用自适应边缘识别方法识别轮廓。

根据精确提取图像边缘的流程，得到迟滞边界阈值分割后的图像，如图10所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 迟滞边界阈值分割后的图像

Fig.10 Image segmented by hysteresis boundary threshold

分割后的图像具有2类噪声，采用连通域分析方法把不与边缘直接相连的噪声去除，得到连通域筛选后的图像，如图11所示。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 连通域筛选后的图像

Fig.11 Image after connected domain filtering

对连通域筛选后的图像进行细化操作，以最外侧边缘为基准进行细化。细化操作后的图像结果如图12所示。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 细化操作后的图像

Fig.12 Image after thinning operation

最后，采用上文所述的修剪算法得到表面质量较差工件的轮廓，如图13所示。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 表面质量较差工件的轮廓识别结果

Fig.13 Contour recognition result of workpiece with poor surface quality

3.3　不同算法识别的工件轮廓精度对比

采用视觉系统对表面评估后的标准工件进行多次不同角度的拍摄，分别采用本文算法和Canny算法对拍摄的100幅工件图像进行检测。以识别的工件的一条边为准线，计算识别的另一边的边缘到该准线的距离，该距离与工件实际边缘距离之差即为图像的边缘误差。为了简化后续操作，取各边缘误差的绝对值，结果如图14所示。

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 不同算法识别的工件轮廓精度对比

Fig.14 Comparison of workpiece contour accuracy recognized by different algorithms

由图14可知，采用本文算法得到的表面质量较好及较差工件的轮廓误差的平均值分别为17.45 μm和61.51 μm，而采用Canny算法得到的分别为23.73 μm和81.68 μm，分别大了6.28 μm和20.17 μm，可见采用本文算法识别的轮廓精度更高。

4 结论

采用纹理区域面积与凸包面积的比值对工件表面进行评估和分类，采用不同方法对表面质量不同工件的轮廓进行识别。研究结果表明：采用本文所提出的方法可以将表面质量较好及较差工件的轮廓准确识别出来；本文算法比传统的Canny算法识别的工件轮廓精度更高。本文所提出的轮廓识别方法对不同工件表面有较好的适应性，具有一定的应用价值。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

唐路路，张启灿，胡松.

一种自适应阈值的Canny边缘检测算法

［J］.光电工程，2011，38（5）：127-132.