浙江大学学报(工学版), 2021, 55(9): 1634-1642 doi: 10.3785/j.issn.1008-973X.2021.09.004

机械工程、能源工程

基于双目视觉的激光位移传感器标定方法

马浩然,, 丁雅斌,

天津大学 机械工程学院,天津 300350

Calibration method of laser displacement sensor based on binocular vision

MA Hao-ran,, DING Ya-bin,

School of Mechanical Engineering, Tianjin University, Tianjin 300350, China

通讯作者: 丁雅斌,男,副教授. orcid.org/0000-0001-5853-7626. E-mail: ybding@tju.edu.cn

收稿日期: 2020-09-22  

基金资助: 国家重点研发计划资助项目(2017YFB1301800);国家自然科学基金资助项目(51775376,91948301,51721003,51675369);天津市自然科学基金资助项目(17JCZDJC40100)

Received: 2020-09-22  

Fund supported: 国家重点研发计划资助项目(2017YFB1301800);国家自然科学基金资助项目(51775376,91948301,51721003,51675369);天津市自然科学基金资助项目(17JCZDJC40100)

作者简介 About authors

马浩然(1995—),男,硕士生,从事工业机器人及机器视觉研究.orcid.org/0000-0002-8700-2812.E-mail:mahaoran@tju.edu.cn , E-mail:mahaoran@tju.edu.cn

摘要

为了提高激光位移传感器在工业机器人末端坐标系下的标定精度,提出基于双目视觉的激光位移传感器标定方法. 该方法通过双目视觉技术重建激光光束投影在平面上的光斑位置,利用手眼标定参数将光斑位置转换至机器人末端坐标系,同时利用最小二乘方法将光斑拟合成光束直线,获得机器人末端坐标系下的传感器光束方向及零点位置以完成标定. 该方法可同时标定机器人末端上的多个激光位移传感器,无须采用有精度要求的辅助工件标定,具备精度高,鲁棒性强优势. 基于标准球的精度评价实验结果显示,在3倍标准差范围内该方法标定后的激光位移传感器测量精度范围为0.038 6±0.025 8 mm,满足机器人加工要求.

关键词: 双目视觉系统 ; 激光位移传感器 ; 测量系统 ; 传感器标定 ; 工业机器人

Abstract

A laser displacement sensor calibration method based on binocular visual technology was proposed, in order to increase the calibration precision of laser displacement sensor under the robot end-effector coordinate system. Through binocular visual technology, the location of laser spots projected on the flat was reconstructed. The eye-to-hand calibration parameters were used to transform the light spots into the robot end-effector coordinate system, meanwhile least squares method were used to match light spots into the line of the laser beam and obtain the beam direction as well as zero position of the laser displacement sensor to complete calibration. This method can simultaneously calibrate multiple laser displacement sensors on the robot end-effector coordinate system. No auxiliary component with precision requirement is needed in the calibration process, so the precision is high and the robustness is strong. Result based on standard ball measurement precision evaluation experiment shows that the laser displacement sensor measurement precision range after calibration by this method is 0.038 6±0.025 8 mm, within the range of three standard deviation, which satisfies the requirement of robot processing.

Keywords: binocular vision system ; laser displacement sensor ; measurement system ; sensor calibration ; industrial robot

PDF (1752KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

马浩然, 丁雅斌. 基于双目视觉的激光位移传感器标定方法. 浙江大学学报(工学版)[J], 2021, 55(9): 1634-1642 doi:10.3785/j.issn.1008-973X.2021.09.004

MA Hao-ran, DING Ya-bin. Calibration method of laser displacement sensor based on binocular vision. Journal of Zhejiang University(Engineering Science)[J], 2021, 55(9): 1634-1642 doi:10.3785/j.issn.1008-973X.2021.09.004

激光位移传感器是利用激光技术进行位移精密测量的传感器,具有非接触、测量速度快、分辨率高等特点[1]. 在大型结构件制造领域(如航空航天)中,自动化钻铆机器人或磨削机器人依赖激光位移传感器确定末端刀具与工件表面待加工位置的法向夹角,孙彬等[2-5]对激光位移传感器自身内部参数例如光路光强、光电噪声、倾角误差补偿做了标定或误差补偿研究. 加工过程中,振动极易发生激光位移传感器相对于机器人末端的位置错动,必须对激光位移传感器的位置进行修正和测量来保证现场测量工作的准确性[6],被校准参数包括激光位移传感器在机器人末端坐标系上的光束方向以及零点位置. 另外,装夹在机器人末端的测量系统通常包括3或4个激光位移传感器[7-8],且激光位移传感器的光束并非都是平行关系[9],因此需要一种能够同时标定测量系统中多个激光位移传感器外部参数的方法.

刘勇等[10]提出球面七点等距法,该标定方法原理简单,但需要通过测量平台数控系统辅助调整光学测头测量值,并使其相等,操作烦琐. 曹双倩等[11]提出基于标准平面进行标定的方法,该方法需要加工出平面质量很好的工件,并使用激光跟踪仪进行测量拟合空间平面方程,精度虽高,但增加了标定成本,且实际操作复杂. 毕超等[12]利用三坐标测量机提出使用基于标准球面目标约束并进行非线性优化的标定方法,Zhou等[13]提出使用圆柱面及锥面为约束并进行非线性优化的标定方法,这2种方法都使用了精密的测量设备,标定成本高,且不适用于机器人末端传感器标定. 王胜华等[14]提出定点调姿方法,用于激光位移传感器与机器人间的手眼标定,这种方法原理简单,但精度略低. 以上方法对于加工过程中多传感器在机器人末端上的同时标定具有局限性,且标定过程需要复杂的实验设备. 有学者利用其他设备辅助标定,例如王仲等[15]提出基于单目相机的激光位移传感器标定方法。该方法对实验环境要求低,标定过程简单,可同时标定2个激光位移传感器,标定效果良好. 但这种方法除了要有电荷耦合图像传感器外,还要有角度精度较高的斜面,且须借助其他设备对斜面的角度、斜面与电荷耦合图像传感器的角度进行校准,增加了标定的工作量,此外该方法没有应用于机器人末端的传感器标定.

本研究提出基于双目视觉系统的激光位移传感器标定模型及方法,可同时标定机器人末端的3个或更多激光位移传感器的光束方向及零点位置,标定过程中无须使用其他高精度要求的辅助测量工件,具有标定成本低,适用性高,标定速度快,精度高且鲁棒性强的优点. 同时,本研究设计实验,以验证所述方案在工程中的可行性.

1. 双目视觉激光位移传感器标定方法

1.1. 拟合光束原理

图1所示,激光位移传感器的光束在空间中表现为细长的圆锥体,在激光位移传感器工作范围内可将光束简化为细长圆柱体或者直线. 当线的方向未知时,若能够获取这条线上的若干点位置,可以利用最小二乘法在空间中拟合成光束直线并求得光束的方向参数.

图 1

图 1   光束简化模型

Fig.1   Simplified beam model


1.2. 激光点空间位置获取模型

图2所示,为了获取光束上的若干空间点,双目视觉系统垂直地面朝下放置,在双目视觉系统视野内放置一斜面,将激光位移传感器发出的光束打在斜面上,使形成的光斑能够在已标定位置的2个相机内同时生成图像,在图像中用重心法求取光斑区域内的光斑中心点位置[16],用视差法原理[17]计算出光斑中心点 $P$在双目视觉系统左相机坐标系(规定左相机坐标系为双目视觉系统坐标系)下的坐标 ${P_{\rm{C}}}({x_{\rm{C}}}_{{P}},{y_{\rm{C}}}_P,{z_{\rm{C}}}_P)$.

图 2

图 2   双目视觉系统提取光斑位置模型

Fig.2   Binocular vision system extracts spot locations model


移动激光位移传感器可使光斑在斜面及相机图像中产生位置变化,使双目视觉系统获取光束中更多光斑位置. 在自动化钻铆或磨削工业机器人中,待标定的参数是机器人末端坐标系下激光位移传感器的光束方向及零点位置,因此须将双目视觉坐标系中的光斑经坐标转换至机器人末端坐标系下. 为此建立标定模型.

1.3. 标定方法模型

以3个激光位移传感器组成的末端测量系统(以下称测量系统)为例. 如图3所示,3个激光位移传感器沿着末端轴线均匀周向布置于机器人末端,与轴线呈一定角度. 机器人工作范围内放置支架,其上固定投影斜面及双目视觉系统. 机器人末端带动测量系统移动,使测量系统上激光位移传感器的光束打在斜面上投影成光斑,由相机获取光斑中心点在双目视觉系统坐标系下的空间位置. 为了将光斑经坐标系转换至机器人末端坐标系下,用手眼标定方法获取双目视觉系统与机器人基座之间的位姿关系,结合机器人控制器中获取的机器人末端与基座位姿关系,计算坐标转换矩阵. 利用坐标转换矩阵将光斑转换至机器人末端坐标系下,采用最小二乘法拟合机器人末端坐标系下的光束方向参数,并利用激光位移传感器记录的距离数值进一步解算出零点位置参数.

图 3

图 3   激光位移传感器的标定模型

Fig.3   Calibration model of laser displacement sensor


1.4. 坐标系转换

图4所示为各单元间转换关系,相关参数如表1所示. 为了获取机器人末端坐标系与双目视觉系统坐标系的位姿转换关系 ${}_{\rm{C}}^{\rm{T}}{\boldsymbol{H}}$,从机器人控制器获取机器人末端坐标系与机器人基座坐标系的位姿 ${}_{\rm{B}}^{\rm{T}}{\boldsymbol{H}}$,对机器人及双目视觉系统进行手眼标定[18]以获得机器人基座坐标系与双目视觉系统坐标系的位姿关系 ${}_{\rm{C}}^{\rm{B}}{\boldsymbol{H}}$. 三者的关系式为

图 4

图 4   标定模型的坐标转换关系

Fig.4   Coordinate transformation relation of calibration model


表 1   标定模型参数定义

Tab.1  Calibration model parameter definition

符号 定义 符号 定义
${O_{\rm{B}}}$ 机器人基座坐标系 ${O_{\rm{T}}}$ 机器人末端坐标系
${x_{\rm{B}}}$ 机器人基座坐标系x ${x_{\rm{T}}}$ 机器人末端坐标系x
${y_{\rm{B}}}$ 机器人基座坐标系y ${y_{\rm{T}}}$ 机器人末端坐标系y
${z_{\rm{B}}}$ 机器人基座坐标系z ${z_{\rm{T}}}$ 机器人末端坐标系z
${O_{\rm{O}}}$ 双目视觉系统坐标系 ${O_{\rm{O}}}$ 标定板坐标系
${x_{\rm{C}}}$ 双目视觉系统坐标系x ${x_{\rm{O}}}$ 标定板坐标系x
${y_{\rm{C}}}$ 双目视觉系统坐标系y ${y_{\rm{O}}}$ 标定板坐标系y
${z_{\rm{C}}}$ 双目视觉系统坐标系z ${z_{\rm{O}}}$ 标定板坐标系z
${}_{\rm{B}}^{\rm{T}}{\boldsymbol{H}}$ 机器人末端相对于机器人基座的位姿转换矩阵 ${}_{\rm{C}}^{\rm{O}}{\boldsymbol{H}}$ 标定板相对于双目视觉系统的位姿转换关系
${}_{\rm{T}}^{\rm{O}}{\boldsymbol{H}}$ 标定板相对于机器人末端的位姿转换矩阵 ${}_{\rm{C}}^{\rm{B}}{\boldsymbol{H}}$ 机器人基座相对于双目视觉的位姿转换矩阵

新窗口打开| 下载CSV


${}_{\rm{C}}^{\rm{T}}{\boldsymbol{H}} = {}_{\rm{C}}^{\rm{B}}{\boldsymbol{H}}{}_{\rm{B}}^{\rm{T}}{\boldsymbol{H}}.$

由双目视觉系统获取激光光斑中心点在双目视觉系统坐标系 ${O_{\rm{C}}}$下的三维坐标 ${P}_{\rm{C}}({x}_{{\rm{C}}P},{y}_{{\rm{C}}P},{z}_{{\rm{C}}P})$. 为了得到机器人末端坐标系 ${O_{\rm{T}}}$上光斑中心点的三维坐标 ${P}_{\rm{T}}({x}_{{\rm{T}}P},{y}_{{\rm{T}}P},{z}_{{\rm{T}}P})$,进行坐标转换

$\left[ {{x_{{\rm{T}}}}_P} ,{{y_{{\rm{T}}}}_P} ,{{z_{{\rm{T}}}}_P} ,1 \right]^{\rm{T}} = {}_{\boldsymbol{T}}^{\boldsymbol{C}}{\boldsymbol{H}}\left[ {{x_{{\rm{C}}}}_P}, {{y_{{\rm{C}}}}_P} , {{z_{{\rm{C}}}}_P} ,1 \right]^{\rm{T}}.$

控制机器人末端改变位姿,使激光位移传感器的光斑在斜面上产生位置变化,经多次调姿可以获得机器人末端坐标系 ${O_{\rm{T}}}$上的若干点.

1.5. 激光光束空间直线拟合及方向参数求解

为了将机器人末端坐标系下的光斑点集拟合成光束所在直线,须获取若干个光斑位置信息. 由式(2)可实时获得激光光斑中心点 $P$在机器人末端坐标系 ${O_{\rm{T}}}$上的三维坐标,移动机器人末端 $m$次,每条光束上即可获取 $m$个光斑中心点坐标 $ {P}_{{\rm{T}}i}({x}_{i},{y}_{i},{z}_{i})$ $ (i=1,2,3,\cdot \cdot \cdot ,m)$. 利用最小二乘法将光斑拟合成激光光束直线.

$\frac{{x - {x_0}}}{{{{{k}}_x}}} = \frac{{y - {y_0}}}{{{{{k}}_y}}} = \frac{{z - {z_0}}}{{{{{k}}_z}}}.$

式中: ${x_0}$${y_0}$${z_0}$为直线上已知点 ${P_0}$的坐标, ${{{k}}_x}$${{{k}}_y}$${{{k}}_z}$为直线方向向量 ${\boldsymbol{n}}$在坐标系下的分量. 转换式(3)可以得到:

$\left[ x,y \right]^{\rm{T}} = z\left[ a , c \right]^{\rm{T}} + \left[ b ,d \right]^{\rm{T}}.$

式中:abcd为激光光束直线方程待求系数, $a = {{{k}}_x}/{{{k}}_z}$$b = {x_0} - {{{{{k}}_x}}}{z_{\rm{0}}}/{{{{{k}}_z}}}$$c = {{{{{k}}_y}}}/{{{{{k}}_z}}}$$d = {y_0} - {{{{{k}}_y}}}{{\rm{z}}_{\rm{0}}}/{{{{{k}}_z}}}$. 将问题转换成求解最小二乘问题:

$\left. {\begin{array}{*{20}{c}} {\Delta x = \displaystyle\sum\limits_{i = 1}^m {{{[{x_i} - (a{z_i} + b)]}^2}} }, \\ {\Delta y = \displaystyle\sum\limits_{i = 1}^m {{{[{y_i} - (c{z_i} + d)]}^2}} } . \end{array}} \right\}$

其中 $\Delta x$$\Delta y$取最小值 $\Delta {x_{\min }}$$\Delta {y_{{\rm{min}}}}$时的参数 $a,b,c,d$即为激光光束直线方程所求系数

$\left. {\begin{array}{r} {a = \left({{2\displaystyle\sum\limits_{i = 1}^m {{x_i}{z_i} - \sum\limits_{i = 1}^m {{x_i}\sum\limits_{i = 1}^m {{z_i}} } } }}\right)\Bigg /\left[{{2\displaystyle\sum\limits_{i = 1}^m {{z_i}^2 - \left(\displaystyle\sum\limits_{i = 1}^m {z_i}\right)^{^2} } }}\right]}, \\ {b = \left({{\displaystyle\sum\limits_{i = 1}^m {{x_i} - a\displaystyle\sum\limits_{i = 1}^m {{z_i}} } }}\right)\Bigg/{2}} ,\\ {c = \left({{2\displaystyle\sum\limits_{i = 1}^m {{y_i}{z_i} - \displaystyle\sum\limits_{i = 1}^m {{y_i}\displaystyle\sum\limits_{i = 1}^m {{z_i}} } } }}\right)\Bigg/\left[{{2\displaystyle\sum\limits_{i = 1}^m {{z_i}^2 - \left(\displaystyle\sum\limits_{i = 1}^m {z_i}\right)^{^2}}}}\right]}, \\ {d = \left({{\displaystyle\sum\limits_{i = 1}^m {{y_i} - c\displaystyle\sum\limits_{i = 1}^m {{z_i}} } }}\right)\Bigg/{2}} . \end{array}} \right\}$

$m$个光斑 $ {P}_{{\rm{T}}i}({x}_{i},{y}_{i},{z}_{i})$ $ (i=1,2,3,\cdot \cdot \cdot ,m)$代入式(6),即可求得直线方程参数,进而求得光束直线的方向参数 ${\boldsymbol{n}} = ({{{k}}_x},{{{k}}_y},{{{k}}_z}) = (a,c,1)$.

为了消除光斑位置提取时产生的噪声,可设定光斑中心点与拟合直线间的距离阈值,将与拟合光束直线距离过大的数据点去除并重复拟合,以获得更好的效果.

1.6. 激光光束零点位置参数求解

图5所示,利用激光位移传感器控制器可以获得每个光斑到激光零点位置的距离 ${D_{\rm{i}}}$ $ (i= $ $ 1,2,3,\cdot \cdot \cdot ,m)$,将这些光斑中心点投影在拟合后的激光光束直线 $L$上,得到投影点 ${P^{'}}_{{\rm{T}}i}$ $ (i=1,2,3,\cdot \cdot \cdot ,m)$. 利用投影点和对应的距离可求解出零点位置.

图 5

图 5   零点位置求解图示

Fig.5   Illustration zero position calculation


$L$的空间方程转换成参数式形式:

$\left. {\begin{array}{*{20}{c}} {x = {k_x}t + {x_0}}, \\ {y = {k_y}t + {y_0}}, \\ {z = {k_z}t + {z_0}}. \end{array}} \right\}$

式中: $t$为未知参数. $L$的方向向量为已知参数 ${\boldsymbol{n}} = ({{{k}}_x},{{{k}}_y},{{{k}}_z})$${P}^{\rm{'}}{}_{{\rm{T}}i}({{k}}_{x}{t}_{i}+{x}_{0},{{k}}_{y}{t}_{i}+{y}_{0},{{k}}_{z}{t}_{i}+{z}_{0})$为光斑投影点,则光斑点 ${P_{{\rm{T}}i}}$到投影点 ${P^{'}}_{{\rm{T}}i}$的向量 ${{\boldsymbol{P}}_{{\rm{T}}i}}{\boldsymbol{P}}{'_{{\rm{T}}i}}$和方向向量 ${\boldsymbol{n}}$存在如下关系:

${{\boldsymbol{P}}_{{\rm{T}}i}}{\boldsymbol{P}}{'_{{\rm{T}}i}} \bot {\boldsymbol{n}}.$

解得

${t_i} = \frac{{({x_i} - {x_0}){{{k}}_x} + ({y_i} - {y_0}){{{k}}_y} + ({z_i} - {z_0}){{{k}}_z}}}{{{{k}}_x^2 + {{k}}_y^2 + {{k}}_z^2}}.$

代入投影点 ${P}^{\rm{'}}{}_{{\rm{T}}i}({{k}}_{x}{t}_{i}+{x}_{0},{{k}}_{y}{t}_{i}+{y}_{0},{{k}}_{z}{t}_{i}+{z}_{0})$,可得光束 $L$上的投影点坐标 $ {P}^{\rm{'}}{}_{{\rm{T}}i}({x}_{i}^{\rm{'}},{y}_{i}^{\rm{'}},{z}_{i}^{\rm{'}})$. 其对应的零点坐标为 ${P}_{{\rm{o}}i}({x}_{{\rm{o}}i},{y}_{{\rm{o}}}{}_{i},{z}_{{\rm{o}}i})$,因 ${P_{{\rm{o}}i}}\;$ 在光束直线 $L$上,设 ${P}_{\rm{o}i}({{k}}_{x}{s}_{i}+{x}_{0}, $ $ {{k}}_{y}{s}_{i}+{y}_{0},{{k}}_{z}{s}_{i}+{z}_{0})$,其中 ${s_i}$为未知参数. 令

$\left| {{\boldsymbol{P}}_{Ti}^{'}{{\boldsymbol{P}}_{{\rm{o}}i}}} \right| = {D_i}.$

解得

${s_i} = \frac{{{D_i}}}{{\left({{{k}}_x^2 + {{k}}_y^2 + {{k}}_z^2} \right)^{0.5} }}+ {t_i}.$

${s_i}$代入 ${P_{{\rm{o}}i}}$,可求得 $m$个投影点 ${P^{'}}_{Ti}$对应的 $m$个零点坐标 ${P}_{\rm{o}}{}_{i}({x}_{\rm{o}}{}_{i},{y}_{\rm{o}}{}_{i},{z}_{\rm{o}}{}_{i})$ $ (i=1,2,3,\cdot \cdot \cdot ,m)$.$m$个坐标取均值作为激光位移传感器的最终零点坐标.

$\left. {\begin{array}{*{20}{c}} {{x_{\rm{o}}} = {m^{-1}{\displaystyle\sum\limits_{i = 1}^m {{x_{{\rm{o}}i}}} }}} ,\\ {{y_{\rm{o}}} = {m^{-1}{\displaystyle\sum\limits_{i = 1}^m {{y_{{\rm{o}}i}}} }}}, \\ {{z_{\rm{o}}} = {m^{-1}{\displaystyle\sum\limits_{i = 1}^m {{z_{{\rm{o}}i}}} }}}. \end{array}} \right\}$

由式(12)可求得机器人末端坐标系 ${O_{\rm{T}}}$下的激光位移传感器的零点位置坐标 ${P}_{{\rm{o}}}({x}_{{\rm{o}}},{y}_{{\rm{o}}},{z}_{{\rm{o}}})$.

2. 激光位移传感器标定实验

2.1. 实验平台

为了验证上述理论可行性,搭建如图6所示实验平台,采用3个激光位移传感器集成的激光位移传感器测量,系统安装在UR10机器人[19]末端,在机器人工作范围内放置固定有2台工业相机的视觉试验台,下方放置固定斜面,该斜面无须保证角度精度及表面平整度[15],仅用于反射光斑,UR10机器人可控制末端移动将激光光线打在斜面上形成细小光斑,实验流程如图7所示.

图 6

图 6   激光位移传感器标定实验平台

Fig.6   Experimental platform of laser displacement sensor calibration


图 7

图 7   激光位移传感器标定实验流程

Fig.7   Experimental procedure of laser displacement sensor calibration


2.2. 标定实验

2.2.1. 手眼标定

对双目视觉系统左相机与机器人基座之间的位姿关系进行手眼标定[18],如图8所示. 将标定板安装在机器人末端,移动机器人末端使标定板在视野内移动10个位姿,保证图像充满相机景深区域. 标定后双目视觉系统相对于机器人的平移部分和旋转部分的均方根误差分别为0.08 mm和0.037°,最大误差分别为0.12 mm和0.057°,满足实验要求.

图 8

图 8   手眼标定实验场景

Fig.8   Eye-to-hand calibration experiment scene


2.2.2. 光斑中心点提取及坐标系转换

进行双目视觉系统自标定,以消除镜头畸变的影响以及确定2个相机的位姿关系. 如图9所示,使双目视觉系统的左右相机(MER-500-14U3M,500万像素,8 mm焦距)同时拍摄标定板(13×15圆点标定板,精度为±1 μm),经过10次拍摄后计算得出相机的内参以及相对位姿关系. 标定结果显示左右相机的平均像素误差均为0.098像素,在100 mm×80 mm的视场范围内的测量精度可达0.036 mm,满足工作要求.

图 9

图 9   双目相机采集标定图像

Fig.9   Binocular camera collect calibration image


使机器人末端移动到投影斜面附近,将激光打在斜面上,并利用如图10所示的左相机图像为例的重心法求光斑中心点,以及视差法原理计算光斑中心点在相机坐标系下的空间位置. 因为在实验中斜面的作用是反射光斑,所以对斜面粗糙度和倾角精度无要求.

图 10

图 10   光斑中心点图像坐标提取过程

Fig.10   Image coordinate extraction process of spot center point


在实验中,机器人末端移动了17个位姿,双目视觉系统共获取3束激光打在斜面上的51个光斑中心点位置,依据式(3)将光斑中心点坐标转化至机器人末端坐标系下,如图11所示. 图中,利用聚类方法将双目视觉获取的51个分布明显的光斑分成用于拟合3束激光直线的3个点集. 每个光斑点集的光斑在图中的图形相同,例如图中用*表示用于拟合激光束2的光斑. 3个点集在机器人末端坐标系下绕z轴方向呈均匀分布,与激光位移传感器在机器人末端的安装位置基本一致.

图 11

图 11   双目视觉采集的光斑在机器人末端坐标系下的位置

Fig.11   The position of the spot of binocular vision acquisition in the robot terminal coordinate system


2.2.3. 光束方向及零点位置计算

将机器人末端坐标系下的光斑点集应用最小二乘法拟合空间直线后,计算每个光斑点到拟合直线的距离,即拟合残差 $\xi $,拟合效果如图12所示。3个激光线与机器人末端坐标系Z轴呈角度汇聚于一点,与激光位移传感器在机器人末端的安装位置和方向基本一致.

图 12

图 12   机器人末端坐标系下光斑拟合光束效果

Fig.12   Effect diagram of light spot fitting beam in robot terminal coordinate system


51个光斑对应直线拟合的残差值 $\xi $图13所示. 激光束1上光斑最大残差为0.206 mm,激光束2为0.256 mm,激光束3为0.258 mm,3束激光的平均残差为0.098 mm,拟合效果良好. 由式(10)获得拟合直线的方向参数,由式(12)获得激光零点位置. 3枚激光光束的零点位置如图14所示。由图可知,计算结果与预期相符.

图 13

图 13   机器人末端坐标系下光斑拟合光束残差图

Fig.13   Residual diagram of light spot fitting beam in robot terminal coordinate system


图 14

图 14   机器人末端坐标系下激光零点位置计算结果

Fig.14   Calculation results laser zero position in robot terminal coordinate system


3. 标定结果验证

为了验证标定结果,使用如图15所示陶瓷标定球作为基准球面,其直径 ${d_t}$=19.989 mm. 使用UR10机器人带动基恩士LK-H050激光位移传感器组成的测量系统采集球面上的数据点集 ${P}_{{\rm{S}}i }$,通过将点集 ${P_{{\rm{S}}i}}$转换到机器人基座坐标系下形成点集 ${P_{{\rm{B}}i}}$并进行最小二乘法球面拟合. 拟合球面直径 ${d_f}$${d_t}$之差 ${d_e}$体现标定方法的准确性. 计算 ${P_{{\rm{B}}i}}$到拟合球面的最大距离 ${\varepsilon _{{\rm{max}}}}$反映拟合效果. 利用测量误差 $\delta = \left| {{d_e}} \right| + {\varepsilon _{\max }}$反映整体的准确性.

图 15

图 15   测量系统采集球面数据点

Fig.15   Measuring system collect spherical data points


在球面上不同位置重复实验10次,每次利用3束激光同时采集基准球上共240个点进行球面拟合,数据点采集情况如图16所示,拟合效果如图17所示, 拟合结果及误差如表2所示. 10次测量实验的平均测量误差 $\overline \delta $=0.038 6 mm,标准偏差 $\sigma $=0.008 6 mm. 因此在3倍标准差范围内,使用本文方法标定的激光位移传感器测量标准球的测量误差范围 $E = {\rm{0}}{\rm{.038\;6}} \pm {\rm{0}}{\rm{.025\;8}}$ mm. 结果表明利用双目视觉系统可以有效标定出激光位移传感器在机器人末端上的光束方向及零点位置. 为了进一步验证经该方法标定的激光位移传感器在机器人自动化钻铆工序中的可行性和鲁棒性,设计实验对工件表面同一固定点进行基于向量叉积法[20]的多姿态法向测量,如图18所示.

图 16

图 16   机器人基座坐标系下球面数据点采集结果

Fig.16   Spherical data point acquisition results in robot base coordinate system


图 17

图 17   机器人基座坐标系下陶瓷球面数据点拟合球面结果

Fig.17   Spherical data point fitting results of ceramic standard sphere in robot base coordinate system


表 2   球面拟合结果与测量误差

Tab.2  Spherical fitting results and measurement errors

实验序号 ${d_f}/{\rm{mm}}$ ${d_e}/{\rm{mm}}$ ${\varepsilon _{\max }}/{\rm{mm}}$ ${\delta _{}}/{\rm{mm}}$
1 19.996 0.007 0.019 0.026
2 20.002 0.013 0.023 0.036
3 19.968 −0.021 0.027 0.048
4 20.004 0.015 0.020 0.035
5 19.998 0.009 0.018 0.027
6 19.978 −0.011 0.023 0.034
7 20.006 0.017 0.025 0.042
8 20.010 0.021 0.029 0.050
9 20.014 0.025 0.024 0.049
10 19.970 −0.019 0.020 0.039

新窗口打开| 下载CSV


图 18

图 18   工件表面法向测量

Fig.18   Normal measurement of workpiece surface


选用已知数据模型的机床轴套作为加工对象进行实验,在轴套表面选取5个待加工点,每个加工点选取9个不同姿态,共计算得到45个法向量 ${{\boldsymbol{n}}_{uv}} = ({x_{uv}},y{}_{uv},{z_{uv}})$ $(u = 1,2, \cdot \cdot \cdot ,{\rm{5;}}v = {\rm{1,2,}} \cdot \cdot \cdot ,{\rm{9}})$,其中 $u$为待加工点序号, $v$为姿态序号. 5个待加工点在数据模型中的曲率如表3所示。表中, $K$为主曲率, ${K_{\rm{m}}}$为平均曲率, ${K_{\rm{g}}}$为高斯曲率.

表 3   待加工点处曲率

Tab.3  Curvature at processing point m−1

$u$ Kmax Kmin ${K_{\rm{m}}}$ ${K_{\rm{g}}}$
1 43.10 0 21.55 0
2 37.88 0 18.94 0
3 33.78 0 16.89 0
4 25.00 0 12.50 0
5 25.00 0 12.50 0

新窗口打开| 下载CSV


为了保证激光位移传感器本身的测量精度,机器人末端姿态选取范围为待加工点对应数据模型处法向的5°偏差以内[21]. 将9种姿态下的待加工点法向量计算值求平均法向量 ${{\boldsymbol{n}}_u}$,并计算该加工点每个姿态下 ${{\boldsymbol{n}}_{uv}}$相对于 ${{\boldsymbol{n}}_u}$的残差角度 ${\theta _{{\rm{uv}}}}$. 其中

${\theta _{{{uv}}}} = {\rm{arccos}}\left(\frac{{{{\boldsymbol{n}}_{uv}}\cdot {{\boldsymbol{n}}_u}}}{{\left| {{{\boldsymbol{n}}_{uv}}} \right| \times \left| {{{\boldsymbol{n}}_u}} \right|}}\right).$

残差角度分布情况如图19所示. 由图可知,使用本文方法标定的激光位移传感器在进行工件表面法向量测量时,法向量残差角度均小于0.34°,平均残差角度与曲率成正相关,即工件曲率越小,平均残差角度越小,鲁棒性越高. 实验结果表明使用基于双目视觉的激光位移传感器标定方法标定的激光位移传感器组应用在大尺寸工件表面法向测量工作中具有可行性和鲁棒性.

图 19

图 19   测量残差角度分布情况

Fig.19   Measure angle distribution of residuals


4. 结 语

为了完成大型结构件加工领域中工业机器人末端上激光位移传感器的标定工作,本文提出基于双目视觉的激光位移传感器光束方向及零点位置标定方法. 该方法特点包括:1)使用双目视觉技术标定传感器,无须再使用高精度要求的辅助测量工件,可通过预先编程实现标定过程自动化. 2)可同时标定机器人末端上的多个激光位移传感器,标定精度高、鲁棒性好.

经实验验证,该方法标定的激光位移传感器在3倍标准差范围内的测量误差范围为0.038 6±0.025 8 mm,满足大型结构件表面加工领域测量要求,为激光位移传感器的标定工作拓展了思路,可应用于更广泛的领域中. 未来将进一步研究如何提高手眼标定和激光光斑中心点提取的精度以提高光束拟合精度.

参考文献

ZHANG J, SUN J, LIU Z

A flexible calibration method for laser displacement sensors based on a stereo-target

[J]. Measurement science and Technology, 2014, 25 (10): 105103

DOI:10.1088/0957-0233/25/10/105103      [本文引用: 1]

孙彬, 李兵

一种量化的激光位移传感器倾角误差补偿模型

[J]. 仪器仪表学报, 2015, 36 (5): 996- 1004

DOI:10.3969/j.issn.0254-3087.2015.05.005      [本文引用: 1]

SUN Bin, LI Bing

A quantitative error compensation model of the inclination angle of the laser displacement sensor

[J]. Chinese Journal of Scientific Instrument, 2015, 36 (5): 996- 1004

DOI:10.3969/j.issn.0254-3087.2015.05.005      [本文引用: 1]

宁光芳, 甘泉

激光位移传感器误差补偿的仿真分析

[J]. 激光杂志, 2016, 37 (4): 37- 40

URL    

NING Guang-fang, GAN Quan

Simulation and analysis of error compensation of laser displacement sensor

[J]. Laser Journal, 2016, 37 (4): 37- 40

URL    

董祉序, 孙兴伟, 刘伟军, 等

基于激光位移传感器的自由曲面精密测量方法

[J]. 仪器仪表学报, 2018, 39 (12): 30- 38

URL    

DONG Zhi-xu, SUN Xing-wei, LIU Wei-jun, et al

Precision measurement method of free-form curved surfaces based on laser displacement sensor

[J]. Chinese Journal of Scientific Instrument, 2018, 39 (12): 30- 38

URL    

BROSED J F, AGUILAR J J, GUILLOMIA D, et al

3D geometrical inspection of complex geometry parts using a novel laser triangulation sensor and a robot

[J]. Sensors, 2011, 11 (1): 90- 110

URL     [本文引用: 1]

YANG T, WANG Z, WU Z, et al. Calibration of laser beam direction for inner diameter measuring device [J]. Sensors, 2017, 17(2): 294.

[本文引用: 1]

GAO Y H, WU D, NAN C G, et al

Normal direction measurement in robotic drilling and precision calculation

[J]. International Journal of Advanced Manufacturing Technology, 2015, 76: 1311- 1318

DOI:10.1007/s00170-014-6320-7      [本文引用: 1]

WANG Z, BAI J, ZHANG X Y, et al

Base detection research of drilling robot system by using visual inspection

[J]. Journal of Robotics, 2018, 2018: 8767531

URL     [本文引用: 1]

LONG Y, ZHANG Y L, BI Q Z, et al

Research on surface normal measurement and adjustment in aircraft assembly

[J]. Precision Engineering, 2017, 50: 482- 493

DOI:10.1016/j.precisioneng.2017.07.004      [本文引用: 1]

刘勇, 毕超, 刘京亮, 等

光学测头光束方向多种标定方法的研究与比较

[J]. 测控技术, 2014, 33: 552- 554

URL     [本文引用: 1]

LIU Yong, BI Chao, LIU Jing-liang, et al

Study and compare of several methods of beam-direction of optical sensor

[J]. Measurement and Control Technology, 2014, 33: 552- 554

URL     [本文引用: 1]

曹双倩, 袁培江, 陈冬冬, 等

激光测距传感器光束矢向和零点位置标定方法

[J]. 北京航空航天大学学报, 2018, 44 (6): 1321- 1327

URL     [本文引用: 1]

CAO Shuang-qian, YUAN Pei-jiang, CHEN Dong-dong, et al

Calibration method for laser beam direction and zero point of laser displacement sensor

[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44 (6): 1321- 1327

URL     [本文引用: 1]

毕超, 房建国, 刘京亮, 等

基于球形目标的激光位移传感器光束方向标定

[J]. 光学精密工程, 2015, 23 (3): 678- 685

DOI:10.3788/OPE.20152303.0678      [本文引用: 1]

BI Chao, FANG Jian-guo, LIU Jing-liang, et al

Calibration of beam direction of laser displacement sensor based on spherical target

[J]. Optics and Precision Engineering, 2015, 23 (3): 678- 685

DOI:10.3788/OPE.20152303.0678      [本文引用: 1]

ZHOU A, GUO J, SHAO W, et al

A segmental calibration method for a miniature serial-link coordinate measuring machine using a compound calibration artefact

[J]. Measurement Science and Technology, 2013, 24 (6): 065001

DOI:10.1088/0957-0233/24/6/065001      [本文引用: 1]

王胜华, 都东, 张文增, 等

机器人定点变位姿手−眼标定方法

[J]. 清华大学学报: 自然科学版, 2007, 47 (2): 165- 168

URL     [本文引用: 1]

WANG Sheng-hua, DU Dong, ZHANG Weng-zeng, et al

Hand-eye calibration for the robot by measuring a fixed point from different poses

[J]. Journal of Tsinghua University: Science and Technology, 2007, 47 (2): 165- 168

URL     [本文引用: 1]

WANG Z, YANG T Y, WANG L, et al

Calibration of laser beam direction based on monocular vision

[J]. Journal of Measurement Science and Instrumentation, 2017, 8 (4): 354- 363

URL     [本文引用: 2]

陈和, 杨志浩, 郭磐, 等

激光光斑中心高精度定位算法研究

[J]. 北京理工大学学报, 2016, 36 (2): 181- 185

URL     [本文引用: 1]

CHEN He, YANG Zhi-hao, GUO Pan, et al

Research of the high precision laser spot center location algorithm

[J]. Transaction of Beijing Institute of Technology, 2016, 36 (2): 181- 185

URL     [本文引用: 1]

罗世民, 李茂西

双目视觉测量中三维坐标的求取方法研究

[J]. 计算机工程与设计, 2006, 27 (19): 3622- 3624

DOI:10.3969/j.issn.1000-7024.2006.19.037      [本文引用: 1]

LUO Shi-min, LI Mao-xi

Research on how to get object's 3D coordinate on two CCD camera measure system

[J]. Computer Engineering and Design, 2006, 27 (19): 3622- 3624

DOI:10.3969/j.issn.1000-7024.2006.19.037      [本文引用: 1]

CHANG W C

Precise positioning of binocular eye-to-hand robotic manipulators

[J]. Journal of Intelligent and Robot Systems, 2007, 49 (3): 219- 236

DOI:10.1007/s10846-007-9135-z      [本文引用: 2]

刘强, 杨道国, 郝卫东

UR10机器人的运动学分析与轨迹规划

[J]. 机床与液压, 2019, 47 (17): 22- 28

DOI:10.3969/j.issn.1001-3881.2019.17.005      [本文引用: 1]

LIU Qiang, YANG Dao-guo, HAO Wei-dong

Kinematic analysis and trajectory planning of UR10 robot

[J]. Machine Tool and Hydraulics, 2019, 47 (17): 22- 28

DOI:10.3969/j.issn.1001-3881.2019.17.005      [本文引用: 1]

GONG M, YUAN P, WANG T. A novel method of surface-normal measurement in robotic drilling for aircraft fuselage using three laser range sensors [C]// IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Kaohsiung: IEEE, 2012: 450-455.

[本文引用: 1]

闫航瑞, 熊志勇

表面倾斜对激光三角测量的影响及校正研究

[J]. 光学仪器, 2014, 36 (1): 11- 14

DOI:10.3969/j.issn.1005-5630.2014.01.003      [本文引用: 1]

YAN Hang-rui, XIONG Zhi-yong

Study of the impact and correction of surface tilt upon laser triangulation

[J]. Optical Instruments, 2014, 36 (1): 11- 14

DOI:10.3969/j.issn.1005-5630.2014.01.003      [本文引用: 1]

/