基于双目视觉的激光位移传感器标定方法
Calibration method of laser displacement sensor based on binocular vision
通讯作者:
收稿日期: 2020-09-22
基金资助: |
|
Received: 2020-09-22
Fund supported: | 国家重点研发计划资助项目(2017YFB1301800);国家自然科学基金资助项目(51775376,91948301,51721003,51675369);天津市自然科学基金资助项目(17JCZDJC40100) |
作者简介 About authors
马浩然(1995—),男,硕士生,从事工业机器人及机器视觉研究.orcid.org/0000-0002-8700-2812.E-mail:
为了提高激光位移传感器在工业机器人末端坐标系下的标定精度,提出基于双目视觉的激光位移传感器标定方法. 该方法通过双目视觉技术重建激光光束投影在平面上的光斑位置,利用手眼标定参数将光斑位置转换至机器人末端坐标系,同时利用最小二乘方法将光斑拟合成光束直线,获得机器人末端坐标系下的传感器光束方向及零点位置以完成标定. 该方法可同时标定机器人末端上的多个激光位移传感器,无须采用有精度要求的辅助工件标定,具备精度高,鲁棒性强优势. 基于标准球的精度评价实验结果显示,在3倍标准差范围内该方法标定后的激光位移传感器测量精度范围为0.038 6±0.025 8 mm,满足机器人加工要求.
关键词:
A laser displacement sensor calibration method based on binocular visual technology was proposed, in order to increase the calibration precision of laser displacement sensor under the robot end-effector coordinate system. Through binocular visual technology, the location of laser spots projected on the flat was reconstructed. The eye-to-hand calibration parameters were used to transform the light spots into the robot end-effector coordinate system, meanwhile least squares method were used to match light spots into the line of the laser beam and obtain the beam direction as well as zero position of the laser displacement sensor to complete calibration. This method can simultaneously calibrate multiple laser displacement sensors on the robot end-effector coordinate system. No auxiliary component with precision requirement is needed in the calibration process, so the precision is high and the robustness is strong. Result based on standard ball measurement precision evaluation experiment shows that the laser displacement sensor measurement precision range after calibration by this method is 0.038 6±0.025 8 mm, within the range of three standard deviation, which satisfies the requirement of robot processing.
Keywords:
本文引用格式
马浩然, 丁雅斌.
MA Hao-ran, DING Ya-bin.
激光位移传感器是利用激光技术进行位移精密测量的传感器,具有非接触、测量速度快、分辨率高等特点[1]. 在大型结构件制造领域(如航空航天)中,自动化钻铆机器人或磨削机器人依赖激光位移传感器确定末端刀具与工件表面待加工位置的法向夹角,孙彬等[2-5]对激光位移传感器自身内部参数例如光路光强、光电噪声、倾角误差补偿做了标定或误差补偿研究. 加工过程中,振动极易发生激光位移传感器相对于机器人末端的位置错动,必须对激光位移传感器的位置进行修正和测量来保证现场测量工作的准确性[6],被校准参数包括激光位移传感器在机器人末端坐标系上的光束方向以及零点位置. 另外,装夹在机器人末端的测量系统通常包括3或4个激光位移传感器[7-8],且激光位移传感器的光束并非都是平行关系[9],因此需要一种能够同时标定测量系统中多个激光位移传感器外部参数的方法.
刘勇等[10]提出球面七点等距法,该标定方法原理简单,但需要通过测量平台数控系统辅助调整光学测头测量值,并使其相等,操作烦琐. 曹双倩等[11]提出基于标准平面进行标定的方法,该方法需要加工出平面质量很好的工件,并使用激光跟踪仪进行测量拟合空间平面方程,精度虽高,但增加了标定成本,且实际操作复杂. 毕超等[12]利用三坐标测量机提出使用基于标准球面目标约束并进行非线性优化的标定方法,Zhou等[13]提出使用圆柱面及锥面为约束并进行非线性优化的标定方法,这2种方法都使用了精密的测量设备,标定成本高,且不适用于机器人末端传感器标定. 王胜华等[14]提出定点调姿方法,用于激光位移传感器与机器人间的手眼标定,这种方法原理简单,但精度略低. 以上方法对于加工过程中多传感器在机器人末端上的同时标定具有局限性,且标定过程需要复杂的实验设备. 有学者利用其他设备辅助标定,例如王仲等[15]提出基于单目相机的激光位移传感器标定方法。该方法对实验环境要求低,标定过程简单,可同时标定2个激光位移传感器,标定效果良好. 但这种方法除了要有电荷耦合图像传感器外,还要有角度精度较高的斜面,且须借助其他设备对斜面的角度、斜面与电荷耦合图像传感器的角度进行校准,增加了标定的工作量,此外该方法没有应用于机器人末端的传感器标定.
本研究提出基于双目视觉系统的激光位移传感器标定模型及方法,可同时标定机器人末端的3个或更多激光位移传感器的光束方向及零点位置,标定过程中无须使用其他高精度要求的辅助测量工件,具有标定成本低,适用性高,标定速度快,精度高且鲁棒性强的优点. 同时,本研究设计实验,以验证所述方案在工程中的可行性.
1. 双目视觉激光位移传感器标定方法
1.1. 拟合光束原理
如图1所示,激光位移传感器的光束在空间中表现为细长的圆锥体,在激光位移传感器工作范围内可将光束简化为细长圆柱体或者直线. 当线的方向未知时,若能够获取这条线上的若干点位置,可以利用最小二乘法在空间中拟合成光束直线并求得光束的方向参数.
图 1
1.2. 激光点空间位置获取模型
图 2
图 2 双目视觉系统提取光斑位置模型
Fig.2 Binocular vision system extracts spot locations model
移动激光位移传感器可使光斑在斜面及相机图像中产生位置变化,使双目视觉系统获取光束中更多光斑位置. 在自动化钻铆或磨削工业机器人中,待标定的参数是机器人末端坐标系下激光位移传感器的光束方向及零点位置,因此须将双目视觉坐标系中的光斑经坐标转换至机器人末端坐标系下. 为此建立标定模型.
1.3. 标定方法模型
以3个激光位移传感器组成的末端测量系统(以下称测量系统)为例. 如图3所示,3个激光位移传感器沿着末端轴线均匀周向布置于机器人末端,与轴线呈一定角度. 机器人工作范围内放置支架,其上固定投影斜面及双目视觉系统. 机器人末端带动测量系统移动,使测量系统上激光位移传感器的光束打在斜面上投影成光斑,由相机获取光斑中心点在双目视觉系统坐标系下的空间位置. 为了将光斑经坐标系转换至机器人末端坐标系下,用手眼标定方法获取双目视觉系统与机器人基座之间的位姿关系,结合机器人控制器中获取的机器人末端与基座位姿关系,计算坐标转换矩阵. 利用坐标转换矩阵将光斑转换至机器人末端坐标系下,采用最小二乘法拟合机器人末端坐标系下的光束方向参数,并利用激光位移传感器记录的距离数值进一步解算出零点位置参数.
图 3
1.4. 坐标系转换
图 4
表 1 标定模型参数定义
Tab.1
符号 | 定义 | 符号 | 定义 | |
| 机器人基座坐标系 | | 机器人末端坐标系 | |
| 机器人基座坐标系x轴 | | 机器人末端坐标系x轴 | |
| 机器人基座坐标系y轴 | | 机器人末端坐标系y轴 | |
| 机器人基座坐标系z轴 | | 机器人末端坐标系z轴 | |
| 双目视觉系统坐标系 | | 标定板坐标系 | |
| 双目视觉系统坐标系x轴 | | 标定板坐标系x轴 | |
| 双目视觉系统坐标系y轴 | | 标定板坐标系y轴 | |
| 双目视觉系统坐标系z轴 | | 标定板坐标系z轴 | |
| 机器人末端相对于机器人基座的位姿转换矩阵 | | 标定板相对于双目视觉系统的位姿转换关系 | |
| 标定板相对于机器人末端的位姿转换矩阵 | | 机器人基座相对于双目视觉的位姿转换矩阵 |
由双目视觉系统获取激光光斑中心点在双目视觉系统坐标系
控制机器人末端改变位姿,使激光位移传感器的光斑在斜面上产生位置变化,经多次调姿可以获得机器人末端坐标系
1.5. 激光光束空间直线拟合及方向参数求解
为了将机器人末端坐标系下的光斑点集拟合成光束所在直线,须获取若干个光斑位置信息. 由式(2)可实时获得激光光斑中心点
式中:
式中:a、b、c、d为激光光束直线方程待求系数,
其中
将
为了消除光斑位置提取时产生的噪声,可设定光斑中心点与拟合直线间的距离阈值,将与拟合光束直线距离过大的数据点去除并重复拟合,以获得更好的效果.
1.6. 激光光束零点位置参数求解
如图5所示,利用激光位移传感器控制器可以获得每个光斑到激光零点位置的距离
图 5
将
式中:
解得
代入投影点
解得
将
由式(12)可求得机器人末端坐标系
2. 激光位移传感器标定实验
2.1. 实验平台
图 6
图 6 激光位移传感器标定实验平台
Fig.6 Experimental platform of laser displacement sensor calibration
图 7
图 7 激光位移传感器标定实验流程
Fig.7 Experimental procedure of laser displacement sensor calibration
2.2. 标定实验
2.2.1. 手眼标定
图 8
2.2.2. 光斑中心点提取及坐标系转换
进行双目视觉系统自标定,以消除镜头畸变的影响以及确定2个相机的位姿关系. 如图9所示,使双目视觉系统的左右相机(MER-500-14U3M,500万像素,8 mm焦距)同时拍摄标定板(13×15圆点标定板,精度为±1 μm),经过10次拍摄后计算得出相机的内参以及相对位姿关系. 标定结果显示左右相机的平均像素误差均为0.098像素,在100 mm×80 mm的视场范围内的测量精度可达0.036 mm,满足工作要求.
图 9
使机器人末端移动到投影斜面附近,将激光打在斜面上,并利用如图10所示的左相机图像为例的重心法求光斑中心点,以及视差法原理计算光斑中心点在相机坐标系下的空间位置. 因为在实验中斜面的作用是反射光斑,所以对斜面粗糙度和倾角精度无要求.
图 10
图 10 光斑中心点图像坐标提取过程
Fig.10 Image coordinate extraction process of spot center point
在实验中,机器人末端移动了17个位姿,双目视觉系统共获取3束激光打在斜面上的51个光斑中心点位置,依据式(3)将光斑中心点坐标转化至机器人末端坐标系下,如图11所示. 图中,利用聚类方法将双目视觉获取的51个分布明显的光斑分成用于拟合3束激光直线的3个点集. 每个光斑点集的光斑在图中的图形相同,例如图中用*表示用于拟合激光束2的光斑. 3个点集在机器人末端坐标系下绕z轴方向呈均匀分布,与激光位移传感器在机器人末端的安装位置基本一致.
图 11
图 11 双目视觉采集的光斑在机器人末端坐标系下的位置
Fig.11 The position of the spot of binocular vision acquisition in the robot terminal coordinate system
2.2.3. 光束方向及零点位置计算
将机器人末端坐标系下的光斑点集应用最小二乘法拟合空间直线后,计算每个光斑点到拟合直线的距离,即拟合残差
图 12
图 12 机器人末端坐标系下光斑拟合光束效果
Fig.12 Effect diagram of light spot fitting beam in robot terminal coordinate system
图 13
图 13 机器人末端坐标系下光斑拟合光束残差图
Fig.13 Residual diagram of light spot fitting beam in robot terminal coordinate system
图 14
图 14 机器人末端坐标系下激光零点位置计算结果
Fig.14 Calculation results laser zero position in robot terminal coordinate system
3. 标定结果验证
为了验证标定结果,使用如图15所示陶瓷标定球作为基准球面,其直径
图 15
在球面上不同位置重复实验10次,每次利用3束激光同时采集基准球上共240个点进行球面拟合,数据点采集情况如图16所示,拟合效果如图17所示, 拟合结果及误差如表2所示. 10次测量实验的平均测量误差
图 16
图 16 机器人基座坐标系下球面数据点采集结果
Fig.16 Spherical data point acquisition results in robot base coordinate system
图 17
图 17 机器人基座坐标系下陶瓷球面数据点拟合球面结果
Fig.17 Spherical data point fitting results of ceramic standard sphere in robot base coordinate system
表 2 球面拟合结果与测量误差
Tab.2
实验序号 | | | | |
1 | 19.996 | 0.007 | 0.019 | 0.026 |
2 | 20.002 | 0.013 | 0.023 | 0.036 |
3 | 19.968 | −0.021 | 0.027 | 0.048 |
4 | 20.004 | 0.015 | 0.020 | 0.035 |
5 | 19.998 | 0.009 | 0.018 | 0.027 |
6 | 19.978 | −0.011 | 0.023 | 0.034 |
7 | 20.006 | 0.017 | 0.025 | 0.042 |
8 | 20.010 | 0.021 | 0.029 | 0.050 |
9 | 20.014 | 0.025 | 0.024 | 0.049 |
10 | 19.970 | −0.019 | 0.020 | 0.039 |
图 18
选用已知数据模型的机床轴套作为加工对象进行实验,在轴套表面选取5个待加工点,每个加工点选取9个不同姿态,共计算得到45个法向量
表 3 待加工点处曲率
Tab.3
| Kmax | Kmin | | |
1 | 43.10 | 0 | 21.55 | 0 |
2 | 37.88 | 0 | 18.94 | 0 |
3 | 33.78 | 0 | 16.89 | 0 |
4 | 25.00 | 0 | 12.50 | 0 |
5 | 25.00 | 0 | 12.50 | 0 |
为了保证激光位移传感器本身的测量精度,机器人末端姿态选取范围为待加工点对应数据模型处法向的5°偏差以内[21]. 将9种姿态下的待加工点法向量计算值求平均法向量
残差角度分布情况如图19所示. 由图可知,使用本文方法标定的激光位移传感器在进行工件表面法向量测量时,法向量残差角度均小于0.34°,平均残差角度与曲率成正相关,即工件曲率越小,平均残差角度越小,鲁棒性越高. 实验结果表明使用基于双目视觉的激光位移传感器标定方法标定的激光位移传感器组应用在大尺寸工件表面法向测量工作中具有可行性和鲁棒性.
图 19
4. 结 语
为了完成大型结构件加工领域中工业机器人末端上激光位移传感器的标定工作,本文提出基于双目视觉的激光位移传感器光束方向及零点位置标定方法. 该方法特点包括:1)使用双目视觉技术标定传感器,无须再使用高精度要求的辅助测量工件,可通过预先编程实现标定过程自动化. 2)可同时标定机器人末端上的多个激光位移传感器,标定精度高、鲁棒性好.
经实验验证,该方法标定的激光位移传感器在3倍标准差范围内的测量误差范围为0.038 6±0.025 8 mm,满足大型结构件表面加工领域测量要求,为激光位移传感器的标定工作拓展了思路,可应用于更广泛的领域中. 未来将进一步研究如何提高手眼标定和激光光斑中心点提取的精度以提高光束拟合精度.
参考文献
A flexible calibration method for laser displacement sensors based on a stereo-target
[J].DOI:10.1088/0957-0233/25/10/105103 [本文引用: 1]
一种量化的激光位移传感器倾角误差补偿模型
[J].DOI:10.3969/j.issn.0254-3087.2015.05.005 [本文引用: 1]
A quantitative error compensation model of the inclination angle of the laser displacement sensor
[J].DOI:10.3969/j.issn.0254-3087.2015.05.005 [本文引用: 1]
激光位移传感器误差补偿的仿真分析
[J].
Simulation and analysis of error compensation of laser displacement sensor
[J].
基于激光位移传感器的自由曲面精密测量方法
[J].
Precision measurement method of free-form curved surfaces based on laser displacement sensor
[J].
3D geometrical inspection of complex geometry parts using a novel laser triangulation sensor and a robot
[J].
Normal direction measurement in robotic drilling and precision calculation
[J].DOI:10.1007/s00170-014-6320-7 [本文引用: 1]
Base detection research of drilling robot system by using visual inspection
[J].
Research on surface normal measurement and adjustment in aircraft assembly
[J].DOI:10.1016/j.precisioneng.2017.07.004 [本文引用: 1]
光学测头光束方向多种标定方法的研究与比较
[J].
Study and compare of several methods of beam-direction of optical sensor
[J].
激光测距传感器光束矢向和零点位置标定方法
[J].
Calibration method for laser beam direction and zero point of laser displacement sensor
[J].
基于球形目标的激光位移传感器光束方向标定
[J].DOI:10.3788/OPE.20152303.0678 [本文引用: 1]
Calibration of beam direction of laser displacement sensor based on spherical target
[J].DOI:10.3788/OPE.20152303.0678 [本文引用: 1]
A segmental calibration method for a miniature serial-link coordinate measuring machine using a compound calibration artefact
[J].DOI:10.1088/0957-0233/24/6/065001 [本文引用: 1]
机器人定点变位姿手−眼标定方法
[J].
Hand-eye calibration for the robot by measuring a fixed point from different poses
[J].
Calibration of laser beam direction based on monocular vision
[J].
激光光斑中心高精度定位算法研究
[J].
Research of the high precision laser spot center location algorithm
[J].
双目视觉测量中三维坐标的求取方法研究
[J].DOI:10.3969/j.issn.1000-7024.2006.19.037 [本文引用: 1]
Research on how to get object's 3D coordinate on two CCD camera measure system
[J].DOI:10.3969/j.issn.1000-7024.2006.19.037 [本文引用: 1]
Precise positioning of binocular eye-to-hand robotic manipulators
[J].DOI:10.1007/s10846-007-9135-z [本文引用: 2]
UR10机器人的运动学分析与轨迹规划
[J].DOI:10.3969/j.issn.1001-3881.2019.17.005 [本文引用: 1]
Kinematic analysis and trajectory planning of UR10 robot
[J].DOI:10.3969/j.issn.1001-3881.2019.17.005 [本文引用: 1]
表面倾斜对激光三角测量的影响及校正研究
[J].DOI:10.3969/j.issn.1005-5630.2014.01.003 [本文引用: 1]
Study of the impact and correction of surface tilt upon laser triangulation
[J].DOI:10.3969/j.issn.1005-5630.2014.01.003 [本文引用: 1]
/
〈 |
|
〉 |
