浙江大学学报(工学版), 2021, 55(1): 145-152 doi: 10.3785/j.issn.1008-973X.2021.01.017

机械工程

基于机器视觉的机器人装配位姿在线校正算法

董大钊,, 徐冠华,, 高继良, 徐月同, 傅建中

1. 浙江大学 浙江省三维打印工艺与装备重点实验室,流体动力与机电系统国家重点实验室,浙江 杭州 310027

2. 浙江大学 工程师学院,浙江 杭州 310027

3. 苏州新智机电科技有限公司,江苏 苏州 215101

4. 苏州紫金港智能制造装备有限公司,江苏 昆山 215300

Online correction algorithm for posture by robot assembly based on machine vision

DONG Da-zhao,, XU Guan-hua,, GAO Ji-liang, XU Yue-tong, FU Jian-zhong

1. Key Laboratory of 3D Printing Process and Equipment of Zhejiang Province, State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University, Hangzhou 310027, China

2. Polytechnic Institute, Zhejiang University, Hangzhou 310027, China

3. Suzhou Xinzhi Mechatronics Technology Limited Company, Suzhou 215101, China

4. Suzhou Zijingang Intelligent Manufacturing Equipment Limited Company, Kunshan 215300, China

通讯作者: 徐冠华,男,博士,高级工程师.orcid.org/0000-0003-4022-7720. E-mail: xgh_zju@163.com

收稿日期: 2020-06-17  

Received: 2020-06-17  

作者简介 About authors

董大钊(1996—),男,硕士生,从事图像处理及机器人自动化应用的研究.orcid.org/0000-0002-0385-199X.E-mail:dazhao_dong@163.com , E-mail:dazhao_dong@163.com

摘要

为了解决柔性夹具夹取异形零件过程中工件与夹具相对位置具有不确定性的难题,提出基于机器视觉的机器人装配位姿在线校正算法. 通过图像预处理及零件表面特征提取,建立工件位姿向量. 通过系统建模、误差分析及函数拟合,将工件位姿校正量分解为原始位姿差、旋转引入位姿差及残余位姿差三部分,将三部分位姿差进行线性组合作为零件位姿误差补偿量反馈给机器人,以引导机器人完成装配. 为了验证算法的有效性,以涡旋式汽车空调压缩机动盘装配为例,设计机器人手眼装配系统进行实验. 实验结果表明,该系统能够保证校正后的零件位姿与目标位姿角度偏差和xy方向位置偏差分别小于0.6°和0.6 mm,平均装配时间小于20 s,实验过程中装配成功率达到99.67%.

关键词: 工业机器人 ; 自动装配 ; 视觉引导 ; 位姿检测 ; 误差分析 ; 姿态校正

Abstract

A robot assembly posture online correction algorithm based on machine vision was proposed in order to solve the problem that the relative position between the workpiece and fixture was uncertain in the process of clamping special-shaped parts with flexible fixture. A workpiece pose vector was established by image preprocessing and surface feature extracting. The correction of posture was decomposed into the original posture error, the posture error introduced by rotation and the residual posture error by system modeling, error analysis and function fitting. Linear combination of these three corrections was fed back to the robot as an error compensation for the posture error of the workpiece in order to guide the robot to complete the assembly task. Experiment was conducted by taking the assembly process for the rotating scroll of automotive aircon scroll compressor, and a robot hand-eye assembly system was established in order to verify the effectiveness of the method. The experimental results showed that the angular deviation and the displacement deviation in the x and y directions between the corrected posture and target posture were less than 0.6 degrees and 0.6 mm, respectively. The average assembly time was less than 20 seconds, and the assembly success rate in the experiment was 99.67%.

Keywords: industrial robot ; automatic assembly ; vision-guided ; pose detection ; error analysis ; posture correction

PDF (1857KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

董大钊, 徐冠华, 高继良, 徐月同, 傅建中. 基于机器视觉的机器人装配位姿在线校正算法. 浙江大学学报(工学版)[J], 2021, 55(1): 145-152 doi:10.3785/j.issn.1008-973X.2021.01.017

DONG Da-zhao, XU Guan-hua, GAO Ji-liang, XU Yue-tong, FU Jian-zhong. Online correction algorithm for posture by robot assembly based on machine vision. Journal of Zhejiang University(Engineering Science)[J], 2021, 55(1): 145-152 doi:10.3785/j.issn.1008-973X.2021.01.017

在信息通信技术与制造技术发展的推动下,制造业相关生产过程正朝着自动化、智能化的方向发展[1]. 工业机器人成为实现工业自动化的重要工具,但只能按预定程序运行,且常须专用夹具配合,无法适应高灵活度、低成本、小批量的现代制造特点[2-5]. 结合传感器使机器人具有更高的适应性,已广泛应用于定位、路径规划以及姿态校正[6-7].

Chang等[8-9]将双目视觉应用于自动装配系统中. Semim等[10]结合皮尔逊相关系数,设计基于视觉的发动机缸体搬运系统. Borangiu等[11]结合零件几何及图像信息,提出零件分离、数量统计及零件位姿确定算法. Nerakae等[12]结合机器学习与视觉,提出柔性自动取放系统原型. 钟德星等[13]结合基于改进型Camshift的动态目标识别跟踪算法、单目视觉测距算法,实现了运动工件的自动抓取和装配. Jiang等[14-15]提出目标工件抓取点及抓取角度的计算方法,结合双目视觉及机器人搭建自动抓取系统,分别实现了铆钉及蝴蝶兰培养苗的自动抓取. Guo等[16]结合视觉、深度网络及传感器,赋予机器人自动获取抓取框并判别抓取稳定性的能力. 刘毅等[17]搭建视觉处理系统,通过视觉系统获取猪腹轮廓,引导机器人完成猪腹剖切. Zhang等[18]结合图像预处理、多尺度边缘检测方法、图像分割,实现了焊缝边缘及中心线的准确提取. Abdullah等[19-21]结合人工操作的习惯、力学信息反馈及视觉系统,赋予机器人模拟人类进行装配的能力.

本文针对柔性夹具抓取异形零件特殊场景,考虑夹取后工件与机器人相对位姿不确定的视觉校正问题,提出基于机器视觉的机器人装配位姿在线校正算法. 通过视觉系统配合示教,获取工件的期望位姿;通过对比待校正工件位姿及期望位姿,获取校正量;通过对校正过程进行分析并获取误差来源,进一步减小误差;实现工件平面位姿校正,通过实验验证位姿校正算法的正确性.

1. 手眼装配系统方案

1.1. 装配任务

汽车空调压缩机动盘的装配过程多为流水线作业,如图1(a)所示,在到达动盘装配工位前,动盘置于定盘内,动盘在定盘内可自由平移及旋转. 在装配过程中,须将动盘从定盘中取出,翻转后以特定姿态装配至装配点. 如图1(b)所示,要求目标装配位置所设4个环圈与动盘特征平面上所设的4个盲孔配合,且每次装配完成后,动盘螺旋线终点与标志孔对齐.

图 1

图 1   零件及装配示意图

Fig.1   Schematic diagram of parts and assembly


1.2. 系统方案

图2所示,涡旋式汽车空调压缩机动盘自动装配系统包括硬件系统及软件系统. 硬件系统主要由辅助翻转机构、工业机器人、柔性夹具、送料线体、工装板及视觉系统组成;软件系统包括视觉处理程序、上位机程序、PLC程序及机器人程序.

图 2

图 2   手眼装配系统模型图

Fig.2   Model diagram of eye-in-hand assembly system


系统工作流程如下:1)送料线体将工装板运送至动盘装配工位,辅助翻转机构夹取动盘顶部凸缘,将其从定盘中取出并翻转180°;2)机器人通过四爪柔性夹具夹取动盘螺旋线部分,并运动至取像点;3)摄像机获取动盘的图像信息并传送至工控机;4)图像处理程序处理图像,并获得相应的特征数据;5)采用位姿校正算法处理特征数据,获得位姿校正量;6)通过位姿校正量补偿机器人运动,校正动盘位姿并完成装配.

2. 图像处理及位姿信息提取

选用工业相机作为图像采集设备[22]. 为了从零件图像中获取稳定的特征,对图像进行预处理、分割、特征提取等处理[7]. 按图3所示的流程处理图像,提取同一平面内的2个特征. 图像处理主要步骤的输出如图4所示,图4(a)所示为动盘表面特征图,图4(b)所示为动盘表面特征图像二值化后的结果. 选取动盘中心圆为第一特征,特征提取结果如图4(c)所示. 为了获取动盘角向位姿,选取动盘上的特征圆为第二特征,特征提取结果如图4(d)所示.

图 3

图 3   图像处理流程图

Fig.3   Image processing flow chart


图 4

图 4   动盘表面特征图

Fig.4   Surface feature of rotating scroll


以三维向量描述位姿信息[23],记为 ${\left[ {x,y,\theta } \right]^{\rm{T}}}$,其中 ${\left[ {x,y} \right]^{\rm{T}}}$为机器人基坐标系下中心圆坐标分量; $\theta $为图像坐标系下中心圆与特征圆连线与 ${{x}}$轴所呈夹角,称为角度分量.

3. 位姿校正算法

图5所示,按照设计图纸进行配置安装机器人、工业相机等,建立世界坐标系、基坐标系、图像坐标系、工具坐标系等各个坐标系,确保各坐标系 $z$轴均垂直于安装平面[17]. 完成系统配置后,须借助平面标靶进行手眼系统标定[24].

图 5

图 5   手眼系统坐标关系图

Fig.5   Coordinate diagram of hand-eye system


定义世界坐标系 ${{{C}}_{\rm{w}}}$、机器人基坐标系 ${{{C}}_{\rm{b}}}$、图像坐标系 ${{{C}}_{{\rm{ca}}}}$及机器人末端坐标系 ${{{C}}_{\rm{e}}}$,记校正前机器人末端夹取待校正工件姿态为抓取零件位姿,用向量 ${\left[ {{x_1},{y_1},{\theta _1}} \right]^{\rm{T}}}$表示;记示教记录的姿态为示教参考位姿,用向量 ${\left[ {{x_0},{y_0},{\theta _0}} \right]^{\rm{T}}}$表示;记正确装配完成后位于目标装配位置上的动盘姿态为期望位姿,用 ${\left[ {{x_2},{y_2},{\theta _2}} \right]^{\rm{T}}}$表示;记机器人夹取待装配工件时的位置为上料夹取点 ${P_{\rm{1}}}$,记机器人夹取动盘运动至视觉系统上方的位置为取像点 ${P_{\rm{2}}}$,机器人运送动盘至正确装配点的位置为装配点 ${P_{\rm{3}}}$,上述各位置信息均在机器人基坐标系下描述.

3.1. 位姿及点位示教

采用示教的方式,获取示教参考位姿及机器人各点位置[4]. 具体步骤如下.

1)机器人末端夹具夹取处于期望位姿的动盘,确保末端夹具夹紧动盘时,动盘状态不发生变化,记此时机器人位置为 ${P_{\rm{3}}}$.

2)处于 ${P_{\rm{3}}}$状态的机器人,在基坐标系下将动盘移动至视觉系统视野范围内,通过视觉系统采集此时动盘的位姿信息,记为示教参考位姿;记录此时机器人位置为 ${P_{\rm{2}}}$,记录运动过程为 ${{{T}}_{\rm{1}}}$.

3)机器人从辅助翻转机构上抓取待校正工件,记录此时机器人位置为 ${P_{\rm{1}}}$.

在操作过程中需要注意以下2点:1)运动过程 ${{{T}}_{\rm{1}}}$仅含平移运动,以确保示教参考位姿与期望位姿具有相同的 $\theta $,即上述 ${\theta _0} = {\theta _2}$;2)上述步骤3)中,辅助翻转机构从指定位置抓取具有确定高度、但角向位置不确定的待校正工件. 在提升并翻转180°后运送至指定高度,机器人从固定位置抓取工件,以确保每次抓取后工件特征平面高度不发生变化,保证每次取像时工件的特征平面在同一平面内.

3.2. 位姿校正算法

3.2.1. 位姿校正量来源分析

利用示教参考位姿与抓取零件位姿的差值对零件的平面位姿进行校正,将该校正量记为原始位姿差,通过绕垂直于安装平面的轴旋转及平面内平移运动进行校正;在柔性夹具夹取异形零件的过程中,由于异形零件角向位置不固定,导致平面内零件的回转中心 ${P_{\rm{4}}}$与零件中心圆圆心不重合,且每次夹取偏移量随零件角向位置不同而改变. 在对零件角度进行校正时,工件中心圆圆心坐标会发生变化,将该变化量记为旋转引入位姿差. 通过对上述原始位姿差及旋转引入位姿差进行校正,理论上可以完成零件的平面位姿校正;但由于机器人安装误差及夹具夹取误差,导致工件特征平面与安装平面无法保持绝对平行,这将对误差校正精度造成较大的影响,将该影响导致的误差记为残余位姿差.

综上所述,本文的位姿校正量包括原始位姿差、旋转引入位姿差及残余位姿差,从抓取零件姿态到示教参考姿态的位姿校正量以三维向量 ${\left[ {\Delta x,\Delta y,\Delta \theta } \right]^{\rm{T}}}$描述.

3.2.2. 原始位姿差校正算法

通过视觉系统获得抓取零件位姿 ${\left[ {{x_1},{y_1},{\theta _1}} \right]^{\rm{T}}}$,通过示教参考位姿与抓取零件位姿作差,可得原始位姿差 ${\left[ {\Delta {x_1},\Delta {y_1},\Delta {\theta _1}} \right]^{\rm{T}}}$,如下所示:

${\left[ {\Delta {x_1},\Delta {y_1},\Delta {\theta _1}} \right]^{\rm{T}}} = {\left[ {{x_0},{y_0},{\theta _0}} \right]^{\rm{T}}} - {\left[ {{x_1},{y_1},{\theta _1}} \right]^{\rm{T}}}.$

使用原始位姿差坐标分量 ${\left[ {\Delta {x_1},\Delta {y_1}} \right]^{\rm{T}}}$进行平移校正,校正后两位姿向量坐标分量相等. 校正角度分量,由于平面内零件的回转中心 ${P_{\rm{4}}}$与零件中心圆圆心存在偏差,零件绕 ${P_{\rm{4}}}$旋转角度 $\Delta {\theta _1}$后,两位姿向量的角度分量相等,但坐标分量将会出现新的偏移量,即为旋转引入位姿差,可以表示为 ${\left[ {\Delta {x_2},\Delta {y_2},\Delta {\theta _2}} \right]^{\rm{T}}}$.

3.2.3. 旋转引入位姿差校正算法

对旋转引入位姿差的校正方法分为回转中心坐标计算及位姿差计算两部分. 结合三点确定一个圆,计算机器人末端回转中心坐标,通过机器人末端夹具夹取带有明显特征的工件以一定间隔进行旋转,通过视觉系统获取特征在机器人基坐标系下的一组坐标 ${\left( {{x_i},{y_i}} \right)}$,其中 $i = 1\sim n$$n \geqslant {\rm{3}}$;将坐标值代入圆方程,通过求解方程组,可得圆心坐标 ${\left( {{x_{\rm{r}}},{y_{\rm{r}}}} \right)}$,即为 ${P_{\rm{4}}}$点的坐标.

旋转引入位姿差产生的几何模型如图6所示,记完成零件原始位姿差坐标分量校正后的零件位姿为零件过渡位姿1,坐标分量为 ${\left[ {{x_0},{y_0}} \right]^{\rm{T}}}$. 角度分量校正通过平面内绕 ${P_{\rm{4}}}$点旋转 $\Delta {\theta _1}$进行校正,记旋转后得到的零件位姿为零件过渡位姿2,坐标分量为 ${\left[ {{x_{\rm{a}}},{y_{\rm{a}}}} \right]^{\rm{T}}}$. 示教参考位姿与零件过渡位姿2之差为旋转引入位姿差. 为了求解旋转引入位姿差,将机器人基坐标系原点移动至 ${P_{\rm{4}}}$点处,建立坐标系 ${{{C}}_{\rm{r}}}$. 记以 ${P_{\rm{4}}}$点为起点, ${\left( {{x_0},{y_0}} \right)}$为终点的向量模为 $m$,向量与 ${{{C}}_{\rm{r}}}$$x$轴正方向所呈夹角为 $\alpha $. 在绕 ${P_{\rm{4}}}$旋转 $\Delta {\theta _1}$后,旋转引入位姿差可由下式确定:

图 6

图 6   旋转引入位姿差模型

Fig.6   Model of posture error introduced by rotation


$\left[ {\begin{array}{*{20}{c}} {\Delta {x_2}} \\ {\Delta {y_2}} \\ {\Delta {\theta _2}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{x_0} - {x_{\rm{r}}}} \\ {{y_0} - {y_{\rm{r}}}} \\ 0 \end{array}} \right] - m\left[ {\begin{array}{*{20}{c}} {{\rm{cos}}\;\left( {\Delta {\theta _1} + \alpha } \right)} \\ {{\rm{sin}}\;\left( {\Delta {\theta _1} + \alpha } \right)} \\ 0 \end{array}} \right].$

式中:

$ \alpha={k}_{1}{\text{π}} +{k}_{2} \mathrm{arctan}\;\left({\left|\Delta ^{\rm{b}}y\right|} \left/{{\left|\Delta ^{\rm{b}}x\right|}}\right.\right);$

$ m=\sqrt{{\left(\Delta ^{\rm{b}}y\right)}^{2}+{\left(\Delta ^{\rm{b}}x\right)}^{2}},$

其中

$ \left[\begin{array}{c}\Delta ^{\rm{b}}x\\ \Delta ^{\rm{b}}y\end{array}\right]=\left[\begin{array}{c}{x}_{0}-{x}_{\rm{r}}\\ {y}_{0}-{y}_{\rm{r}}\end{array}\right].$

根据向量起点与终点坐标的关系,确定向量方向,通过 ${k_1}$${k_2}$$\alpha $的取值调整为 $\left[ {0,2{\text{π}}} \right]$,使得 $\alpha $正确反映向量与 ${{{C}}_{\rm{r}}}$$x$轴正方向的角度关系. 具体取值由表1确定.

表 1   ${k}_{1}{\text{、}}{k}_{2}$的取值表

Tab.1  Value table of ${k}_{1}\;{\text{and}}\;{k}_{2}$

$\Delta ^{{\rm{b}}}x$ $\Delta ^{ {\rm{b} } }{{y} }$ ${k_1}$ ${k_2}$
$\Delta ^{{\rm{b}}}x\geqslant 0$ $\Delta ^{ {\rm{b} } }{{y} }\geqslant 0$ 0 1
$\Delta ^{{\rm{b}}}x\geqslant 0$ $\Delta ^{ {\rm{b} } }{{y} } < 0$ 2 −1
$\Delta ^{{\rm{b}}}x < 0$ $\Delta ^{ {\rm{b} } }{{y} }\geqslant 0$ 1 −1
$\Delta ^{{\rm{b}}}x < 0$ $\Delta ^{ {\rm{b} } }{{y} } < 0$ 1 1

新窗口打开| 下载CSV


3.2.4. 残余位姿差校正算法

由于机器人安装误差及夹具夹取误差导致工件特征平面与安装平面无法保持绝对平行,这使得通过圆方程求解的圆心坐标与实际 ${P_{\rm{4}}}$点不重合. 该误差的存在将严重影响系统装配精度,须对该误差的产生过程进行建模并分析,以降低这部分误差带来的影响.

分析可得如图7所示的误差模型,其中 ${P_{\rm{f}}} = {\left( {{x_{{\rm{t}}0}},{y_{{\rm{t}}0}}} \right)}$为通过测量所得的回转中心坐标, ${P_{\rm{t}}} = {\left( {{x_{{\rm{t}}1}},{y_{{\rm{t}}1}}} \right)}$为实际回转中心所在的位置坐标. 假设存在一点 ${P_{\rm{i}}} = {\left( {{x_{\rm{b}}},{y_{\rm{b}}}} \right)}$,将 $\overset{\longrightarrow}{\mathop{P_{\rm t}P_{\rm i}}}\,$$\overset{\longrightarrow}{\mathop{P_{\rm f}P_{\rm i}}}\,$分别绕PtPf旋转相同角度β后,得到 $\overset{\longrightarrow}{\mathop{P_{\rm t}P_{\rm i2}}}\,$$\overset{\longrightarrow}{\mathop{P_{\rm f}P_{\rm i1}}}\,$${P_{{\rm{i1}}}} = {\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}$${P_{{\rm{i2}}}} = {\left( {{x_{\rm{d}}},{y_{\rm{d}}}} \right)}$${P_{{{{\rm{i}}2}}}}$${P_{{{{\rm{i}}1}}}}$的坐标差值为残余位姿差,表示为 ${\left( {\Delta {x_3},\Delta {y_3},\Delta {\theta _3}} \right)}$,由下式确定:

$\left[\!\!\! {\begin{array}{*{20}{c}} {\Delta {x_3}} \\ {\Delta {y_3}} \\ {\Delta {\theta _3}} \end{array}}\!\!\! \right] = \left[\!\!\! {\begin{array}{*{20}{c}} {\cos\; \left( {{\alpha _1} + \beta } \right)}&{ - \cos \;\left( {{\alpha _2} + \beta } \right)}&{{x_{{\rm{t}}1}} - {x_{{\rm{t}}0}}} \\ {\sin \;\left( {{\alpha _1} + \beta } \right)}&{ - \sin\; \left( {{\alpha _2} + \beta } \right)}&{{y_{{\rm{t}}1}} - {y_{{\rm{t}}0}}} \\ 0&0&0 \end{array}} \!\!\!\right]\left[\!\!\! {\begin{array}{*{20}{c}} {{m_{\rm{1}}}} \\ {{m_{\rm{2}}}} \\ {\rm{1}} \end{array}} \!\!\!\right].$

式中: ${\alpha _1}$${\alpha _2}$${P_{\rm{i}}}$${P_{\rm{t}}}$${P_{\rm{f}}}$连线与 $x$轴正方向所呈夹角, ${m_{\rm{1}}}$${m_{\rm{2}}}$${P_{\rm{i}}}$${P_{\rm{t}}}$${P_{\rm{f}}}$连线的长度. 式(6)经三角函数公式换算,可得

$\left[\!\!\!\! {\begin{array}{*{20}{c}} {\Delta {x_3}} \\ {\Delta {y_3}} \\ {\Delta {\theta _3}} \end{array}} \!\!\!\!\right] = \left[\!\!\!\! {\begin{array}{*{20}{c}} {{a_{\rm{0}}} \sin\; \left( {\omega _0}{\Delta {\theta _1} } \right)} \\ {{a_{\rm{1}}} \sin \;\left( {\omega _1}{\Delta {\theta _1} } \right)} \\ 0 \end{array}} \!\!\!\!\right] + \left[\!\!\!\! {\begin{array}{*{20}{c}} {{b_{\rm{0}}} \cos \;\left( {\omega _0}{\Delta {\theta _1} } \right)} \\ {{b_{\rm{1}}} \cos \;\left( {\omega _1}{\Delta {\theta _1} } \right)} \\ 0 \end{array}} \!\!\!\!\right] + \left[\!\!\!\! {\begin{array}{*{20}{c}} {{c_{\rm{0}}}} \\ {{c_{\rm{1}}}} \\ {\rm{0}} \end{array}} \!\!\!\!\right].$

式中:

$\left. { {\begin{array}{*{20}{c}} {{a_{\rm{0}}} = {m_{\rm{2}}}\sin\; {{\alpha _2}} - {m_{\rm{1}}}\sin\; {{\alpha _1}} }, \\ {{b_{\rm{0}}} = {m_{\rm{1}}}\cos\; {{\alpha _1}} - {m_{\rm{2}}}\cos\; {{\alpha _2}} }, \\ {{{{c}}_{\rm{0}}} = {x_{{\rm{t}}1}} - {x_{{\rm{t}}0}}}, \\ {{a_{\rm{1}}} = {m_{\rm{1}}}\cos\; {{\alpha _1}} - {m_{\rm{2}}}\cos \; {{\alpha _2}}}, \\ {{b_{\rm{1}}} = {m_{\rm{1}}}\sin \; {{{\rm{\alpha }}_1}} - {m_{\rm{2}}}\sin\; {{\alpha _2}} }, \\ {{c_{\rm{1}}} = {y_{{\rm{t}}1}} - {y_{{\rm{t}}0}}}; \end{array}}} \right\}$

$\Delta {\theta _1}$为原始位姿误差的角度分量; ${a_k}$${b_k}$${c_k}$(其中 $ k=1$或2)由回转中心位置误差决定,对于固定的 ${P_{\rm{t}}}$${P_{\rm{f}}}$而言,均为常数,通过曲线拟合确定.

3.2.5. 位置校正量整合算法

由于所求得的原始位姿差、旋转引入位姿差及残余位姿差均为引导机器人末端在基坐标系下进行旋转及平移运动,可以通过线性组合对上述3个位姿差进行整合,获得位姿校正量:

$\left[ {\begin{array}{*{20}{c}} {\Delta x} \\ {\Delta y} \\ {\Delta \theta } \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\Delta {x_1}} \\ {\Delta {y_1}} \\ {\Delta {\theta _1}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {\Delta {x_2}} \\ {\Delta {y_2}} \\ {\Delta {\theta _2}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {\Delta {x_3}} \\ {\Delta {y_3}} \\ {\Delta {\theta _3}} \end{array}} \right].$

将该位姿校正量反馈给机器人,即可实现工件位姿差补偿,从而完成装配.

3.3. 位姿校正算法

在实际应用中,回转中心 ${P_{\rm{4}}}$由工件随机器人末端绕垂直于安装平面的轴等间距旋转一周获得,可以近似认为每次测量所得 ${P_{\rm{4}}}$为定点. 在同一系统中,实际回转中心仅与机械结构相关,不会因校正过程而发生变化. 综上所述,测量所得 ${P_{\rm{4}}}$坐标及残余位姿差拟合结果只需一次测定即可,算法流程如图8所示. 图中,左侧为系统搭建流程,右侧为系统应用流程.

图 8

图 8   位姿校正算法流程图

Fig.8   Flow chart of pose correction algorithm


图 7

图 7   旋转中心误差模型

Fig.7   Error model of center of rotation


4. 实验与结果分析

4.1. 实验系统搭建

为了分析该方法的有效性及精度,搭建装配实验系统,如图9所示. 硬件系统主要由AUBO-i7机器人、海康威视MV-CE100-30GC工业相机、海康威视MVL-HF0828M-6MP镜头、光源及其控制器、辅助翻转机构、柔触夹爪、西门子S7-1200PLC及PC组成. 软件系统包括视觉处理程序、上位机程序、PLC程序及机器人程序. 系统通过PLC程序,控制气动元件及机器人运动。通过上位机程序控制取像,运行视觉处理程序并计算位姿校正量。通过机器人程序,控制机器人末端夹具。通过视觉处理程序对数字图像进行处理,获取相应的特征及位姿信息.

图 9

图 9   手眼装配系统实例图

Fig.9   Example diagram of eye-in-hand assembly system


4.2. 原始位姿差及旋转引入位姿差校正实验

通过上述原始位姿差校正算法及旋转引入位姿差校正算法,对原始位姿差及旋转引入位姿差进行校正. 为了验证算法的校正效果,以校正角度Δθ1为自变量,在长度为360°的区间内,以约为10°的间隔测量校正后残余位姿差,测量结果取5次重复测量均值,所得的残余位姿差角度分量ΔR及位置分量ΔL测量结果如图1011所示. 校正后 $x$的最大偏差为1.49 mm, $y$的最大偏差为2.59 mm,角度最大偏差为0.6°.

图 10

图 10   残余位姿差角度分量的测量结果

Fig.10   Measurement results of angular component of residual pose difference


图 11

图 11   残余位姿差位置分量的测量结果

Fig.11   Measurement results of positional component of residual pose difference


4.3. 残余位姿差校正实验

通过上述实验发现,位置误差校正量的精度有较大的提升空间. 开展进一步补偿,按式(7)对 $x$$y$位置误差测量结果进行拟合,所得的 $\Delta {x_3}$$\Delta {y_3}$拟合结果分别如图1213所示,待定常量如表2所示.

图 12

图 12   $\Delta {x_3}$随校正角度变化关系拟合结果

Fig.12   Fitting results of $\Delta {x_3}$ changed with correction angle


图 13

图 13   $\Delta {y_3}$随校正角度变化关系拟合结果

Fig.13   Fitting results $\Delta {y_3}$ changed with correction angle


表 2   函数参数表

Tab.2  Function parameter list

项目 ${a_i}$ ${b_i}$ ${\omega _i}$ ${c_i}$
拟合 $\Delta {x}_{3}(i=0)$ 1.161 −0.3529 0.01923 0.2911
拟合 $\Delta { {{y} } }_{3}(i=1)$ 1.246 0.2909 0.02011 −1.155

新窗口打开| 下载CSV


对拟合结果进行残差分析,获得标准化残差Ze. 如图14所示,96.66%的标准化残差为 $\left[ { - 2,2} \right]$,这表明模型残差接近独立随机分布[25],拟合所使用的函数合理。将预测所得误差校正量整合到位姿校正量 ${\left[ {\Delta x,\Delta y,\Delta \theta } \right]^{\rm{T}}}$中,进行校正实验并记录校正后的系统误差数据Δe,如图15所示。校正后, $x$$y$的偏差均小于0.6 mm.

图 14

图 14   位置误差拟合标准化残差图

Fig.14   Standardized residuals diagram of position error fitting


图 15

图 15   装配系统位置误差图

Fig.15   Assembly system position error diagram


通过该实验装置进行300次装配实验,实验装配成功率达到99.67%,平均单次装配节拍控制在20 s以内.

5. 结 语

本文针对每次夹取后零件与机器人位姿存在随机偏差的零件,开发基于视觉引导的机器人位姿在线校正算法. 通过视觉系统与机器人系统相结合,扩展了机器人在自动化装配领域的应用,提高了机器人系统的适应性. 通过装配过程特点及误差分析,提出适用于夹取后工件相对于夹具位姿有较大偏差的位姿校正算法,提高了机器人装配系统的精度. 该方法将误差分为原始位姿差、旋转引入位姿差及残余位姿差,通过位姿向量差、几何建模及曲线拟合等方法,实现了机器人抓取平面位姿校正,具有成本较低、装配成功率高、操作过程简单、适应性强等特点. 实验结果表明,该方法对工件位姿向量坐标分量的校正精度达到0.6 mm,角度分量校正精度达到0.6°.

参考文献

QIAN F

Smart and optimal manufacturing: the key for the transformation and development of the process industry

[J]. Engineering, 2017, 3 (2): 151

DOI:10.1016/J.ENG.2017.02.016      [本文引用: 1]

FELDMANN K, SLAMA S

Highly flexible assembly–scope and justification

[J]. CIRP Annals-Manufacturing Technology, 2001, 50 (2): 489- 498

DOI:10.1016/S0007-8506(07)62987-4      [本文引用: 1]

王田苗, 陶永

我国工业机器人技术现状与产业化发展战略

[J]. 机械工程学报, 2014, 50 (9): 1- 13

DOI:10.3901/JME.2014.09.001     

WANG Tian-miao, TAO Yong

Research status and industrialization development strategy of Chinese industrial robot

[J]. Journal of Mechanical Engineering, 2014, 50 (9): 1- 13

DOI:10.3901/JME.2014.09.001     

BONG G M, CAPSON D

Vision-guided fixtureless assembly of automotive components

[J]. Robotics and Computer-Integrated Manufacturing, 2003, 19 (1/2): 79- 87

[本文引用: 1]

JIANG J, HUANG Z, BI Z, et al

State-of-the-art control strategies for robotic PiH assembly

[J]. Robotics and Computer-Integrated Manufacturing, 2020, 65: 101894

DOI:10.1016/j.rcim.2019.101894      [本文引用: 1]

PAGANO S, RUSSO R, SAVINO S

A vision guided robotic system for flexible gluing process in the footwear industry

[J]. Robotics and Computer-Integrated Manufacturing, 2020, 65: 101965

DOI:10.1016/j.rcim.2020.101965      [本文引用: 1]

GOLNABI H, ASADPOUR A

Design and application of industrial machine vision systems

[J]. Robotics and Computer Integrated Manufacturing, 2007, 23 (6): 630- 637

DOI:10.1016/j.rcim.2007.02.005      [本文引用: 2]

CHANG W C

Robotic assembly of Smartphone back shells with eye-in-hand visual servoing

[J]. Robotics and Computer-Integrated Manufacturing, 2017, 50: 102- 113

[本文引用: 1]

WANG W Q, LOU Y, YANG K, et al.

Multi-angle automotive fuse box detection and assembly method based on machine vision

[J]. Measurement, 2019, 145: 234- 243

DOI:10.1016/j.measurement.2019.05.100      [本文引用: 1]

SEMIM R C, ROSSO R S U, SILVA A G, et al

Engine head blocks handling robot guided by vision system

[J]. IFAC Proceedings Volumes, 2012, 45 (6): 859- 864

DOI:10.3182/20120523-3-RO-2023.00244      [本文引用: 1]

BORANGIU T, IVANESCU N A, BARAD S

Robotized flange assembling with line scan camera control

[J]. IFAC Proceedings Volumes, 2003, 36 (23): 119- 124

DOI:10.1016/S1474-6670(17)37672-3      [本文引用: 1]

NERAKAE P, UANGPAIROJ P, CHAMNIPRASART K

Using machine vision for flexible automatic assembly system

[J]. Procedia Computer Science, 2016, 96: 428- 435

DOI:10.1016/j.procs.2016.08.090      [本文引用: 1]

钟德星, 杨元, 刘瑞玲, 等

基于单目视觉的装配机器人研究及应用

[J]. 西安交通大学学报, 2018, 52 (5): 81- 87

[本文引用: 1]

ZHONG De-xing, YANG Yuan, LIU Rui-ling, et al

Study and application of monocular vision-based assembly robot

[J]. Journal of Xi'an Jiaotong University, 2018, 52 (5): 81- 87

[本文引用: 1]

JIANG T, CHENG X S, CUI H H, et al

Dual-camera-based method for identification and location of scattered self-plugging rivets for robot grasping

[J]. Measurement, 2019, 134: 688- 697

DOI:10.1016/j.measurement.2018.11.017      [本文引用: 1]

HUANG Y, LEE F F

An automatic machine vision-guided grasping system for Phalaenopsis tissue culture plantlets

[J]. Computers and Electronics in Agriculture, 2010, 70 (1): 42- 51

DOI:10.1016/j.compag.2009.08.011      [本文引用: 1]

GUO D, SUN F C, FANG B, et al

Robotic grasping using visual and tactile sensing

[J]. Information Sciences, Information Sciences, 2017, 417: 274- 286

[本文引用: 1]

刘毅, 丛明, 刘东, 等

基于改进遗传算法与机器视觉的工业机器人猪腹剖切轨迹规划

[J]. 机器人, 2017, 39 (3): 377- 384

[本文引用: 2]

LIU Yi, CONG Ming, LIU Dong, et al

Trajectory planning for porcine abdomen cutting based on an improved genetic algorithm and machine vision for industrial robot

[J]. Robot, 2017, 39 (3): 377- 384

[本文引用: 2]

ZHANG G, YUN T J, OH W B, et al

A study on seam tracking in robotic GMA welding process

[J]. Materials Today: Proceedings, 2020, 22: 1771- 1777

DOI:10.1016/j.matpr.2020.03.010      [本文引用: 1]

ABDULLAH M W, ROTH H, WEYRICH M, et al

An approach for peg-in-hole assembling using intuitive search algorithm based on human behavior and carried by sensors guided industrial robot

[J]. IFAC PapersOnLine, 2015, 48 (3): 1476- 1481

DOI:10.1016/j.ifacol.2015.06.295      [本文引用: 1]

张思思, 李凤鸣, 杨旭亭, 等. 基于接触状态感知发育的机器人柔性装配方法[EB/OL]. [2020-10-22]. https://doi.org/10.13195/j.kzyjc.2019.1079.

ZHANG Si-si, LI Feng-ming, YANG Xu-ting, et al. Flexible assembly method based on contact state perception development [EB/OL]. [2020-10-22]. https://doi.org/10.13195/j.kzyjc.2019.1079.

JASIM I F, PLAPPER P W, VOOS H

Position identification in force-guided robotic peg-in-hole assembly tasks

[J]. Procedia CIRP, 2014, 23: 217- 222

DOI:10.1016/j.procir.2014.10.077      [本文引用: 1]

NIU L C, SAARINEN M, TUOKKO R, et al

Integration of multi-camera vision system for automatic robotic assembly

[J]. Procedia Manufacturing, 2019, 37: 380- 384

DOI:10.1016/j.promfg.2019.12.063      [本文引用: 1]

PINTO L, GUPTA A. Supersizing self-supervision: learning to grasp from 50k tries and 700 robot hours [C] // IEEE International Conference on Robotics and Automation. Stockholm: IEEE, 2016: 1544–1551.

[本文引用: 1]

孟少华, 胡瑞钦, 张立建, 等

一种基于机器人的航天器大型部件自主装配方法

[J]. 机器人, 2018, 40 (1): 81- 88

[本文引用: 1]

MENG Shao-hua, HU Rui-qin, ZHANG Li-jian, et al

A method of autonomous assembly of large spacecraft components using robot

[J]. Robot, 2018, 40 (1): 81- 88

[本文引用: 1]

马春英, 杜鹃, 郑璟, 等

洪峰流量与流域面积幂函数关系最优拟合方法探讨

[J]. 北京师范大学学报: 自然科学版, 2019, 55 (3): 408- 414

[本文引用: 1]

MA Chun-ying, DU Juan, ZHENG Jing, et al

Optimal fitting for discharge-area power law relationship

[J]. Journal of Beijing Normal University: Natural Science, 2019, 55 (3): 408- 414

[本文引用: 1]

/