在信息通信技术与制造技术发展的推动下，制造业相关生产过程正朝着自动化、智能化的方向发展^[1]. 工业机器人成为实现工业自动化的重要工具，但只能按预定程序运行，且常须专用夹具配合，无法适应高灵活度、低成本、小批量的现代制造特点^[2-5]. 结合传感器使机器人具有更高的适应性，已广泛应用于定位、路径规划以及姿态校正^[6-7].

Chang等^[8-9]将双目视觉应用于自动装配系统中. Semim等^[10]结合皮尔逊相关系数，设计基于视觉的发动机缸体搬运系统. Borangiu等^[11]结合零件几何及图像信息，提出零件分离、数量统计及零件位姿确定算法. Nerakae等^[12]结合机器学习与视觉，提出柔性自动取放系统原型. 钟德星等^[13]结合基于改进型Camshift的动态目标识别跟踪算法、单目视觉测距算法，实现了运动工件的自动抓取和装配. Jiang等^[14-15]提出目标工件抓取点及抓取角度的计算方法，结合双目视觉及机器人搭建自动抓取系统，分别实现了铆钉及蝴蝶兰培养苗的自动抓取. Guo等^[16]结合视觉、深度网络及传感器，赋予机器人自动获取抓取框并判别抓取稳定性的能力. 刘毅等^[17]搭建视觉处理系统，通过视觉系统获取猪腹轮廓，引导机器人完成猪腹剖切. Zhang等^[18]结合图像预处理、多尺度边缘检测方法、图像分割，实现了焊缝边缘及中心线的准确提取. Abdullah等^[19-21]结合人工操作的习惯、力学信息反馈及视觉系统，赋予机器人模拟人类进行装配的能力.

本文针对柔性夹具抓取异形零件特殊场景，考虑夹取后工件与机器人相对位姿不确定的视觉校正问题，提出基于机器视觉的机器人装配位姿在线校正算法. 通过视觉系统配合示教，获取工件的期望位姿；通过对比待校正工件位姿及期望位姿，获取校正量；通过对校正过程进行分析并获取误差来源，进一步减小误差；实现工件平面位姿校正，通过实验验证位姿校正算法的正确性.

汽车空调压缩机动盘的装配过程多为流水线作业，如图1（a）所示，在到达动盘装配工位前，动盘置于定盘内，动盘在定盘内可自由平移及旋转. 在装配过程中，须将动盘从定盘中取出，翻转后以特定姿态装配至装配点. 如图1（b）所示，要求目标装配位置所设4个环圈与动盘特征平面上所设的4个盲孔配合，且每次装配完成后，动盘螺旋线终点与标志孔对齐.

如图2所示，涡旋式汽车空调压缩机动盘自动装配系统包括硬件系统及软件系统. 硬件系统主要由辅助翻转机构、工业机器人、柔性夹具、送料线体、工装板及视觉系统组成；软件系统包括视觉处理程序、上位机程序、PLC程序及机器人程序.

系统工作流程如下：1）送料线体将工装板运送至动盘装配工位，辅助翻转机构夹取动盘顶部凸缘，将其从定盘中取出并翻转180°；2）机器人通过四爪柔性夹具夹取动盘螺旋线部分，并运动至取像点；3）摄像机获取动盘的图像信息并传送至工控机；4）图像处理程序处理图像，并获得相应的特征数据；5）采用位姿校正算法处理特征数据，获得位姿校正量；6）通过位姿校正量补偿机器人运动，校正动盘位姿并完成装配.

选用工业相机作为图像采集设备^[22]. 为了从零件图像中获取稳定的特征，对图像进行预处理、分割、特征提取等处理^[7]. 按图3所示的流程处理图像，提取同一平面内的2个特征. 图像处理主要步骤的输出如图4所示，图4（a）所示为动盘表面特征图，图4（b）所示为动盘表面特征图像二值化后的结果. 选取动盘中心圆为第一特征，特征提取结果如图4（c）所示. 为了获取动盘角向位姿，选取动盘上的特征圆为第二特征，特征提取结果如图4（d）所示.

以三维向量描述位姿信息^[23]，记为 ${\left[ {x,y,\theta } \right]^{\rm{T}}}$，其中 ${\left[ {x,y} \right]^{\rm{T}}}$为机器人基坐标系下中心圆坐标分量； $\theta $为图像坐标系下中心圆与特征圆连线与 ${{x}}$轴所呈夹角，称为角度分量.

如图5所示，按照设计图纸进行配置安装机器人、工业相机等，建立世界坐标系、基坐标系、图像坐标系、工具坐标系等各个坐标系，确保各坐标系 $z$轴均垂直于安装平面^[17]. 完成系统配置后，须借助平面标靶进行手眼系统标定^[24].

定义世界坐标系 ${{{C}}_{\rm{w}}}$、机器人基坐标系 ${{{C}}_{\rm{b}}}$、图像坐标系 ${{{C}}_{{\rm{ca}}}}$及机器人末端坐标系 ${{{C}}_{\rm{e}}}$，记校正前机器人末端夹取待校正工件姿态为抓取零件位姿，用向量 ${\left[ {{x_1},{y_1},{\theta _1}} \right]^{\rm{T}}}$表示；记示教记录的姿态为示教参考位姿，用向量 ${\left[ {{x_0},{y_0},{\theta _0}} \right]^{\rm{T}}}$表示；记正确装配完成后位于目标装配位置上的动盘姿态为期望位姿，用 ${\left[ {{x_2},{y_2},{\theta _2}} \right]^{\rm{T}}}$表示；记机器人夹取待装配工件时的位置为上料夹取点 ${P_{\rm{1}}}$，记机器人夹取动盘运动至视觉系统上方的位置为取像点 ${P_{\rm{2}}}$，机器人运送动盘至正确装配点的位置为装配点 ${P_{\rm{3}}}$，上述各位置信息均在机器人基坐标系下描述.

采用示教的方式，获取示教参考位姿及机器人各点位置^[4]. 具体步骤如下.

1）机器人末端夹具夹取处于期望位姿的动盘，确保末端夹具夹紧动盘时，动盘状态不发生变化，记此时机器人位置为 ${P_{\rm{3}}}$.

2）处于 ${P_{\rm{3}}}$状态的机器人，在基坐标系下将动盘移动至视觉系统视野范围内，通过视觉系统采集此时动盘的位姿信息，记为示教参考位姿；记录此时机器人位置为 ${P_{\rm{2}}}$，记录运动过程为 ${{{T}}_{\rm{1}}}$.

3）机器人从辅助翻转机构上抓取待校正工件，记录此时机器人位置为 ${P_{\rm{1}}}$.

在操作过程中需要注意以下2点：1）运动过程 ${{{T}}_{\rm{1}}}$仅含平移运动，以确保示教参考位姿与期望位姿具有相同的 $\theta $，即上述 ${\theta _0} = {\theta _2}$；2）上述步骤3）中，辅助翻转机构从指定位置抓取具有确定高度、但角向位置不确定的待校正工件. 在提升并翻转180°后运送至指定高度，机器人从固定位置抓取工件，以确保每次抓取后工件特征平面高度不发生变化，保证每次取像时工件的特征平面在同一平面内.

利用示教参考位姿与抓取零件位姿的差值对零件的平面位姿进行校正，将该校正量记为原始位姿差，通过绕垂直于安装平面的轴旋转及平面内平移运动进行校正；在柔性夹具夹取异形零件的过程中，由于异形零件角向位置不固定，导致平面内零件的回转中心 ${P_{\rm{4}}}$与零件中心圆圆心不重合，且每次夹取偏移量随零件角向位置不同而改变. 在对零件角度进行校正时，工件中心圆圆心坐标会发生变化，将该变化量记为旋转引入位姿差. 通过对上述原始位姿差及旋转引入位姿差进行校正，理论上可以完成零件的平面位姿校正；但由于机器人安装误差及夹具夹取误差，导致工件特征平面与安装平面无法保持绝对平行，这将对误差校正精度造成较大的影响，将该影响导致的误差记为残余位姿差.

综上所述，本文的位姿校正量包括原始位姿差、旋转引入位姿差及残余位姿差，从抓取零件姿态到示教参考姿态的位姿校正量以三维向量 ${\left[ {\Delta x,\Delta y,\Delta \theta } \right]^{\rm{T}}}$描述.

通过视觉系统获得抓取零件位姿 ${\left[ {{x_1},{y_1},{\theta _1}} \right]^{\rm{T}}}$，通过示教参考位姿与抓取零件位姿作差，可得原始位姿差 ${\left[ {\Delta {x_1},\Delta {y_1},\Delta {\theta _1}} \right]^{\rm{T}}}$，如下所示：

(1) ${\left[ {\Delta {x_1},\Delta {y_1},\Delta {\theta _1}} \right]^{\rm{T}}} = {\left[ {{x_0},{y_0},{\theta _0}} \right]^{\rm{T}}} - {\left[ {{x_1},{y_1},{\theta _1}} \right]^{\rm{T}}}.$

使用原始位姿差坐标分量 ${\left[ {\Delta {x_1},\Delta {y_1}} \right]^{\rm{T}}}$进行平移校正，校正后两位姿向量坐标分量相等. 校正角度分量，由于平面内零件的回转中心 ${P_{\rm{4}}}$与零件中心圆圆心存在偏差，零件绕 ${P_{\rm{4}}}$旋转角度 $\Delta {\theta _1}$后，两位姿向量的角度分量相等，但坐标分量将会出现新的偏移量，即为旋转引入位姿差，可以表示为 ${\left[ {\Delta {x_2},\Delta {y_2},\Delta {\theta _2}} \right]^{\rm{T}}}$.

对旋转引入位姿差的校正方法分为回转中心坐标计算及位姿差计算两部分. 结合三点确定一个圆，计算机器人末端回转中心坐标，通过机器人末端夹具夹取带有明显特征的工件以一定间隔进行旋转，通过视觉系统获取特征在机器人基坐标系下的一组坐标 ${\left( {{x_i},{y_i}} \right)}$，其中 $i = 1\sim n$且 $n \geqslant {\rm{3}}$；将坐标值代入圆方程，通过求解方程组，可得圆心坐标 ${\left( {{x_{\rm{r}}},{y_{\rm{r}}}} \right)}$，即为 ${P_{\rm{4}}}$点的坐标.

旋转引入位姿差产生的几何模型如图6所示，记完成零件原始位姿差坐标分量校正后的零件位姿为零件过渡位姿1，坐标分量为 ${\left[ {{x_0},{y_0}} \right]^{\rm{T}}}$. 角度分量校正通过平面内绕 ${P_{\rm{4}}}$点旋转 $\Delta {\theta _1}$进行校正，记旋转后得到的零件位姿为零件过渡位姿2，坐标分量为 ${\left[ {{x_{\rm{a}}},{y_{\rm{a}}}} \right]^{\rm{T}}}$. 示教参考位姿与零件过渡位姿2之差为旋转引入位姿差. 为了求解旋转引入位姿差，将机器人基坐标系原点移动至 ${P_{\rm{4}}}$点处，建立坐标系 ${{{C}}_{\rm{r}}}$. 记以 ${P_{\rm{4}}}$点为起点， ${\left( {{x_0},{y_0}} \right)}$为终点的向量模为 $m$，向量与 ${{{C}}_{\rm{r}}}$的 $x$轴正方向所呈夹角为 $\alpha $. 在绕 ${P_{\rm{4}}}$旋转 $\Delta {\theta _1}$后，旋转引入位姿差可由下式确定：

(2) $\left[ {\begin{array}{*{20}{c}} {\Delta {x_2}} \\ {\Delta {y_2}} \\ {\Delta {\theta _2}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{x_0} - {x_{\rm{r}}}} \\ {{y_0} - {y_{\rm{r}}}} \\ 0 \end{array}} \right] - m\left[ {\begin{array}{*{20}{c}} {{\rm{cos}}\;\left( {\Delta {\theta _1} + \alpha } \right)} \\ {{\rm{sin}}\;\left( {\Delta {\theta _1} + \alpha } \right)} \\ 0 \end{array}} \right].$

式中：

(3) $ \alpha={k}_{1}{\text{π}} +{k}_{2} \mathrm{arctan}\;\left({\left|\Delta ^{\rm{b}}y\right|} \left/{{\left|\Delta ^{\rm{b}}x\right|}}\right.\right);$

(4) $ m=\sqrt{{\left(\Delta ^{\rm{b}}y\right)}^{2}+{\left(\Delta ^{\rm{b}}x\right)}^{2}},$

其中

(5) $ \left[\begin{array}{c}\Delta ^{\rm{b}}x\\ \Delta ^{\rm{b}}y\end{array}\right]=\left[\begin{array}{c}{x}_{0}-{x}_{\rm{r}}\\ {y}_{0}-{y}_{\rm{r}}\end{array}\right].$

根据向量起点与终点坐标的关系，确定向量方向，通过 ${k_1}$、 ${k_2}$将 $\alpha $的取值调整为 $\left[ {0,2{\text{π}}} \right]$，使得 $\alpha $正确反映向量与 ${{{C}}_{\rm{r}}}$的 $x$轴正方向的角度关系. 具体取值由表1确定.

由于机器人安装误差及夹具夹取误差导致工件特征平面与安装平面无法保持绝对平行，这使得通过圆方程求解的圆心坐标与实际 ${P_{\rm{4}}}$点不重合. 该误差的存在将严重影响系统装配精度，须对该误差的产生过程进行建模并分析，以降低这部分误差带来的影响.

分析可得如图7所示的误差模型，其中 ${P_{\rm{f}}} = {\left( {{x_{{\rm{t}}0}},{y_{{\rm{t}}0}}} \right)}$为通过测量所得的回转中心坐标， ${P_{\rm{t}}} = {\left( {{x_{{\rm{t}}1}},{y_{{\rm{t}}1}}} \right)}$为实际回转中心所在的位置坐标. 假设存在一点 ${P_{\rm{i}}} = {\left( {{x_{\rm{b}}},{y_{\rm{b}}}} \right)}$，将 $\overset{\longrightarrow}{\mathop{P_{\rm t}P_{\rm i}}}\,$及 $\overset{\longrightarrow}{\mathop{P_{\rm f}P_{\rm i}}}\,$分别绕P_t及P_f旋转相同角度β后，得到 $\overset{\longrightarrow}{\mathop{P_{\rm t}P_{\rm i2}}}\,$及 $\overset{\longrightarrow}{\mathop{P_{\rm f}P_{\rm i1}}}\,$。 ${P_{{\rm{i1}}}} = {\left( {{x_{\rm{c}}},{y_{\rm{c}}}} \right)}$， ${P_{{\rm{i2}}}} = {\left( {{x_{\rm{d}}},{y_{\rm{d}}}} \right)}$， ${P_{{{{\rm{i}}2}}}}$与 ${P_{{{{\rm{i}}1}}}}$的坐标差值为残余位姿差，表示为 ${\left( {\Delta {x_3},\Delta {y_3},\Delta {\theta _3}} \right)}$，由下式确定：

(6) $\left[\!\!\! {\begin{array}{*{20}{c}} {\Delta {x_3}} \\ {\Delta {y_3}} \\ {\Delta {\theta _3}} \end{array}}\!\!\! \right] = \left[\!\!\! {\begin{array}{*{20}{c}} {\cos\; \left( {{\alpha _1} + \beta } \right)}&{ - \cos \;\left( {{\alpha _2} + \beta } \right)}&{{x_{{\rm{t}}1}} - {x_{{\rm{t}}0}}} \\ {\sin \;\left( {{\alpha _1} + \beta } \right)}&{ - \sin\; \left( {{\alpha _2} + \beta } \right)}&{{y_{{\rm{t}}1}} - {y_{{\rm{t}}0}}} \\ 0&0&0 \end{array}} \!\!\!\right]\left[\!\!\! {\begin{array}{*{20}{c}} {{m_{\rm{1}}}} \\ {{m_{\rm{2}}}} \\ {\rm{1}} \end{array}} \!\!\!\right].$

式中： ${\alpha _1}$及 ${\alpha _2}$为 ${P_{\rm{i}}}$与 ${P_{\rm{t}}}$及 ${P_{\rm{f}}}$连线与 $x$轴正方向所呈夹角， ${m_{\rm{1}}}$及 ${m_{\rm{2}}}$为 ${P_{\rm{i}}}$与 ${P_{\rm{t}}}$及 ${P_{\rm{f}}}$连线的长度. 式（6）经三角函数公式换算，可得

(7) $\left[\!\!\!\! {\begin{array}{*{20}{c}} {\Delta {x_3}} \\ {\Delta {y_3}} \\ {\Delta {\theta _3}} \end{array}} \!\!\!\!\right] = \left[\!\!\!\! {\begin{array}{*{20}{c}} {{a_{\rm{0}}} \sin\; \left( {\omega _0}{\Delta {\theta _1} } \right)} \\ {{a_{\rm{1}}} \sin \;\left( {\omega _1}{\Delta {\theta _1} } \right)} \\ 0 \end{array}} \!\!\!\!\right] + \left[\!\!\!\! {\begin{array}{*{20}{c}} {{b_{\rm{0}}} \cos \;\left( {\omega _0}{\Delta {\theta _1} } \right)} \\ {{b_{\rm{1}}} \cos \;\left( {\omega _1}{\Delta {\theta _1} } \right)} \\ 0 \end{array}} \!\!\!\!\right] + \left[\!\!\!\! {\begin{array}{*{20}{c}} {{c_{\rm{0}}}} \\ {{c_{\rm{1}}}} \\ {\rm{0}} \end{array}} \!\!\!\!\right].$

式中：

(8) $\left. { {\begin{array}{*{20}{c}} {{a_{\rm{0}}} = {m_{\rm{2}}}\sin\; {{\alpha _2}} - {m_{\rm{1}}}\sin\; {{\alpha _1}} }, \\ {{b_{\rm{0}}} = {m_{\rm{1}}}\cos\; {{\alpha _1}} - {m_{\rm{2}}}\cos\; {{\alpha _2}} }, \\ {{{{c}}_{\rm{0}}} = {x_{{\rm{t}}1}} - {x_{{\rm{t}}0}}}, \\ {{a_{\rm{1}}} = {m_{\rm{1}}}\cos\; {{\alpha _1}} - {m_{\rm{2}}}\cos \; {{\alpha _2}}}, \\ {{b_{\rm{1}}} = {m_{\rm{1}}}\sin \; {{{\rm{\alpha }}_1}} - {m_{\rm{2}}}\sin\; {{\alpha _2}} }, \\ {{c_{\rm{1}}} = {y_{{\rm{t}}1}} - {y_{{\rm{t}}0}}}; \end{array}}} \right\}$

$\Delta {\theta _1}$为原始位姿误差的角度分量； ${a_k}$、 ${b_k}$、 ${c_k}$（其中 $ k=1$或2）由回转中心位置误差决定，对于固定的 ${P_{\rm{t}}}$及 ${P_{\rm{f}}}$而言，均为常数，通过曲线拟合确定.

由于所求得的原始位姿差、旋转引入位姿差及残余位姿差均为引导机器人末端在基坐标系下进行旋转及平移运动，可以通过线性组合对上述3个位姿差进行整合，获得位姿校正量：

(9) $\left[ {\begin{array}{*{20}{c}} {\Delta x} \\ {\Delta y} \\ {\Delta \theta } \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\Delta {x_1}} \\ {\Delta {y_1}} \\ {\Delta {\theta _1}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {\Delta {x_2}} \\ {\Delta {y_2}} \\ {\Delta {\theta _2}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {\Delta {x_3}} \\ {\Delta {y_3}} \\ {\Delta {\theta _3}} \end{array}} \right].$

将该位姿校正量反馈给机器人，即可实现工件位姿差补偿，从而完成装配.

在实际应用中，回转中心 ${P_{\rm{4}}}$由工件随机器人末端绕垂直于安装平面的轴等间距旋转一周获得，可以近似认为每次测量所得 ${P_{\rm{4}}}$为定点. 在同一系统中，实际回转中心仅与机械结构相关，不会因校正过程而发生变化. 综上所述，测量所得 ${P_{\rm{4}}}$坐标及残余位姿差拟合结果只需一次测定即可，算法流程如图8所示. 图中，左侧为系统搭建流程，右侧为系统应用流程.

为了分析该方法的有效性及精度，搭建装配实验系统，如图9所示. 硬件系统主要由AUBO-i7机器人、海康威视MV-CE100-30GC工业相机、海康威视MVL-HF0828M-6MP镜头、光源及其控制器、辅助翻转机构、柔触夹爪、西门子S7-1200PLC及PC组成. 软件系统包括视觉处理程序、上位机程序、PLC程序及机器人程序. 系统通过PLC程序，控制气动元件及机器人运动。通过上位机程序控制取像，运行视觉处理程序并计算位姿校正量。通过机器人程序，控制机器人末端夹具。通过视觉处理程序对数字图像进行处理，获取相应的特征及位姿信息.

通过上述原始位姿差校正算法及旋转引入位姿差校正算法，对原始位姿差及旋转引入位姿差进行校正. 为了验证算法的校正效果，以校正角度Δθ₁为自变量，在长度为360°的区间内，以约为10°的间隔测量校正后残余位姿差，测量结果取5次重复测量均值，所得的残余位姿差角度分量ΔR及位置分量ΔL测量结果如图10、11所示. 校正后 $x$的最大偏差为1.49 mm， $y$的最大偏差为2.59 mm，角度最大偏差为0.6°.

通过上述实验发现，位置误差校正量的精度有较大的提升空间. 开展进一步补偿，按式（7）对 $x$、 $y$位置误差测量结果进行拟合，所得的 $\Delta {x_3}$及 $\Delta {y_3}$拟合结果分别如图12、13所示，待定常量如表2所示.

对拟合结果进行残差分析，获得标准化残差Z_e. 如图14所示，96.66%的标准化残差为 $\left[ { - 2,2} \right]$，这表明模型残差接近独立随机分布^[25]，拟合所使用的函数合理。将预测所得误差校正量整合到位姿校正量 ${\left[ {\Delta x,\Delta y,\Delta \theta } \right]^{\rm{T}}}$中，进行校正实验并记录校正后的系统误差数据Δe，如图15所示。校正后， $x$与 $y$的偏差均小于0.6 mm.

通过该实验装置进行300次装配实验，实验装配成功率达到99.67%，平均单次装配节拍控制在20 s以内.

本文针对每次夹取后零件与机器人位姿存在随机偏差的零件，开发基于视觉引导的机器人位姿在线校正算法. 通过视觉系统与机器人系统相结合，扩展了机器人在自动化装配领域的应用，提高了机器人系统的适应性. 通过装配过程特点及误差分析，提出适用于夹取后工件相对于夹具位姿有较大偏差的位姿校正算法，提高了机器人装配系统的精度. 该方法将误差分为原始位姿差、旋转引入位姿差及残余位姿差，通过位姿向量差、几何建模及曲线拟合等方法，实现了机器人抓取平面位姿校正，具有成本较低、装配成功率高、操作过程简单、适应性强等特点. 实验结果表明，该方法对工件位姿向量坐标分量的校正精度达到0.6 mm，角度分量校正精度达到0.6°.