基于特征点动态重映射的机械臂视觉伺服实时避障方法

doi:10.3785/j.issn.1006-754X.2026.05.154

基于特征点动态重映射的机械臂视觉伺服实时避障方法

刘俊^,¹, 朱姿娜^,^,¹, 潘雪云¹, 孙晓燕²

1.上海工程技术大学机械与汽车工程学院，上海 201620

2.浙江大学建筑工程学院，浙江杭州 310058

Real-time obstacle avoidance method via dynamic feature point remapping for robotic arm visual servoing

LIU Jun^,¹, ZHU Zina^,^,¹, PAN Xueyun¹, SUN Xiaoyan²

1.School of Mechanical and Automotive Engineering, Shanghai University of Engineering Science, Shanghai 201620, China

2.College of Civil Engineering and Architecture, Zhejiang University, Hangzhou 310058, China

通讯作者: 朱姿娜（1987—），女，副教授，博士，从事机器人学、机器人模块化关节以及磁力耦合传动等研究，E-mail: zhuzina@126.com，https://orcid.org/0000-0002-2260-2286

收稿日期: 2025-06-27 修回日期: 2025-08-20

基金资助:

浙江省“尖兵”“领雁”研发攻关计划. 2023C01154

Received: 2025-06-27 Revised: 2025-08-20

作者简介 About authors

刘　俊（1997—），男，硕士生，从事机器人运动控制研究，E-mail:liujun8014@163.com , E-mail：liujun8014@163.com

摘要

在高精度装配任务中，机械臂需要避开静态障碍物。但现有避障方法通常会中断基于图像的视觉伺服（image-based visual servoing, IBVS）过程，影响任务的连续性，并可能引发运动振荡，从而导致定位精度下降。为解决上述问题，提出了一种基于特征点动态重映射的视觉伺服实时避障方法。该方法基于障碍物最小外接长方体的几何参数，构建包含视场约束的多目标优化模型，以求解最优避障路径；随后，将避障路径方向矢量映射至图像空间，结合实时特征点动态生成引导特征点，以驱动IBVS控制器实现避障。为提升运动平滑性，设计了基于Sigmoid函数的路径平滑过渡机制；同时，引入避障距离驱动的自适应增益函数，以动态优化系统收敛速度。最后，通过Lyapunov稳定性分析证明了闭环系统的全局稳定性。轴孔定位实验结果表明：在不同的起始位姿下，该方法均能实时生成可行的避障路径，机械臂末端运动轨迹及特征点运动轨迹平滑无突变，在全程保持IBVS过程连续不间断的前提下，实现了快速、高精度的收敛。所提出的方法实现了避障路径规划与IBVS控制的闭环融合，可为高精度装配等任务中机械臂的实时避障提供一种兼顾安全性、连续性与控制精度的解决方案。

关键词： 机械臂 ; 视觉伺服控制 ; 动态重映射 ; 实时避障

Abstract

In high-precision assembly tasks, robotic arms need to avoid static obstacles. However, existing obstacle avoidance methods often interrupt the image-based visual servoing (IBVS) process, which affects task continuity and may induce motion oscillations, thereby reducing positioning accuracy. To address this issue, a real-time visual servoing obstacle avoidance method based on dynamic feature point remapping is proposed. This method constructed a multi-objective optimization model with field-of-view constraints using the geometric parameters of the smallest extensible cuboid of obstacles to solve an optimal avoidance path. Subsequently, the direction vector of the obstacle avoidance path was mapped into the image space, where guiding feature points were dynamically generated from real-time feature points to drive the IBVS controller to achieve obstacle avoidance. To improve motion smoothness, a path smoothing transition mechanism based on the Sigmoid function was designed, and an obstacle avoidance distance-driven adaptive gain function was introduced to dynamically optimize the system convergence rate. Finally, the global stability of the closed-loop system was proven through Lyapunov stability analysis. The axle-hole positioning experiments demonstrated that, under different initial poses, the method could generate feasible obstacle avoidance paths in real time, while the motion trajectories of the robotic arm end-effector and the feature points remained smooth without abrupt changes, achieving fast and high-precision convergence with an uninterrupted IBVS process throughout the task. The proposed method realizes a unified closed-loop integration of obstacle avoidance planning and IBVS control, which can provide a practical solution for real-time obstacle avoidance of robotic arms in high-precision assembly tasks requiring safety, continuity and accuracy.

Keywords： robotic arm ; visual servo control ; dynamic remapping ; real-time obstacle avoidance

PDF (3434KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

刘俊, 朱姿娜, 潘雪云, 孙晓燕. 基于特征点动态重映射的机械臂视觉伺服实时避障方法[J]. 工程设计学报, 2026, 33(1): 76-85 doi:10.3785/j.issn.1006-754X.2026.05.154

LIU Jun, ZHU Zina, PAN Xueyun, SUN Xiaoyan. Real-time obstacle avoidance method via dynamic feature point remapping for robotic arm visual servoing[J]. Chinese Journal of Engineering Design, 2026, 33(1): 76-85 doi:10.3785/j.issn.1006-754X.2026.05.154

随着机器人技术在精密制造与自动化装配等领域的广泛应用，机械臂在现代工业装配场景中承担越来越多高精度、高复杂度的作业任务^[1-3]。尤其在空间受限的操作环境下，机械臂通常需要在狭小工作空间内完成对工件的精确对接操作，同时还需要实时避开周围的静态障碍物，如设备支架、工装夹具以及已安装的零部件等。这对机械臂的运动控制与避障路径规划提出了更高的要求^[4]，须在确保装配精度的同时，保证自身作业过程的安全性与连贯性。

在此背景下，基于图像的视觉伺服（image-based visual servoing, IBVS）技术^[5-6]凭借可直接依赖特征点误差生成控制量的特性，被广泛应用于高精度装配任务。焦建军等^[7]利用鲁棒卡尔曼滤波在线预测图像雅可比矩阵，并通过前馈神经网络动态补偿误差，将机器人末端速度的收敛时间减少了30%。牟雪琪等^[8]通过灰狼优化算法对卡尔曼滤波算法的参数进行了优化，提高了图像雅可比矩阵的在线估计精度，将u、v方向的图像特征误差分别收敛到1.03、1.87像素。但是，上述视觉伺服控制方法忽略了环境中静态障碍物的影响，缺乏有效的避障机制，容易导致机器人在装配过程中出现路径受阻或碰撞等问题。现有解决方案大多依赖全局路径规划算法，如RRT（rapidly-exploring random tree，快速扩展随机树）、A*算法等^[9-12]，但这类算法的计算开销较高，难以满足实时性要求，导致机械臂的整体装配效率降低。相比之下，局部避障算法的响应速度较快。其中，以人工势场法（artificial potential field, APF）^[13-14]为代表的势场类方法被广泛应用于机械臂避障任务。然而，APF对势场参数的选取较为敏感，在复杂环境中易引发路径振荡^[15-16]，进而影响装配精度。此外，上述机械臂避障方法均需要中断视觉伺服任务，从而影响整个装配任务的连续性。因此，如何在保证视觉伺服过程连续性的前提下，实现静态障碍物环境下的实时、平滑避障，成为提升工业装配智能化水平的关键挑战。

为此，本文提出了一种基于特征点动态重映射的机械臂视觉伺服实时避障方法。首先，在传统IBVS控制器中引入距离自适应增益，使系统在接近目标时提升收敛速度，而在避障阶段减小增益，以提高避障轨迹的平滑性。然后，基于机械臂末端与障碍物的实时欧式距离判断是否进入避障阶段。当进入避障区域时，通过几何法计算得到机械臂的避障路径，并结合视场约束构建多目标优化模型，以决策最短的可行路径。最后，将避障路径方向矢量映射至图像空间，生成与实时特征点坐标联动的动态引导特征点，以引导机械臂完成避障；为避免路径拐点处误差突变，引入基于Sigmoid函数的路径平滑过渡机制，以保证避障轨迹的平滑性。

1 问题描述

本文研究面向智能建造领域的机械臂自主配筋作业，即机械臂将钢筋件（轴件与孔件）自主装配成钢筋笼（用于混凝土建筑3D打印以增强建筑强度），属于典型的轴孔类工件自动装配场景。如图1所示，机械臂末端配置夹爪以夹持轴件，并在视觉伺服的引导下完成轴孔装配前的定位任务。其中，深度相机通过“眼在手上（eye-in-hand）”的方式^[17]安装在机械臂末端，承担目标识别、特征提取与静态障碍物感知的任务。在视觉伺服任务开始前，根据深度相机获取的工件点云数据，基于DBSCAN（density-based spatial clustering of applications with noise，基于密度的含噪数据空间聚类）算法^[18]对已装配完成的工件进行聚类分析，并将其拟合为最小外接长方体形式的静态障碍物，以获取长、宽、高等参数作为先验数据。被夹持轴件的末端视作机械臂的延伸部分。在IBVS闭环控制所引导的运动过程中，机械臂末端需要避开静态障碍物，并保持视觉伺服任务的连续性，这意味着在该过程中需要持续获得孔件的图像特征信息。基于此，本文引入了基于特征点动态重映射的避障机制，以确保机械臂在执行IBVS引导的同时，能够有效避开障碍物，从而提高整个装配任务的安全性与连续性。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 机械臂自主配筋作业场景

Fig.1 Autonomous rebar assembly scenario of robotic arm

2 基于特征点动态重映射的视觉伺服实时避障方法

2.1　IBVS控制

IBVS是一种通过图像实时反馈直接控制机器人运动的闭环控制方法，其核心思想是通过提取图像中的特征信息（如边缘、角点、区域等）来计算当前图像与目标图像之间的特征误差，并以此驱动控制器调整机器人位姿，最终使特征误差收敛至0，其原理如下。

首先，根据针孔相机成像模型，空间中某一点p在相机坐标系下的坐标(x, y, z)可映射为像素坐标(u, v)：

\{\begin{matrix} u = \frac{f x}{z d x} + c_{x} \\ v = \frac{f y}{z d y} + c_{y} \end{matrix}

(1)

式中：f为相机焦距，dx、dy分别为每个像素的宽度与高度，c_x 、c_y 为相机主点的像素坐标。

令 $\bar{u} = u - c_{x}$ ， $\bar{v} = v - c_{y}$ ，分别为相对于相机主点(c_x, c_y )的像素坐标，变换后可得到：

\{\begin{matrix} x = \frac{\bar{u} z d x}{f} \\ y = \frac{\bar{v} z d y}{f} \end{matrix}

(2)

对式(1)两端分别进行求导，可得：

\{\begin{matrix} \dot{u} = \frac{f d x \cdot \dot{x} z - f d x \cdot \dot{z} x}{z^{2} d x^{2}} \\ \dot{v} = \frac{f d y \cdot z \dot{y} - f d y \cdot \dot{z} y}{z^{2} d y^{2}} \end{matrix}

(3)

深度相机的运动由机械臂末端传递，令机械臂末端的运动速度 $v_{c} = (v_{x}, v_{y}, v_{z}, ω_{x}, ω_{y}, ω_{z})^{T}$ 。根据刚体运动学，则空间中p点的速度可以描述为：

[\begin{array}{l} \dot{x} \\ \dot{y} \\ \dot{z} \end{array}] = - [\begin{array}{l} v_{x} \\ v_{y} \\ v_{z} \end{array}] - [\begin{array}{l} ω_{y} z - ω_{z} y \\ ω_{z} x - ω_{x} z \\ ω_{x} y - ω_{y} x \end{array}]

(4)

将式(2)和式(4)代入式(3)，整理后可得：

\dot{s} = J_{s} v_{c}

(5)

其中：

\begin{array}{l} J_{s} = \\ [\begin{matrix} - \frac{f}{z d x} & 0 & \frac{\bar{u}}{z} & \frac{d y \bar{u} \bar{v}}{f} & - \frac{f^{2} + d x^{2} {\bar{u}}^{2}}{f d x} & \frac{d y \bar{v}}{d x} \\ 0 & - \frac{f}{z d y} & \frac{\bar{v}}{z} & \frac{f^{2} + d y^{2} {\bar{v}}^{2}}{f d y} & - \frac{d y \bar{u} \bar{v}}{f} & - \frac{d x \bar{u}}{d y} \end{matrix}] \end{array}

式中： s 为某一图像特征点的位置矢量， $s = {(u, v)}^{T}$ ； $\dot{s}$ 为图像特征点的速度矢量， $\dot{s} = {(\dot{u}, \dot{v})}^{T}$ ； J_s为图像雅可比矩阵。

式(5)可以映射出像素平面中特征点的变化速度与机械臂末端相机在笛卡儿空间中的运动速度的关系。根据六自由度机械臂的动力学方程，可得到其关节速度与末端运动速度的映射关系^[19]：

v_{c} = J_{r} \dot{q}

(6)

式中： $J_{r}$ 为机械臂雅可比矩阵， $\dot{q}$ 为机械臂的关节速度矢量。

在实际应用中，为了使机械臂能够更精确地对准目标，通常选取4个目标特征点，分别为目标最小外接矩形的4个顶点，其位置矢量记为 s_j （j=1, 2, …, 4）。将式(6)代入式(5)，由此可以得到每个图像特征点的速度与关节速度的关系：

{\dot{s}}_{j} = J_{s j} J_{r} \dot{q}

(7)

式中： J_s_j 为各特征点对应的图像雅可比矩阵。

2.2　基于特征点动态重映射的避障策略

为实现视觉伺服任务连续性与实时避障的协同优化，提出了一种基于特征点动态重映射的避障策略。该策略通过构建包含视场约束的多目标优化模型决策出最优避障路径，并将避障路径方向矢量映射至图像空间，结合实时特征点生成动态避障引导特征点，以实现避障。

1）避障区域检测与避障路径规划。

将静态障碍物拟合为机械臂基坐标系（坐标原点位于机械臂基座）下的最小外接长方体，且长方体各边对应平行于基坐标系各轴，提取长方体中心点 $p_{o b s} (x_{o b s}, y_{o b s}, z_{o b s})$ 的坐标与长、宽、高作为先验信息。在整个视觉伺服过程中，实时检测并计算机械臂末端 $p_{t} (x_{t}, y_{t}, z_{t})$ 与障碍物的距离d_obs：

d_{o b s} = \{\begin{matrix} |x_{t} - x_{o b s}|, & z_{t} \leq h_{o b s}, y_{t} \in [y_{m i n}, y_{m a x}] \\ |y_{t} - y_{o b s}|, & z_{t} \leq h_{o b s}, x_{t} \in [x_{m i n}, x_{m a x}] \\ z_{t} - h_{o b s}, & z_{t} > h_{o b s}, (x_{t}, y_{t}) \in A_{o b s} \end{matrix}

(8)

式中：x_min、x_max、y_min、y_max分别为长方体障碍物Y、X方向的边界值，h_obs为长方体障碍物的高度，A_obs为障碍物在XOY平面上的投影。

设定安全避障距离d_safe与危险标志距离d_ous，当d_ous $\leq$ d_obs $\leq$ d_safe时，触发避障机制，此时需决策出一条避障路径，使得机械臂末端绕过障碍物。为了使机械臂以最短时间绕过障碍物，以便执行后续的视觉伺服任务，根据最小外接长方体的几何信息与机械臂末端相对于障碍物的位置信息，得到3条最短候选路径，如图2所示。其中：路径1与路径2均处于当前机械臂末端所在高度z_t处平面，路径3为从上方绕过障碍物；3条路径均为直线路径。每条路径均由2条线段组成，即由起始点p₁、拐点p₂、终点p₃构成。记路径i的第k段位移增量 $Δ p_{k}^{i} = (Δ x_{k}^{i}, Δ y_{k}^{i}, Δ z_{k}^{i})^{T}$ ，其中k=1, 2，则路径i的第k段对应的图像特征点的位移增量为：

\{\begin{matrix} Δ u_{k}^{i} = \frac{f Δ x_{k}^{i}}{(z_{t} + Δ z) d x} \\ Δ v_{k}^{i} = \frac{f Δ y_{k}^{i}}{(z_{t} + Δ z) d y} \end{matrix}

(9)

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 机械臂避障路径示意图

Fig.2 Schematic of obstacle avoidance path for robotic arm

为了保证视觉伺服任务的连续性，在避障路径的决策中增加视场约束，以使目标特征点不超出视场边界，由此构建多目标优化模型：

\{\begin{array}{l} \begin{matrix} \underset{i \in \{1, 2, 3\}}{m i n i m i z e} & L_{i} = \sum_{k = 1}^{2} \sqrt[]{(x_{k + 1}^{i} - x_{k}^{i})^{2} + (y_{k + 1}^{i} - y_{k}^{i})^{2} + (z_{k + 1}^{i} - z_{k}^{i})^{2}} \end{matrix} \\ s . t . d_{o u s} \leq d_{o b s} \leq d_{s a f e} \\ 10 \leq u_{j} + \sum_{k = 1}^{2} Δ u_{k}^{i} \leq W - 10 \\ 10 \leq v_{j} + \sum_{k = 1}^{2} Δ v_{k}^{i} \leq H - 10 \end{array}

(10)

式中：L_i 为避障路径长度；W、H为图像的宽度与高度，设置图像边界安全裕度为10。

2）生成动态引导特征点。

通过求解式(10)所示的优化模型，可获得最短避障路径L，并得到该路径的3个方向矢量 P₁、 P₂、 P₃。基于最短避障路径，进一步计算得到每段避障路径的方向矢量并将其单位化：

D_{k} = \frac{P_{k + 1} - P_{k}}{‖P_{k + 1} - P_{k}‖} = [\begin{matrix} x_{k} \\ y_{k} \\ z_{k} \end{matrix}]

(11)

式中： D_k 为各段避障路径的单位方向矢量。

将上述方向矢量映射至图像空间，并基于实时特征点生成每段避障路径的动态引导特征点：

[\begin{matrix} u_{g j} \\ v_{g j} \end{matrix}] = \{\begin{array}{l} [\begin{matrix} u_{j} \\ v_{j} \end{matrix}] + S [\begin{matrix} - x_{k} \\ y_{k} \end{matrix}] & , z_{k} = 0 \\ [\begin{matrix} u_{j} \\ v_{j} \end{matrix}] + S [\begin{matrix} {(- 1)}^{j + 1} \frac{1}{2} \\ \frac{1}{2} φ (j) \end{matrix}] & , z_{k} > 0 \end{array}

(12)

其中：

φ (j) = \{\begin{matrix} 1, & j \in \{1, 2\} \\ - 1, & j \in \{3, 4\} \end{matrix}

式中：u_g_j 、v_g_j 为生成的引导特征点的像素坐标，记 s_g=(u_g_j, v_g_j )^T；S为引导步长；φ $(j)$ 为关于j的符号函数，用于表征v_g_j 的引导方向，当z_k >0时，路径方向为向上。

2.3　IBVS控制器设计

基于特征点动态重映射的机械臂视觉伺服实时避障控制框图如图3所示。其中，特征点提取与图像处理统一由YOLOv8视觉检测模型^[20]实现，其输入为RGB图像，输出为图像中工件识别框的4个角点的像素坐标。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 基于特征点动态重映射的机械臂视觉伺服系统控制框图

Fig.3 Control block diagram of robotic arm visual servo system based on dynamic feature point remapping

IBVS控制器的输入为图像特征点的位置误差向量 e （以下针对单个特征点进行说明）：

e = s - s^{*}

(13)

式中： s $^{*}$ 为动态期望特征点的位置矢量； s_d为初始期望特征点的位置矢量，当处于常规伺服模式时， s $^{*}$ = s_d；当处于避障引导模式时，根据动态重映射生成引导特征点， s $^{*}$ = s_g；当完成避障进入柔顺过渡模式时， s $^{*}$ = s_d。

本文的控制目标是使误差趋近于0，使得图像特征点能平稳地趋近目标，从而实现工件定位操作。对式(13)进行求导，可得：

\dot{e} = \dot{s} - {\dot{s}}^{*}

(14)

为了使误差实现指数衰减，基于误差动力学^[21]，令：

\dot{e} = - λ e

(15)

式中：λ为固定比例增益，且λ>0。

将式(14)代入式(15)，可得：

\dot{s} = {\dot{s}}^{*} - λ e

(16)

将式(5)代入式(16)，整理得到标准的视觉伺服控制律：

v_{c} = {J_{s}}^{+} ({\dot{s}}^{*} - λ e)

(17)

式中： J_s⁺为图像雅可比矩阵的伪逆矩阵。

考虑到固定比例增益无法适应装配任务不同阶段的控制需求，提出如下改进：

v_{c} = J_{s}^{+} ({\dot{s}}^{*} - λ (d_{o b s}) \cdot e)

(18)

其中：

λ (d_{o b s}) = λ_{l o w} + (λ_{h i g h} - λ_{l o w}) \cdot \frac{1}{1 + e^{- k_{λ} (d_{o b s} - d_{m i d})}}

式中：λ $(d_{o b s})$ 为自适应增益函数，其为避障距离d_obs的函数；λ_high为正常伺服增益，λ_low为避障模式伺服增益，且λ_high>>λ_low>0；k_λ 为正值，用于控制增益的变化速率；d_mid为d_ous与d_safe的中点，当机械臂末端位于安全距离之外时，控制增益取较大值，以加快伺服收敛速度，当末端进入避障区域时，控制增益相应减小，以保证运动过程的平滑性并避免系统振荡。

当系统判断机械臂末端处于避障路径拐点处或进行伺服模式切换时，特征点也会进行切换，致使特征点的位置误差发生阶跃，从而导致系统状态发生突变，造成机械臂剧烈抖动。为此，采用Sigmiod函数对过渡时刻的速度进行平滑处理：

v_{c} (t) = (1 - σ (t)) \cdot v_{c}^{b e f o r e} + σ (t) \cdot v_{c}^{n e w}

(19)

其中：

σ (t) = \frac{1}{1 + e^{- K (t - t_{0})}}

式中： v_c $(t)$ 为当前时刻t下的实际输出速度； v_c^before为过渡前的速度； $v_{c}^{n e w}$ 为IBVS控制器计算得到的期望速度；σ $(t)$ 为Sigmoid函数，用于控制过渡权重，随时间从0变到1；t₀为切换开始的时刻；K为调整斜率，用于控制过渡速度。

结合式(7)，可得机械臂关节速度的控制律：

\dot{q} = J_{r}^{+} J_{s}^{+} ({\dot{s}}^{*} - λ (d_{o b s}) \cdot e)

(20)

式中： $J_{r}^{+}$ 为机械臂雅可比矩阵的伪逆矩阵。

2.4　稳定性分析

结合式(5)、(14)、(18)可得：

\dot{e} = J_{s} v_{c} - {\dot{s}}^{*} = J_{s} J_{s}^{+} ({\dot{s}}^{*} - λ (d_{o b s}) \cdot e) - {\dot{s}}^{*}

(21)

选取Lyapunov函数V $(t)$ ：

V (t) = \frac{1}{2} e^{T} e

(22)

该Lyapunov函数关于时间的一阶导数为：

\dot{V} (t) = e^{T} \dot{e} = e^{T} [J_{s} J_{s}^{+} ({\dot{s}}^{*} - λ (d_{o b s}) \cdot e - {\dot{s}}^{*})]

(23)

当 s $^{*}$ = s_d时，期望特征点的位置不随时间变化，则 ${\dot{s}}^{*} = 0$ ，由此可得：

\dot{V} (t) = - λ (d_{o b s}) e^{T} J_{s} J_{s}^{+} e

(24)

\dot{V} (t) \leq - λ (d_{o b s}) σ_{m i n} (J_{s} J_{s}^{+}) \cdot {‖e‖}^{2} < 0

(25)

式中：σ_min( J_sJ_s^＋)为 J_sJ_s^＋的最小奇异值，σ_min( J_sJ_s^＋)>0，说明系统渐进稳定。

当 s^*= s_g时，根据式(13)，可得：

e = s - (s + a) = - a

(26)

式中： a 为生成动态引导特征点的位移增量，为常量。

由此可知，在避障过程中，引导特征点的位置误差为常数，则可得：

\dot{V} (t) = 0

(27)

根据式(27)，可知在此阶段内系统仍能保持Lyapunov稳定。

3 实验验证

3.1　实验方案

为验证本文所提出的实时避障方法的可行性，开展轴孔定位实验。该实验为机械臂自主配筋过程中的一个关键任务，即机械臂末端夹持轴件后在IBVS引导下移动至孔件上方，从而为轴孔插入过程奠定基础。其中，已完成配筋的工件被视作静态障碍物，在IBVS引导过程中需要避开此障碍物，同时使机械臂末端快速、准确到达目标位置，以完成轴孔定位任务。如图4所示，搭建的实验平台由UR10机械臂、RealSense D435深度相机、Jodell二指平行夹爪和工控机组成。其中：工控机配置为Intel Core i5-12400F CPU、32GB RAM和NVIDIA RTX 4060Ti 8GB GPU；软件系统基于Ubuntu 20.04和 ROS Noetic平台构建开发。视觉检测模型基于超过5 000张工件图像的数据集进行训练，其具备对光照变化与局部遮挡的鲁棒性，可有效辅助特征点提取任务。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 机械臂轴孔定位实验平台

Fig.4 Robotic arm axle-hole positioning experimental platform

利用深度相机采集的点云数据，采用DBSCAN算法获取静态障碍物的位置和尺寸信息；同时，基于拍摄的RGB图像，采用YOLOv8模型识别得到孔件的实时特征点像素坐标，其中原始期望特征点的位置矢量 $s_{d} = [\begin{matrix} 302 & 499 & 302 & 499 \\ 133 & 133 & 328 & 328 \end{matrix}]$ m，危险标志距离d_ous与安全避障距离d_safe分别为0.01 m与0.04 m，引导步长设置为30，伺服增益λ_high与λ_low分别为15与1.5，k_λ =10。

在实际配筋工况中，机械臂末端的起始点位置并不固定。为了验证本文方法的有效性与创新性，随机设置2个工况，令工况1和工况2下机械臂末端的起始点分别为O₁与O₂，同时设计局部避障对比实验：在避障阶段分别采取改进RRT（即RRT*）、APF与本文所提出的算法进行定量对比，而视觉伺服阶段均采用本文所设计的IBVS控制器。其中，RRT*算法的参数设置如下：扩展步长为0.1，目标偏向率为0.05；APF的参数设置如下：引力增益为2，斥力增益为10，斥力影响范围为0.17 m。上述参数为综合考虑规划精度与计算效率所选取的经验值。系统程序的采样频率为125 Hz，即每8 ms记录一次机械臂末端的位姿及速度信息。

在2种工况下，分别采用本文方法开展机械臂轴孔定位实验，机械臂的运动过程分别如图5(a)和图6(a)所示。2种工况下3种算法规划的避障路径分别如图5(b)和图6(b)所示。由于是采用相同的视觉伺服控制算法，3条避障路径的后半段呈现出较为一致的收敛趋势。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 工况1下机械臂的运动过程及其末端运动轨迹

Fig.5 Motion process and end-effector motion trajectory of robotic arm under condition 1

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 工况2下机械臂的运动过程及其末端运动轨迹

Fig.6 Motion process and end-effector motion trajectory of robotic arm under condition 2

3.2　实验结果与分析

3.2.1　避障过程分析

由图5和图6可以看出，3种方法所规划的路径均能使机械臂末端避开障碍物并到达目标点，同时完成后续的视觉伺服任务。但是，在这2种工况下，当机械臂末端靠近障碍物时，基于RRT*与APF的方法需要中断IBVS过程以进行避障路径规划，且路径规划时并未考虑视场约束。因此，当避障完成后切换回IBVS引导时，机械臂末端会发生抖动，导致整体轨迹的平滑性降低；此外，APF在斥力影响范围边界处易陷入局部极小值。而本文所提出的方法无需中断IBVS过程，且能够利用引导步长与实时特征点动态生成期望特征点，由IBVS控制器间接执行避障控制，故可在避障完成后平滑衔接视觉伺服过程。3种方法在2种工况下均重复运行10次，其避障轨迹规划性能如表1所示。

表1 不同方法的避障轨迹规划性能对比

Table 1 Comparison of obstacle avoidance trajectory planning performance of different methods

方法	轨迹平均曲率/cm^-1	平均规划时间/ms	IBVS平均中断次数
RRT*	0.029 6	120	2
APF	0.038 7	95	2
本文方法	0.027 1	72	0

新窗口打开| 下载CSV

由表1可知，相较于RRT*与APF，基于本文方法的机械臂末端避障轨迹的平均曲率分别降低了8.45%和29.97%，表明本文方法在轨迹平滑性方面更具优势；在平均规划时间上，分别缩短了40.0% 和24.2%，表明本文方法的避障轨迹规划更具实时性，且整个IBVS任务全程无中断。

3.2.2　视觉伺服过程分析

由于RRT*与APF需中断视觉伺服过程进行避障规划，本节聚焦于分析本文方法在视觉伺服全过程中的性能表现，包括特征点轨迹平滑性、误差收敛特性等核心指标。

鉴于工件为平面放置，在整个轴孔定位过程中，不涉及对机械臂末端角速度的控制。2种工况下机械臂末端的线速度和特征点误差分别如图7和图8所示。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 工况1下机械臂末端速度曲线与特征点误差曲线

Fig.7 Curves of robotic arm end-effector velocity and feature point error under condition 1

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 工况2下机械臂末端速度曲线与特征点误差曲线

Fig.8 Curves of robotic arm end-effector velocity and feature point error under condition 2

由图7可知，对于起始点为O₁的工况1，整个视觉伺服过程持续10.5 s，该起始点在初始时刻已经位于避障范围内，在0—7 s过程中，执行避障过程，期望特征点根据引导步长与实时特征点动态生成，其中在t=0.2, 1.3, 7 s时分别通过Sigmiod函数实现对拐点与任务切换的平滑过渡；当t>7 s时，机械臂末端已完成避障，末端与障碍物的距离d_obs逐渐增大，自适应增益增大，使得速度提高；经过3.5 s后，机械臂末端速度与特征点误差快速趋近于0，且收敛曲线较平滑。

由图8可知，对于起始点为O₂的工况2，在0—1.8 s阶段，执行常规的视觉伺服任务，特征点误差逐渐减小；当t=1.8 s时，机械臂末端执行避障任务，且末端速度实现平滑过渡，特征点误差为常数；当t=5.9 s时，机械臂末端完成避障且切换为视觉伺服任务，此后机械臂末端与障碍物的距离d_obs逐渐增大，自适应率相应增大；经过4.5 s后，机械臂末端速度和特征点误差均平滑过渡且快速收敛至0。

2种工况下特征点的实时运动轨迹如图9所示（像素坐标系原点位于图像左上角）。图中：蓝框与红框分别表示特征点的初始位置与期望位置。由图9可以看出，在不同工况下，特征点的运行轨迹均保持平滑稳定，且整个视觉伺服过程无中断，验证了本文方法的有效性。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 不同工况下特征点的运动轨迹

Fig.9 Motion trajectories of feature points under different working conditions

记录2个工况下共20次实验的数据，并将每次实验中每个特征点的稳态值与期望值的欧式距离作为稳态误差指标（记为S₁、S₂、S₃、S₄），得到图10所示的特征点误差曲线。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 特征点稳态误差曲线

Fig.10 Feature point steady-state error curves

由图10可知，各特征点的稳态误差均小于1个像素，说明本文所提出的方法在视觉伺服过程中具有良好的对准精度，能够满足精密装配任务对位置精度的需求。

4 结论

本文针对高精度工业装配任务中机械臂因避障而中断IBVS过程的问题，提出了一种基于特征点动态重映射的视觉伺服实时避障方法，并通过轴孔定位实验验证了其有效性。

1）本文所提出的方法能够在维持视觉伺服任务连续性的前提下实现静态避障，通过构建含视场约束的多目标优化模型来决策最优避障路径，并通过避障路径方向矢量映射实时生成引导特征点，并确保目标特征点不脱离视野，提升了避障路径的可行性与实用性。

2）在IBVS控制器设计中，利用Sigmiod函数实现避障路径拐点处与任务切换时控制输出的平滑过渡，避免了误差阶跃所造成的冲击，并引入避障距离驱动的自适应增益函数，加快了收敛过程。

3）基于本文方法的机械臂轴孔定位过程耗时10.5 s，4个特征点的稳态误差均在1个像素之内，满足装配任务的定位要求。结果表明，所提出的方法在不同工况下均能实现稳定避障与高精度收敛，具备较强的工程鲁棒性。研究结果可为提升机械臂装配作业的安全性及连续性提供有效的解决方案，未来将其可拓展应用于其他领域的IBVS任务中，如目标跟踪、物体抓取等。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

陈雨，张晋轩.

曲线拟合的机械臂避障轨迹规划及仿真分析

［J］. 组合机床与自动化加工技术， 2021（9）： 162-164.