基于模糊迭代Q-学习的冶金工业机器人轨迹跟踪控制研究

doi:10.3785/j.issn.1006-754X.2022.00.073

基于模糊迭代Q-学习的冶金工业机器人轨迹跟踪控制研究

张卉^,^,¹^,², 朱永飞¹, 刘雪飞¹, 徐向荣^,^,¹

1.安徽工业大学机械工程学院，安徽马鞍山 243032

2.安徽工业大学冶金工程学院，安徽马鞍山 243032

Research on trajectory tracking control of metallurgical industrial robot based on fuzzy iterative Q-learning

ZHANG Hui^,^,¹^,², ZHU Yong-fei¹, LIU Xue-fei¹, XU Xiang-rong^,^,¹

1.School of Mechanical Engineering, Anhui University of Technology, Ma’anshan, 243032, China

2.School of Metallurgical Engineering, Anhui University of Technology, Ma’anshan, 243032, China

通讯作者: 徐向荣（1962—），男，安徽无为人，教授，博士，从事仿生力学、机器人轨迹规划与控制和生物力学等研究，E-mail：xuxr@ahut.edu.cn，https：//orcid.org/0000-0001-6055-6797徐向荣（1962—），男，安徽无为人，教授，博士，从事仿生力学、机器人轨迹规划与控制和生物力学等研究，E-mail：xuxr@ahut.edu.cn，https：//orcid.org/0000-0001-6055-6797

收稿日期: 2022-02-14 修回日期: 2022-04-18

基金资助:

国家重点研发计划资助项目. 2017YFE0113200

Received: 2022-02-14 Revised: 2022-04-18

作者简介 About authors

张卉（1982—），女，安徽合肥人，讲师，博士生，从事机器人轨迹规划与控制研究，E-mail：3181@ahut.edu.cn，https：//orcid.org/0000-0002-5936-6571 , E-mail：3181@ahut.edu.cn

摘要

冶金工业机器人在现代工业生产中扮演着越来越不可替代的角色。由于工业自动化程度的大幅提升，人们对冶金工业机器人的性能也不断地提出新要求，尤其是对其控制系统的稳定性提出了更高的要求。针对目前冶金工业机器人轨迹跟踪精度较低且不具有自适应动态调节特性等问题，提出了一种模糊迭代Q-学习控制算法。以6-DOF（six degree-of-freedom，六自由度）双臂机器人为研究对象，利用Fuzzy工具箱编写模糊控制规则，以机器人产生的位置误差以及位置误差的变化率为模糊控制器的输入量，并引入Q-学习策略，以调整模糊控制器中的量化因子、比例因子以及迭代学习控制中的PD（proportional derivative，比例微分）参数，完成模糊迭代Q-学习控制器的设计。然后，联合ADAMS（automatic dynamic analysis of mechanical systems，机械系统动力学自动分析）和MATLAB软件搭建6-DOF双臂机器人仿真平台，开展高精度轨迹跟踪的轴孔装配任务模拟。仿真结果表明，6-DOF双臂机器人关节空间的轨迹跟踪精度较高，同时可以完成双臂轴孔协调装配任务，验证了所提出控制算法的有效性和先进性。研究结果可为双臂协作机器人实现高精度轨迹跟踪的轴孔装配提供参考，具有一定的实际应用价值。

关键词： 双臂机器人 ; 模糊控制 ; 迭代Q-学习控制 ; 轨迹跟踪 ; 轴孔装配

Abstract

Metallurgical industrial robots play an increasingly irreplaceable role in modern industrial production. Due to the great improvement of industrial automation, people constantly put forward new requirements for the performance of metallurgical industrial robots, especially for the stability of them control system. In view of the problems of low trajectory tracking accuracy and lack of adaptive dynamic adjustment characteristics of metallurgical industrial robots, a fuzzy iterative Q-learning control algorithm was proposed. Taking 6-DOF (six-degree-of-freedom) dual-arm robot as the research object, the fuzzy control rules were compiled by using the Fuzzy toolbox and the position error and its change rate generated by the robot were taken as the input of the fuzzy controller, and then the quantization factor and scale factor in the fuzzy controller and the PD (proportional derivative) parameter in the iterative learning control was adjusted by introducing the Q-learning strategy, so as to complete the design of fuzzy iterative Q-learning controller. Then, combined with ADAMS (automatic dynamic analysis of mechanical systems) and MATLAB software, a 6-DOF dual-arm robot simulation platform was built to carry out the simulation of shaft hole assembly task with high-precision trajectory tracking. The simulation results showed that the 6-DOF dual-arm robot had high trajectory tracking accuracy in joint space, and could complete the coordinated assembly task of dual arm shaft holes, which verified the effectiveness and advancement of the proposed control algorithm. The research results can provide reference for the shaft hole assembly of dual-arm cooperative robot with high-precision trajectory tracking, and have certain practical application value.

Keywords： dual-arm robot ; fuzzy control ; iterative Q-learning control ; trajectory tracking ; shaft hole assembly

PDF (3357KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张卉, 朱永飞, 刘雪飞, 徐向荣. 基于模糊迭代Q-学习的冶金工业机器人轨迹跟踪控制研究. 工程设计学报[J], 2022, 29(5): 564-571 doi:10.3785/j.issn.1006-754X.2022.00.073

ZHANG Hui, ZHU Yong-fei, LIU Xue-fei, XU Xiang-rong. Research on trajectory tracking control of metallurgical industrial robot based on fuzzy iterative Q-learning. Chinese Journal of Engineering Design[J], 2022, 29(5): 564-571 doi:10.3785/j.issn.1006-754X.2022.00.073

在现代工业中，冶金工业机器人扮演着十分重要的角色。其中，双臂机器人具有良好的协调互助操作优势，弥补了单臂机器人负载较低、可操作性较差以及无法形成闭合机构等缺陷，其目前已成为冶金工业机器人领域的研究热点之一^［1-3］。控制技术会影响双臂机器人的系统性能，要提高其位置控制精度，就必须保证控制系统的稳定性。因此，采用稳定的控制方法实现高精度的运动控制具有非常重要的意义^［4-5］。

传统的控制方法主要有基于精确数学模型的PID（proportional integral derivative，比例积分微分）控制。但是，多自由度双臂机器人是一种多输入、多输出且具有强耦合作用的复杂系统，具有非线性、时变不确定等特点^［6-7］，难以建立精确的数学模型。为实现双臂机器人高精度的轨迹跟踪控制效果，朱永飞等^［8］基于ADAMS（automatic dynamic analysis of mechanical systems，机械系统动力学自动分析）和MATLAB软件对6-DOF（six degree-of-freedom，六自由度）双臂机器人进行了联合仿真，采用B样条曲线插值方法完成了其轨迹规划任务，但该研究仅从运动轨迹规划方面展开，缺乏对机械臂控制器的设计和搭建。刘雪飞等^［9］实现了机械臂末端执行器在避障条件下的高精度位置跟踪，解决了非结构环境下机械臂的安全运动轨迹规划问题。然而，上述学者仅从运动学角度对双臂机器人的轨迹跟踪进行了研究，为进一步提高机器人轨迹跟踪的控制精度，不少学者从控制算法角度出发展开相关研究。对于数学模型不精确的复杂系统，在其控制策略中引入模糊控制^［10-11］，即利用模糊控制对动力学模型中未知部分和扰动部分的非线性逼近特性，取得了良好的控制效果。例如：李德昀等^［12］将自适应模糊控制策略应用于双臂机器人的协同搬运作业，实现了平稳的力矩输出控制及精准的接触力控制，具有较强的鲁棒性和自适应性。另外，现阶段的机器人大多是按设定好的程序进行大量重复性操作，比如搬运物体、激光切割和定点抓取等，在外界环境干扰和本体磨损等因素的影响下，机器人的重复性操作准确性势必会下降^［13-15］。而迭代学习控制方法^［16-17］非常适用于做重复性操作任务的机器人控制系统，且该控制方法所需的控制对象数学模型可以是不准确的，其是一种易于实现、鲁棒性强、轨迹跟踪效果较好的智能控制方法。

鉴于机器人的动力学模型受各种复杂外界干扰的影响，为了更好地补偿其动力学模型中未知部分和外界扰动所产生的影响，以及提高其轨迹跟踪精度，笔者提出了一种基于模糊迭代Q-学习的控制算法，即将模糊迭代控制方法与Q-学习方法相结合。其中：模糊控制的万向逼近特性可对动力学模型中的未知惯性参数进行估计，而模糊控制的调节因子可由Q-学习控制器得到。最后，将所提出的控制算法应用于6-DOF双臂机器人，并联合ADAMS和MATLAB软件开展机器人轴孔装配仿真实验。

1 模糊Q-学习控制器

1.1　模糊控制器介绍

模糊控制器包括模糊化、知识库（含数据库和规则库）、模糊推理和清晰化等4个部分^［18-19］，其结构框图如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 模糊控制器结构框图

Fig.1 Structure block diagram of fuzzy controller

在整个模糊控制系统中，模糊控制器是最核心的部分，其最主要的任务是通过编写模糊规则和近似推理来得到最终的输出结果。这一过程本质上就是对模糊集合进行数学计算的过程，起始输入量x到最后输出量u在模糊控制器中会经历先从清晰到模糊，再从模糊到清晰的双向变化过程，以便得到更加符合实际需要的控制效果。

1.2　模糊Q-学习控制器结构设计

在大多数情况下，经过模糊处理的输出结果 U 可表示为：

U = β e + (1 - β) \dot{e} ? ? ??? (0 < β < 1)

(1)

式中： $e$ 、 $\dot{e}$ 分别表示控制系统的误差和误差变化率； $β$ 表示模糊控制的调节因子，当系统误差较大时，可提高模糊规则中的误差权重，以有效地控制误差范围，当系统误差较小时，系统正趋向稳定状态，可提高模糊规则中误差变化率的权重。

Q-学习算法是一种新颖的无模型强化学习方法，可以和模糊控制方法相结合，用于获取模糊控制中的调节因子 $β$ 。将误差 e 作为Q-学习算法输入的状态空间集合，根据 e 的变化来调整调节因子 $β$ 的大小，实现对模糊规则的进一步优化。

模糊Q-学习控制器的结构如图2所示。图中： $y_{d}$ 表示输入值， $y$ 表示输出值， K_Ｐ、 K_Ｄ分别表示误差和误差变化率的增益矩阵， $K_{U}$ 为比例因子。由于模糊控制器受到2个输入变量的影响，图2所示为二维模糊控制器，其是目前模糊控制系统中应用最多的一类模糊控制器。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 模糊Q-学习控制器结构

Fig.2 Structure of fuzzy Q-learning controller

在本文所设计的模糊Q-学习控制器中，奖励函数R取：

R = (e^{*} {- e)}^{2}

(2)

式中： $e^{*}$ 表示 e 的目标值，在本文中取0。

式（2）所示的奖励函数满足：当 e 偏离0越大时，得到的奖励越小；当 e 偏离0越小时，得到的奖励越大。

2 模糊迭代Q-学习控制器设计

2.1　迭代学习控制基本原理

通常情况下，机械臂的轨迹跟踪误差 $e_{k} (t)$ 可以表示为：

e_{k} (t) = y_{d} (t) - y_{k} (t)

(3)

式中： $k$ 表示迭代次数。

为实现机械臂的高精度轨迹跟踪，引入闭环迭代学习控制算法，使得误差 $e_{k} (t)$ 不断减小。

u_{k + 1} (t) = L (u_{k} (t), ?? e_{k + 1} (t))

(4)

式中： $L$ 表示非线性算子； $u_{k} (t)$ 、 $u_{k + 1} (t)$ 表示第 $k$ 、k+1次迭代的输入变量。

则PD迭代学习控制律可表示为：

u_{k + 1} (t) = u_{k} (t) + K_{P} e_{k + 1} (t) + K_{D} {\dot{e}}_{k + 1} (t)

(5)

在整个控制系统的运行过程中，增益矩阵 $K_{P} 和 K_{D}$ 保持不变，即不能根据系统状态的变化自适应地调整矩阵中各元素的值，故需要通过对控制律中的增益矩阵进行实时调整来获取最优参数。采用模糊控制器和迭代学习相结合的方式，完成对PD控制参数的调整选取，以改善整个控制系统的动态性能。

2.2　模糊迭代Q-学习控制器结构设计

基于上述原理，设计模糊迭代Q-学习控制器，其结构如图3所示。将基于迭代学习控制产生的误差 $e_{k}$ 以及误差变化率 ${\dot{e}}_{k}$ 作为模糊控制器的输入变量，经模糊化、近似推理和清晰化处理后输出的变量是修正后的PD补偿参数 $Δ K_{P}$ 和 $Δ K_{D}$ ，将其与经验PD控制参数相加后得到最终的最优 $K_{P}$ 和 $K_{D}$ ，从而实现机械臂关节角度的跟踪误差最小化。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 模糊迭代Q-学习控制器结构

Fig.3 Structure of fuzzy iterative Q-learning controller

根据图3，模糊迭代Q-学习控制器可表示为：

\{\begin{array}{l} K_{P} = Δ K_{P} + K_{P I} \\ K_{D} = Δ K_{D} + K_{D I} \end{array}

式中： $K_{P I} 、 K_{D I}$ 表示经验PD控制参数。

2.3　模糊迭代Q-学习控制器收敛性验证

针对具有n个关节的机械臂，其动力学模型可表示为^［20］：

M (q) \ddot{q} + C (q, ? \dot{q}) \dot{q} + G (q) + F (\dot{q}) + τ_{d} = τ

(6)

式中： $M (q)$ 表示惯性矩阵； $C (q, \dot{q})$ 表示离心力和哥氏力矩阵； $G (q)$ 表示重力矩阵； $F (\dot{q})$ 表示摩擦力矩； $τ_{d}$ 表示外部扰动力矩； $τ$ 表示控制力矩； $q 、 \dot{q} 、 \ddot{q}$ 分别表示关节角度、角速度和角加速度。

令 $x_{1} = q$ ， $x_{2} = \dot{q}$ ， $u = τ$ ，则机械臂的动力学模型可改为：

\{\begin{array}{l} {\dot{x}}_{1} = x_{2} \\ {\dot{x}}_{2} = M^{- 1} (x_{1}) (u - C (x_{1}, ? x_{2}) x_{2} - G (x_{1})) \end{array}

(7)

再令 $X = {[x_{1} ?? x_{2}]}^{T}$ ， $y = X$ ，式（7）可以转化为：

\{\begin{array}{l} \dot{X} = [\begin{array}{l} x_{2} \\ - M^{- 1} (x_{1}) (u - C (x_{1}, ? x_{2}) x_{2} + G (x_{1})) \end{array}] + [\begin{array}{l} 0 \\ M^{- 1} (x_{1}) \end{array}] u \\ y = X \end{array}

(8)

式（8）可改写为非线性形式：

\{\begin{array}{l} \dot{x} (t) = A (t) x (t) + B (t) u (t) \\ y (t) = C (t) x \end{array}

(9)

式中： $A 、 B 、 C$ 表示常值矩阵。

式（5）和式（9）满足以下2个条件：

条件1： $‖I - C (t) B (t) Γ (t)‖ \leq \overset{ˉ}{ρ} < 1$ （ I 为单位矩阵， $Γ (t)$ 为学习增益矩阵， $\overset{ˉ}{ρ}$ 为常数）。

条件2：迭代初始条件保持一致，即 $x_{k} (0) = x_{0}$ ， $k = 1,2, 3, ?$ ， $y_{0} (0) = y_{d} (0)$ ，当 $k \to \infty$ 时，可得 $y_{k} (t) \to$ $y_{d} (t)$ ， $? t \in [0, T]$ 。

根据式（5）和式（9），可得：

y_{k + 1} (0) = C x_{k + 1} (0) = C x_{k} (0) = y_{k} (0) ??????

（10）

则可得 $e_{k} (0) = 0 (k = 1,2, 3, ?)$ ，满足初始条件。

方程 $\dot{x} (t) = A (t) x (t) + B (t) u (t)$ 的解可表示为：

x (t) = C e x p (A (t)) + \int_{0}^{t} e x p (A (t - τ)) B (τ) u (τ) d τ

(11)

令 $Φ (t, τ) = e x p (A (t - τ))$ ，则可得：

x_{k} (t) - x_{k + 1} (t) = \int_{0}^{t} Φ (t, ? τ) B (τ) (u_{k} (τ) - u_{k + 1} (τ)) d τ

(12)

由此可得，机械臂控制系统的误差可表示为：

\{\begin{array}{l} e_{k} (t) = y_{d} (t) - y_{k} (t) \\ e_{k + 1} (t) = y_{d} (t) - y_{k + 1} (t) \end{array}

(13)

则可得：

\begin{array}{l} e_{k} (t) - e_{k + 1} (t) = y_{k} (t) - y_{k + 1} (t) = \\ ??????????????????????????????????? C (t) (x_{k} (t) - x_{k + 1} (t)) = \\ ?????????????????????????????????? \int_{0}^{t} C (t) Φ (t, ? τ) B (τ) \\ ?????????????????????????????????? (u_{k} (τ) - u_{k + 1} (τ)) d τ \end{array}

(14)

结合式（5）和式（14），可得到第 $k + 1$ 次迭代时的误差，为：

\begin{array}{l} e_{k + 1} (t) ? = e_{k} (t) - \int_{0}^{t} C (t) Φ (t, ? τ) B (τ) \\ ??????????????????? (u_{k} (τ) - u_{k + 1} (τ)) d τ = \\ ??????????????????? e_{k} (t) - \int_{0}^{t} C (t) Φ (t, ? τ) B (τ) \\ ??????????????????? (K_{P} (τ) e_{k} (τ) + K_{D} (τ) {\dot{e}}_{k} (τ)) d τ \end{array}

(15)

根据分部积分的方式，令 $G (t, τ) = C (t) B (τ) K_{D} (τ)$ ，则有：

\begin{array}{l} \int_{0}^{t} C (t) B (τ) K_{D} (τ) {\dot{e}}_{k} (τ) d τ = G (t, ? τ) {\dot{e}}_{k} (τ) |_{0}^{t} - \\ ???????? \int_{0}^{t} \frac{?}{? τ} ? ? G (t, ? τ) e_{k} (τ) d τ \end{array}

(16)

将式（16）代入式（15），可得：

\begin{array}{l} e_{k + 1} (t) = (I - C (t) B (t) K_{D} (t)) e_{k} (t) + \\ ???????????????????? \int_{0}^{t} \frac{?}{? τ} ? ? G (t, ? τ) e_{k} (τ) d τ - \\ ???????????????????? \int_{0}^{t} C (t) Φ (t, ? τ) B (τ) K_{D} (τ) e_{k} (τ) d τ \end{array}

(17)

对式（17）两边同时取最小二范数，可得：

\begin{array}{l} ‖e_{k + 1} (t)‖ \leq ‖I - C (t) B (t) K_{D} (t)‖ ‖e_{k} (t)‖ + \\ ???????????????????????? \int_{0}^{t} b_{1} ‖e_{k} (τ)‖ d τ \end{array}

(18)

其中：

b_{1} = m a x \{\underset{t, τ \in [0, T]}{s u p} ‖\frac{?}{? τ} G (t, τ)‖, ???????? \underset{t, τ \in [0, T]}{s u p} ‖C (t) Φ (t, τ) B (τ) K_{P} (τ)‖\}

式（18）两边同时乘 $e x p (- λ t)$ ， $λ > 0$ ，结合 $\int_{0}^{t} e x p (λ t) ? ? d τ = \frac{e x p (λ t) - 1}{λ}$ ，则有：

\begin{array}{l} e x p (- λ t) \int_{0}^{t} b_{1} ‖e_{k} (τ)‖ d τ = \\ ???????? e x p (- λ t) \int_{0}^{t} b_{1} ‖e_{k} (τ)‖ e x p (- λ t) e x p (λ t) d τ \leq \\ ???????? b_{1} e x p (- λ t) {‖e_{k} (τ)‖}_{λ} \frac{e x p (λ t) - 1}{λ} \leq \\ ???????? b_{1} \frac{(1 - e x p (- λ T))}{λ} {‖e_{k} (τ)‖}_{λ} ???? \end{array}

(19)

根据最小二范数有关性质，可得：

\begin{array}{l} e x p (- λ t) \int_{0}^{t} \int_{0}^{τ} b_{2} ‖e_{k} (σ)‖ d σ d τ \leq \\ ???????? b_{2} {(\frac{1 - e x p (- λ T)}{λ})}^{2} {‖e_{k} (τ)‖}_{λ} \end{array}

(20)

式中： $b_{2} = \underset{t, τ \in [0, T]}{s u p} ‖C (t) Φ (t, τ) B (τ) K_{D} (τ)‖$ 。

因此，可得：

{‖e_{k + 1}‖}_{λ} \leq \overset{?}{ρ} {‖e_{k}‖}_{λ}

(21)

式中： $\overset{?}{ρ} = \overset{ˉ}{ρ} + b_{1} \frac{1 - e x p (- λ T)}{λ} + b_{2} {(\frac{1 - e x p (- λ T)}{λ})}^{2}$ ，由于 $\overset{ˉ}{ρ} < 1$ ，当 $λ$ 足够大时， $\overset{?}{ρ} < 1$ 。因此 $\underset{k \to \infty}{l i m} {‖e_{k}‖}_{λ} = 0$ ，选择合适的 $λ$ 可使整个控制系统呈渐进收敛。

3 双臂机器人的联合仿真实验

3.1　基于ADAMS和MATLAB的联合仿真平台搭建

为了验证本文所提出的模糊迭代Q-学习控制算法的有效性与优越性，在ADAMS和MATLAB软件中进行联合仿真实验。以6-DOF双臂机器人为研究对象，先在SolidWorks软件中绘制其三维模型。该机器人的左右机械臂各有6个自由度，且左右机械臂构型对称。采用改进的D-H法建立连杆坐标系（以左机械臂为例），从基座到末端执行器的关节分别定义为1~6，具体参数如表1所示。其中：θ_i 、α_i_-1、d_i 、a_i_-1分别表示关节转角、连杆扭角、连杆偏距和连杆杆长。

表1 左机械臂的D-H参数

Table 1 D-H parameters of left mechanical arm

关节i	θ_i /rad	α_i_-1/rad	d_i /mm
1	θ₁	0	0
2	θ₂	-π/2	d₂
3	θ₃	π/2	0
4	θ₄	-π/2	d₄
5	θ₅	π/2	0
6	θ₆	-π/2	d₆

新窗口打开| 下载CSV

然后，将构建好的6-DOF双臂机器人三维模型文件另保存为Parasolid格式，然后导入ADAMS软件以构建其仿真模型，如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 6-DOF双臂机器人仿真模型

Fig.4 Simulation model of 6-DOF dual-arm robot

在ADAMS软件中对6-DOF双臂机器人仿真模型进行设置，并通过信息选项获取机器人每个零部件的质心坐标及惯性参数。以左机械臂为例，其各个关节的动力学参数如表2所示。

表2 左机械臂的动力学参数

Table 2 Dynamic parameters of left mechanical arm

关节	质量/kg	质心坐标/10^-3m	转动惯量/(kg·m²)
关节	质量/kg	质心坐标/10^-3m	I_xx	I_yy	I_zz
1	59.3	(0.496, -10.5, -61.44)	7.00	5.60	1.910
2	4.18	(0.496, 527, 233)	0.046	0.041	0.030
3	3.29	(0.496, 700, 233)	0.039	0.033	0.025
4	7.67	(0.496, 920, 233)	0.065	0.063	0.035
5	3.29	(0.496, 1 140 233)	0.039	0.033	0.025
6	7.67	(0.496, 1 340, 233)	0.065	0.063	0.035

新窗口打开| 下载CSV

接着，点击ADAMS软件中的单元建立状态变量，对6-DOF双臂机器人左右机械臂的状态变量进行设置，依次为各关节的角度、角速度以及力矩。

最后，利用ADAMS软件中的controls插件对机械臂控制系统的输入、输出进行设置：输入变量为力矩，输出变量为角度和角速度；目标软件设为MATLAB；ADAMS solver选项为非线性，求解器设为FORTRAN。

图5所示为机械臂控制子系统模块，需要对ADAMS_sub中的ADAMS Plant模块进行Simulink和ADAMS同步仿真参数设置，如图6所示，并在Interprocess option选项中选择PIPE（DDE），在Animation mode中选择interactive。完成设定后，可在运行Simulink时使ADAMS同步仿真。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 机械臂控制子系统模块

Fig.5 Mechanical arm control subsystem module

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 机械臂控制子系统模块输入和输出变量设置

Fig.6 Input and output variable setting of mechanical arm control subsystem module

3.2　双臂机器人轨迹跟踪控制仿真实验

设置6-DOF双臂机器人轨迹跟踪控制仿真总时长为3 s，迭代次数为20。以左机械臂为例，设期望轨迹为正弦曲线，其6个关节的轨迹跟踪结果如图7所示。由图可以看到，各个关节的实际轨迹跟踪效果较好，跟踪精度较高，验证了所提出模糊迭代Q-学习控制算法的有效性和优越性。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 左机械臂各关节的轨迹跟踪结果

Fig.7 Trajectory tracking results of each joint of left mechanical arm

3.3　双臂机器人轴孔装配仿真实验

在控制6-DOF双臂机器人进行轴孔装配之前，假定其左右机械臂的末端执行器已经分别夹持了轴和孔，故只需考虑双臂末端的轴孔装配路径。鉴于在轴孔装配实验中左右机械臂作对称运动，仅分析单机械臂的关节运动即可。图8所示为6-DOF双臂机器人的轴孔装配过程。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 6-DOF双臂机器人的轴孔装配过程

Fig.8 Shaft hole assembly process of 6-DOF dual-arm robot

由图8可知，6-DOF双臂机器人的轴孔装配成功，验证了所提出控制算法的正确性。利用MATLAB软件的仿真数据以及与ADAMS软件联合仿真得到的数据，对左机械臂各关节的角度和角速度等进行分析，结果如图9所示。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 轴孔装配过程中左机械臂各关节的动力学特性

Fig.9 Dynamic characteristics of each joint of left mechanical arm during shaft hole assembly

观察图9（a）和图9（c）可知，左机械臂各关节的角度变化平缓且无突然波动的情况，关节角度的最大误差约为0.004 rad，关节角速度的最大误差约为0.001 5 rad/s。此外，由于轴孔装配过程分为2个阶段，2个阶段之间稍有停顿，故在t=8 s附近，关节角度和角速度出现了短暂为零的情况。图9（e）所示的左机械臂输入力矩变化曲线整体较为平滑，未出现力矩抖振现象，说明该机械臂的整体运动效果较好，进一步验证了所提出的模糊迭代Q-学习控制算法的有效性和稳定性。

4 结论

1）针对冶金工业机器人控制不稳定、轨迹跟踪精度较低和自适应性较差的问题，提出了一种模糊迭代Q-学习控制算法。

2）联合ADAMS和MATLAB软件搭建6-DOF双臂机器人仿真模型，并以正弦曲线作为期望轨迹进行轨迹跟踪仿真分析。结果表明，该机器人各关节的轨迹跟踪效果较好，实现了关节空间内的低误差轨迹跟踪。

3）6-DOF双臂机器人的轴孔装配仿真结果表明，各关节角度的误差不超过0.004 rad，角速度误差不超过0.001 5 rad/s，且各关节的角度变化曲线和输入力矩变化曲线平稳光滑，无剧烈抖振和突变现象，验证了所提出模糊迭代Q-学习控制算法在冶金工业机器人轨迹跟踪控制中的有效性和优越性。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

ZHANG

Zhi-jun

， LI

Zhi-jun

， ZHANG

Yu-nong

， et al.

Neural-dynamic-method-based dual-arm CMG scheme with time-varying constraints applied to humanoid robots

［J］. IEEE Transactions on Neural Networks and Learning Systems， 2015， 26（12）： 3251-3262. doi：10.1109/TNNLS. 2015.2469147

[本文引用: 1]

[2]

段晋军，甘亚辉，戴先中.

双臂协调搬运过程中基于变阻抗模型的位置/力混合控制

［J］.机器人，2019，41（6）： 795-802，812. doi：10.13973/j.cnki.robot.180705

DUAN

Jin-jun

， GAN

Ya-hui

， DAI

Xian-zhong

The hybrid position/force control based on variable impedance model in the dual-arm coordinated transport

［J］. Robot， 2019， 41（6）： 795-802， 812.

DOI:10.13973/j.cnki.robot.180705

[3]

张建华，许晓林，刘璇，等.

双臂协调机器人相对动力学建模

［J］.机械工程学报，2019，55（3）：34-42. doi：10.3901/jme.2019.03.034

[本文引用: 1]

ZHANG

Jian-hua

， XU

Xiao-lin

， LIU

Xuan

， et al.

Relative dynamic modeling of dual-arm coordination robot

［J］. Journal of Mechanical Engineering， 2019， 55（3）： 34-42.

DOI:10.3901/jme.2019.03.034 [本文引用: 1]

[4]

龙樟，李显涛，帅涛，等.

工业机器人轨迹规划研究现状综述

［J］.机械科学与技术，2021，40（6）：853-862. doi：10.13433/j.cnki.1003-8728.20200132

[本文引用: 1]

LONG

Zhang

， LI

Xian-tao

， SHUAI

Tao

， et al.

Review of research state of trajectory planning for industrial robots

［J］. Mechanical Science and Technology for Aerospace Engineering， 2021， 40（6）： 853-862.

DOI:10.13433/j.cnki.1003-8728.20200132 [本文引用: 1]

[5]

王昕煜，平雪良.

基于多传感器融合信息的移动机器人速度控制方法

［J］.工程设计学报，2021，28（1）：63-71. doi：10.3785/j.issn.1006-754X.2021.00.013

[本文引用: 1]

WANG

Xin-yu

， PING

Xue-liang

Speed control method of mobile robot based on multi-sensor fusion information

［J］. Chinese Journal of Engineering Design， 2021， 28（1）： 63-71.

DOI:10.3785/j.issn.1006-754X.2021.00.013 [本文引用: 1]

[6]

ALESSANDRO

D L

， BRUNO

， LOREDANA

PD control with on-line gravity compensation for robots with elastic joints： theory and experiments

［J］. Automatica， 2005， 41（10）： 1809-1819. doi：10.1016/j.automatica.2005.05.009

[本文引用: 1]

[7]

FLORIAN

， DOMINIC

， WERNER

， et al.

Dynamic trajectory generation for serial elastic actuated robots

［J］. IFAC Proceedings Volumes， 2012， 45（22）： 636-643. doi：10.3182/20120905-3-HR-2030.00159

[本文引用: 1]

[8]

朱永飞，查文斌，周攀，等.

6-DOF双臂机器人轨迹规划与动力学仿真

［J］.机械研究与应用，2020，33（1）：187-191. doi：10.16576/j.cnki.1007-4414.2020.01.055

[本文引用: 1]

ZHU

Yong-fei

， ZHA

Wen-bin

， ZHOU

Pan

， et al.

Trajectory planning and dynamics simulation of a 6-DOF dual-arm robot

［J］. Mechanical Research & Application， 2020， 33（1）： 187-191.

DOI:10.16576/j.cnki.1007-4414.2020.01.055 [本文引用: 1]

[9]

刘雪飞，徐向荣，查文斌，等.

一种零空间避障的机械臂末端轨迹跟踪算法

［J］.机械科学与技术，2021，40（7）： 1009-1015. doi：10.13433/j.cnki.1003-8728.20200457

[本文引用: 1]

LIU

Xue-fei

， XU

Xiang-rong

， ZHA

Wen-bin

， et al.

A trajectory tracking algorithm of null space obstacle avoidance for end-effector of manipulators

［J］. Mechanical Science and Technology for Aerospace Engineering， 2021， 40（7）： 1009-1015.

DOI:10.13433/j.cnki.1003-8728.20200457 [本文引用: 1]

[10]

ZHONG

Yu-guang

， YANG

Fan

Dynamic modeling and adaptive fuzzy sliding mode control for multi-link underwater manipulators

［J］. Ocean Engineering， 2019， 187（9）： 1-11. doi：10.1016/j.oceaneng.2019.106202

[本文引用: 1]

[11]

Ji-chang

， LIN

Cheng-wei

Polynomial fuzzy observed-state feedback stabilization via homogeneous Lyapunov methods

［J］. IEEE Transactions Fuzzy Systems， 2018， 26（5）： 2873-2885. doi：10.1109/TFUZZ.2017.2786211

[本文引用: 1]

[12]

李德昀，徐德刚，桂卫华.

基于时间延时估计和自适应模糊滑模控制器的双机械臂协同阻抗控制

［J］.控制与决策， 2021，36（6）：1311-1323. doi：10.13195/j.kzyjc.2019.1701

[本文引用: 1]

De-yun

， XU

De-gang

， GUI

Wei-hua

Coordinated impedance control for dual-arm robots based on time delay estimation and adaptive fuzzy sliding mode controller

［J］. Control and Decision， 2021， 36（6）： 1311-1323.

DOI:10.13195/j.kzyjc.2019.1701 [本文引用: 1]

[13]

CHEN

Yu-jen

， JU

Ming-yu

， HWANG

Kao-Shing

A virtual torque-based approach to kinematic control of redundant manipulators

［J］. IEEE Transactions on Industrial Electronics， 2017， 64（2）： 1728-1736. doi：10.1109/TIE.2016.2548439

[本文引用: 1]

[14]

ZHA

Wen-bin

， XU

Xiang-rong

， CHEN

Zhao-xing

， et al.

Manipulator tracking algorithm based on estimated dynamics and time-varying output constraint state

［C］// 2021 6th IEEE International Conference on Advanced Robotics and Mechatronics（ICARM）， Chongqing， Jul. 3-5， 2021. doi：10.1109/ICARM52023.2021.9536170

[15]

段书用，李昌洛，韩旭，等.

机械臂动力学分析及关节非线性摩擦模型建立

［J］.机械工程学报，2020，56（9）：18-28. doi：10.3901/JME.2020.09.018

[本文引用: 1]

DUAN

Shu-yong

， LI

Chang-luo

， HAN

， et al.

Forward-inverse dynamics analysis of robot arm trajectories and development of a nonlinear friction model for robot joints

［J］. Journal of Mechanical Engineering， 2020， 56（9）： 18-28.

DOI:10.3901/JME.2020.09.018 [本文引用: 1]

[16]

李仁俊，韩正之.

迭代学习控制综述

［J］.控制与决策，2005，20（9）：961-966. doi：10.13195/j.cd.2005.09.3.lirj.001

[本文引用: 1]

Ren-jun

， HAN

Zheng-zhi

Survey of iterative learning control

［J］. Control and Decision， 2005， 20（9）： 961-966.

DOI:10.13195/j.cd.2005.09.3.lirj.001 [本文引用: 1]

[17]

ANDREA

M Z

， ANDREA

， LUIGI

， et al.

Prediction of human activity patterns for human-robot collaborative assembly tasks

［J］. IEEE Transactions on Industrial Informatics， 2019， 15（7）： 3934-3942. doi：10.1109/TII. 2018.2882741

[本文引用: 1]

[18]

CHEN

Bing

， LIU

Xiao-ping

， LIU

Ke-fu

， et al.

Direct adaptive fuzzy control of nonlinear strict-feedback systems

［J］. Automatica， 2009， 45（6）： 1530-1535. doi：10.1016/j.automatica.2009.02.025

[本文引用: 1]

[19]

PRECUP

R E

， HELLENDOORN

A survey on industrial applications of fuzzy control

［J］. Computers in Industry， 2011， 62（3）： 213-226. doi：10.1016/j.automatica.2009.02.025

[本文引用: 1]

[20]

REN

， CHEN

Zheng-sheng

， LIU

Ye-chao

， et al.

Adaptive hybrid position/force control of dual-arm cooperative manipulators with uncertain dynamics and closed-chain kinematics

［J］. Journal of the Franklin Institute， 2017， 354（17）： 7767-7793. doi：10.1016/j.jfranklin.2017.09.015

[本文引用: 1]

Neural-dynamic-method-based dual-arm CMG scheme with time-varying constraints applied to humanoid robots

2015

... 在现代工业中，冶金工业机器人扮演着十分重要的角色.其中，双臂机器人具有良好的协调互助操作优势，弥补了单臂机器人负载较低、可操作性较差以及无法形成闭合机构等缺陷，其目前已成为冶金工业机器人领域的研究热点之一^［1-3］.控制技术会影响双臂机器人的系统性能，要提高其位置控制精度，就必须保证控制系统的稳定性.因此，采用稳定的控制方法实现高精度的运动控制具有非常重要的意义^［4-5］. ...

双臂协调搬运过程中基于变阻抗模型的位置/力混合控制

2019

双臂协调搬运过程中基于变阻抗模型的位置/力混合控制

2019

双臂协调机器人相对动力学建模

2019

双臂协调机器人相对动力学建模

2019

工业机器人轨迹规划研究现状综述

2021

工业机器人轨迹规划研究现状综述

2021

基于多传感器融合信息的移动机器人速度控制方法

2021

基于多传感器融合信息的移动机器人速度控制方法

2021

PD control with on-line gravity compensation for robots with elastic joints： theory and experiments

2005

... 传统的控制方法主要有基于精确数学模型的PID（proportional integral derivative，比例积分微分）控制.但是，多自由度双臂机器人是一种多输入、多输出且具有强耦合作用的复杂系统，具有非线性、时变不确定等特点^［6-7］，难以建立精确的数学模型.为实现双臂机器人高精度的轨迹跟踪控制效果，朱永飞等^［8］基于ADAMS（automatic dynamic analysis of mechanical systems，机械系统动力学自动分析）和MATLAB软件对6-DOF（six degree-of-freedom，六自由度）双臂机器人进行了联合仿真，采用B样条曲线插值方法完成了其轨迹规划任务，但该研究仅从运动轨迹规划方面展开，缺乏对机械臂控制器的设计和搭建.刘雪飞等^［9］实现了机械臂末端执行器在避障条件下的高精度位置跟踪，解决了非结构环境下机械臂的安全运动轨迹规划问题.然而，上述学者仅从运动学角度对双臂机器人的轨迹跟踪进行了研究，为进一步提高机器人轨迹跟踪的控制精度，不少学者从控制算法角度出发展开相关研究.对于数学模型不精确的复杂系统，在其控制策略中引入模糊控制^［10-11］，即利用模糊控制对动力学模型中未知部分和扰动部分的非线性逼近特性，取得了良好的控制效果.例如：李德昀等^［12］将自适应模糊控制策略应用于双臂机器人的协同搬运作业，实现了平稳的力矩输出控制及精准的接触力控制，具有较强的鲁棒性和自适应性.另外，现阶段的机器人大多是按设定好的程序进行大量重复性操作，比如搬运物体、激光切割和定点抓取等，在外界环境干扰和本体磨损等因素的影响下，机器人的重复性操作准确性势必会下降^［13-15］.而迭代学习控制方法^［16-17］非常适用于做重复性操作任务的机器人控制系统，且该控制方法所需的控制对象数学模型可以是不准确的，其是一种易于实现、鲁棒性强、轨迹跟踪效果较好的智能控制方法. ...

Dynamic trajectory generation for serial elastic actuated robots

2012

6-DOF双臂机器人轨迹规划与动力学仿真

2020

6-DOF双臂机器人轨迹规划与动力学仿真

2020

一种零空间避障的机械臂末端轨迹跟踪算法

2021

一种零空间避障的机械臂末端轨迹跟踪算法

2021

Dynamic modeling and adaptive fuzzy sliding mode control for multi-link underwater manipulators

2019

Polynomial fuzzy observed-state feedback stabilization via homogeneous Lyapunov methods

2018

基于时间延时估计和自适应模糊滑模控制器的双机械臂协同阻抗控制

2021

基于时间延时估计和自适应模糊滑模控制器的双机械臂协同阻抗控制

2021

A virtual torque-based approach to kinematic control of redundant manipulators

2017

Manipulator tracking algorithm based on estimated dynamics and time-varying output constraint state

2021

机械臂动力学分析及关节非线性摩擦模型建立

2020

机械臂动力学分析及关节非线性摩擦模型建立

2020

迭代学习控制综述

2005

迭代学习控制综述

2005

Prediction of human activity patterns for human-robot collaborative assembly tasks

2019

Direct adaptive fuzzy control of nonlinear strict-feedback systems

2009

... 模糊控制器包括模糊化、知识库（含数据库和规则库）、模糊推理和清晰化等4个部分^［18-19］，其结构框图如图1所示. ...

A survey on industrial applications of fuzzy control

2011

... 模糊控制器包括模糊化、知识库（含数据库和规则库）、模糊推理和清晰化等4个部分^［18-19］，其结构框图如图1所示. ...

Adaptive hybrid position/force control of dual-arm cooperative manipulators with uncertain dynamics and closed-chain kinematics

2017

... 针对具有n个关节的机械臂，其动力学模型可表示为^［20］： ...

〈

〉