基于双目视觉的掘进装备定位系统移站自主标定方法

doi:10.3785/j.issn.1006-754X.2025.04.111

基于双目视觉的掘进装备定位系统移站自主标定方法

张旭辉^,^,¹^,², 杨骏豪¹, 杨文娟¹^,², 张超¹, 陈鑫¹, 万继成¹, 刘彦徽¹, 王悦¹

1.西安科技大学机械工程学院，陕西西安 710054

2.陕西省矿山机电装备智能检测与控制重点实验室，陕西西安 710054

Automatic calibration method for station transfer in tunneling equipment positioning system based on binocular vision

ZHANG Xuhui^,^,¹^,², YANG Junhao¹, YANG Wenjuan¹^,², ZHANG Chao¹, CHEN Xin¹, WAN Jicheng¹, LIU Yanhui¹, WANG Yue¹

1.College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China

2.Shaanxi Key Laboratory of Intelligent Detection and Control for Mining Electromechanical Equipment, Xi'an 710054, China

收稿日期: 2024-02-19 修回日期: 2024-04-18

基金资助:

国家自然科学基金青年项目. 52174150. 52104166
陕煤联合基金项目. 2021JLM-03

Received: 2024-02-19 Revised: 2024-04-18

作者简介 About authors

张旭辉（1972—），男，教授，博士生导师，博士，从事煤矿机电设备智能检测与控制研究，E-mail:zhangxh@xust.edu.cn，https://orcid.org/0000-0002-5216-1362 , E-mail：zhangxh@xust.edu.cn

摘要

稳定、连续的视觉位姿测量数据对提高煤矿掘进装备的工作效率具有重要意义。目前，基于视觉信息的掘进装备位姿测量方法存在合作标靶移站后标定过程烦琐、无法自动连续测量的问题。针对这一难题，提出了一种基于双目视觉的移站自主标定方法。首先，采用HSV（hue, saturation, value，色调、饱和度、明度）颜色分割和点线特征提取技术，针对合作标靶的红色特征进行处理，以获取合作标靶图像信息。然后，设计移站标定解算模型，利用双目视觉测量方法获取合作标靶的空间参数。最后，根据标定过程中相机与合作标靶的相对位置不变的特点，利用L-M（Levenberg-Marquardt）算法优化合作标靶的空间参数，并将优化结果应用于视觉定位系统，以完成移站标定。实验结果表明：移站标定后掘进装备机身的位置测量误差均在50 mm以内，姿态角测量误差均在0.6°以内。所提出的基于双目视觉的移站自主标定方法满足煤矿掘进装备视觉定位系统的精度要求，可为快速掘进技术的研究提供理论支持。

关键词： 视觉测量 ; 自主标定 ; 合作标靶 ; 特征提取 ; 解算模型

Abstract

Stable and continuous visual posture measurement data is of great significance for improving the work efficiency of coal-mine tunneling equipment. Currently, posture measurement methods for tunneling equipment based on visual information face issues such as cumbersome calibration process of cooperative target during station transfer and inability to perform automatic continuous measurements. Aiming at this problem, an automatic calibration method for station transfer based on binocular vision is proposed. Firstly, the HSV (hue, saturation, value) color segmentation and point-line feature extraction technology were employed to process the red features of the cooperative target, so as to obtain the image information of the cooperative target. Then, a calibration solution model for station transfer was designed, and the binocular vision measurement method was used to obtain the spatial parameters of the cooperative target. Finally, based on the characteristic that the relative position between the camera and the cooperative target was unchanged during the calibration process, the L-M (Levenberg-Marquardt) algorithm was used to optimize the spatial parameters of the cooperative target, and the optimization results were applied to the visual positioning system to complete the calibration for station transfer. The experimental results showed that the position measurement error of the tunneling equipment body after the calibration for station transfer was within 50 mm, and the attitude angle measurement error was within 0.6°. The proposed automatic calibration method for station transfer based on binocular vision meets the accuracy requirements of the visual positioning system for coal-mine tunneling equipment, which can provide theoretical support for the research of rapid tunneling technology.

Keywords： visual measurement ; automatic calibration ; cooperation target ; feature extraction ; solution model

PDF (3872KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张旭辉, 杨骏豪, 杨文娟, 张超, 陈鑫, 万继成, 刘彦徽, 王悦. 基于双目视觉的掘进装备定位系统移站自主标定方法[J]. 工程设计学报, 2025, 32(1): 1-10 doi:10.3785/j.issn.1006-754X.2025.04.111

ZHANG Xuhui, YANG Junhao, YANG Wenjuan, ZHANG Chao, CHEN Xin, WAN Jicheng, LIU Yanhui, WANG Yue. Automatic calibration method for station transfer in tunneling equipment positioning system based on binocular vision[J]. Chinese Journal of Engineering Design, 2025, 32(1): 1-10 doi:10.3785/j.issn.1006-754X.2025.04.111

本文链接：https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2025.04.111

煤矿智能化对现代工矿领域的发展具有重要意义^[1-2]。煤矿掘进装备作为煤炭开采行业不可或缺的采掘装置^[3]，其机身的自动定位是实现煤矿井下智能化和少人化的关键，已成为煤炭领域的研究热点之一^[4-5]。现阶段，单目视觉定位技术是煤矿掘进装备机身位姿测量的重要手段之一^[6-8]。

目前，煤矿掘进装备视觉定位技术在煤矿智能定位领域得到了广泛应用。然而，由于现场环境恶劣，单目视觉定位系统在实际应用中存在合作标靶移站后标定过程烦琐、无法自动连续测量的问题。因此，研究复杂工况下煤矿掘进装备视觉定位系统的移站自主标定方法，对于提高掘进工作面智能化水平和掘进安全性具有重要意义^[9]。针对单目视觉定位系统的移站自主标定问题，张旭辉等^[10]采用全站仪进行移站标定，该方法受环境因素影响较小且具有较高的测量精度，但需要人工使用全站仪测量合作标靶的参数来进行标定，耗时较长。视觉测量系统利用光学成像原理和位姿解算模型来求解被测目标的相对位置和姿态角，具有结构简单、性价比高等优势。Zou等^[11]针对复杂环境下移动机器人的定位问题，提出了一种基于虚拟机械臂的双目立体视觉定位系统并阐述了其定位原理。Ma等^[12]提出了一种基于粗-精立体匹配的双目视觉定位方法，该方法利用双目视觉模型的相似三角形原理来计算中心点的三维坐标，可通过周围环境或目标物对机器人进行实时位姿测量，具有较高的定位精度。Lu等^[13]提出了一种基于OpenCV的双目立体视觉技术，实现了对物体深度信息的恢复。Lai等^[14]提出了一种基于TMS320DM642 DSP（digital signal processor，数字信号处理器）的双目立体视觉测距系统，该系统采用基于特征的局部立体匹配算法来确定机器人的空间位置，具有较高的测量精度，但由于双目相机的基线较短，系统的有效测量范围受限。

上述研究为掘进装备视觉定位系统的移站自主标定提供了新思路。针对现有单目视觉定位系统合作标靶移站后标定过程烦琐以及无法实现自动连续测量的问题，本文提出了一种基于双目视觉的移站自主标定方法。该方法以双目相机作为数据采集装置，使用图像处理技术提取合作标靶图像中的点线特征，并采用移站标定解算模型来实现巷道坐标系下合作标靶空间参数的计算。

1 掘进装备视觉定位系统及标定原理

1.1　视觉定位系统

掘进装备视觉定位系统^[8]通过在开拓巷道上方安装3个矿用激光指向仪来形成视觉测量的合作标靶。在煤矿井下的复杂环境中，合作标靶的红色特征可作为与周围环境区分的主要特征，这在很大程度上降低了特征提取难度。该视觉定位系统采用机载防爆工业相机采集合作标靶图像，通过颜色分割和点线特征提取技术来获取图像的特征信息，并利用基于三点（perspective three-point, P3P）和三点三线（three-point-three-line, 3P3L）的视觉定位模型来解算掘进装备机身的位姿。

目前，掘进装备视觉定位技术在煤矿井下已得到广泛应用。然而，在掘进装备视觉定位过程中，合作标靶作为基准不动，随着掘进装备向前掘进，相机与合作标靶的距离逐渐增大并超出视觉测量系统的有效范围，加上巷道大幅度起伏的影响，易出现合作标靶图像特征丢失现象。为实现掘进装备的长距离连续定位，需要将合作标靶移站并重新标定标靶的空间参数。现有标定方法需人工利用全站仪进行测量标定，较为耗时。为解决上述问题，本文提出了一种基于双目视觉的掘进装备定位系统移站自主标定方法。视觉定位系统的移站过程如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 掘进装备视觉定位系统移站过程示意

Fig.1 Schematic of station transfer process of visual positioning system for tunneling equipment

1.2　视觉定位系统移站自主标定原理

图1所示掘进装备视觉定位系统的移站自主标定方法利用双目视觉技术测量合作标靶的3个激光光斑和3条激光束的空间参数，并将相机坐标系下合作标靶的空间参数转换至机身坐标系下后代入视觉定位系统，以完成移站自主标定。如图2所示，设相机1坐标系与机身坐标系之间的齐次变换矩阵为 ${}_{M}^{C 1} T$ ，相机2坐标系与机身坐标系之间的齐次变换矩阵为 ${}_{M}^{C 2} T$ ，2个相机坐标系之间的齐次变换矩阵为 ${}_{C 2}^{C 1} T$ 。其中：2台相机的内外参数通过张正友标定法进行标定；机身与相机之间的参数通过全站仪进行标定。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 掘进装备视觉定位系统移站自主标定原理

Fig.2 Automatic calibration principle for station transfer in visual positioning system of tunneling equipment

1.3　视觉定位系统移站自主标定方案

本文掘进装备视觉定位系统的移站自主标定方案如图3所示，主要分为3个部分：机身位姿测量部分、图像处理部分和移站标定模型解算部分。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 掘进装备视觉定位系统移站自主标定流程

Fig.3 Automatic calibration flow for station transfer in visual positioning system of tunneling equipment

首先，利用2台相机采集合作标靶图像，并对采集图像进行双边滤波、颜色空间转换、形态学膨胀和掩膜过滤等预处理，以减少杂光对图像的影响。然后，通过点线特征提取分别得到激光光斑和激光束特征，并分别计算图像坐标系下激光光斑中心的坐标与激光束中心直线的方程。最后，采用移站标定解算模型计算得到激光光斑中心的空间位置和激光束中心直线的空间方向向量，并基于L-M（Levenberg-Marquardt）算法得到合作标靶空间参数的最优解。为了验证视觉定位系统移站自主标定方法的性能，将基于该方法得到的合作标靶空间参数代入视觉定位系统，获得掘进装备机身的位姿，并以使用全站仪和惯性导航系统的测量值作为对照组真实值进行比较。基于双目视觉的移站自主标定方法采用双目视觉技术直接获取合作标靶的空间参数，避免了人工标定，有效地提高了掘进装备机身位姿的测量精度并减少了工作量。

2 合作标靶图像处理方法

在机器视觉测量领域^[15]，特征提取是关键环节。煤矿井下掘进巷道环境中存在杂光、粉尘、振动和水雾等影响因素，且这些因素随着环境的变化会产生较大差异，导致掘进装备视觉定位系统难以有效地提取激光光斑和激光束特征。为适应煤矿井下的复杂环境，实现合作标靶图像中激光光斑和激光束特征的精确提取，本文提出了一种基于颜色分割的点线特征提取方法，包括图像预处理、点特征提取和线特征提取三部分，如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 合作标靶图像点线特征提取流程

Fig.4 Point and line feature extraction process of cooperative target image

2.1　图像预处理

为有效提取合作标靶图像中的激光光斑和激光束特征，本文采用图5所示的预处理策略^[16]：采用双边滤波算法去除图像中的噪声，并保留图像的边缘信息；考虑到RGB（red, green, blue，红色、绿色、蓝色）色彩空间在区分某些颜色方面的局限性，采用颜色空间转换方法将图像从RGB色彩空间转换到HSV（hue, saturation, value，色调、饱和度、明度）色彩空间。在HSV色彩空间中，色调提供了一个直观的方式来区分目标特征色（即红色），通过设置特定的色调阈值范围，形成原始图像的二值化图像，其中红色对应白色像素，其他颜色对应黑色像素。由于在实际应用中，激光束可能存在断裂，因此本文采用形态学膨胀来处理这些断裂的特征，使其更加完整和连续。通过上述图像预处理操作，可为后续的点、线特征提取提供高质量、清晰和一致的图像基础。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 合作标靶图像预处理流程

Fig.5 Preprocessing process of cooperative target image

2.2　激光光斑中心提取

为了提取合作标靶图像中的3个激光光斑特征，采用基于椭圆拟合的提取方法^[17]。在完成图像预处理后，使用轮廓检测算法来定位图像中的红色区域。若检测到的红色区域数量不小于3，则进一步检查边界点的数量是否在设定范围(a, b)内。若在设定范围内，则计算这些区域内3个激光光斑所形成的最小外接矩形的高度和宽度，并根据最小外接矩形的高宽比去除噪音。随后，利用椭圆拟合法对激光光斑区域进行拟合，获取激光光斑中心的坐标。最后，求解各激光光斑中心之间的距离D₁并与给定的范围(e, f )进行比较。若满足条件，则保留该激光光斑，最终保留3个激光光斑。将激光光斑中心的坐标代入掘进装备视觉定位系统的外参标定模型，计算得到其空间位置。激光光斑中心提取结果如图6所示。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 激光光斑中心提取结果

Fig.6 Laser spot center extraction result

2.3　激光束中心直线提取

为了提取合作标靶图像中的激光束中心直线，使用Hough变换方法进行提取^[18-19]。在提取过程中，为了提高激光束中心直线的检测精度，提出了一种基于特征点分析关联直线的方法。该方法的优势在于大大缩小了搜索范围，提高了激光束中心直线提取的准确性和效率。

首先，基于点特征提取结果确定合作标靶图像中可能存在线特征的区域，并采用Hough变换方法检测潜在的激光束中心直线。当检测到的激光束中心直线数量达到或超过3条时，进一步对这些激光束中心直线与已知的激光光斑进行分析。为了确保所检测到的激光束中心直线与激光光斑具有实际关联性，计算激光束中心直线与激光光斑中心之间的距离D₂，只有当D₂满足给定范围（0, g）时，才认为所检测的激光束中心直线有效，最终保留3条激光束。激光束中心直线提取结果如图7所示。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 激光束中心直线提取结果

Fig.7 Laser beam center line extraction result

3 移站标定解算模型

本文基于P3P和3P3L视觉定位方法提出了移站自主标定方法，主要包括标定和定位两部分。在标定过程中，已知相机位置，解算合作标靶位置；在定位过程中，已知合作标靶位置，解算相机位置。借助2台相机所采集的合作标靶图像，构建基于双目立体几何的空间投影模型^[20]。图8所示为合作标靶上激光光斑与激光束的投影示意。图8中：L_i (i=1, 2, 3)为3条朝巷道掘进方向的激光束中心直线，P_i (i=1, 2, 3)为3个激光光斑中心；O_H-X_HY_HZ_H为巷道坐标系，O_C-X_CY_CZ_C为相机坐标系；激光束中心直线L_i 在相机C₁采集图像上的投影为l₁_i，在相机C₂采集图像上的投影为l₂_i。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 激光光斑和激光束投影示意图

Fig.8 Schematic diagram of laser spot and laser beam projection

3.1　激光光斑中心空间位置解算模型

如图8所示，在相机坐标系下，给定激光光斑中心P_i (i =1, 2, 3)在相机C₁采集图像上的投影点为 $p_{i}^{1}$ ，在相机C₂采集图像上的投影点为 $p_{i}^{2}$ 。已知任意空间点在相机C₁和相机C₂坐标系下的Z坐标分别为 $Z_{c 1}$ 和 $Z_{c 2}$ ；激光光斑中心在相机C₁采集图像上的投影点 $p_{i}^{1}$ 的坐标为 $(u_{1 i}, v_{1 i}, 1)$ ，在相机C₂采集图像上的投影点 $p_{i}^{2}$ 的坐标为 $(u_{2 i}, v_{2 i}, 1)$ ；相机C₁和C₂的投影矩阵分别为 $M_{1}$ 和 $M_{2}$ 。基于此，求解激光光斑中心P_i 在相机坐标系下的齐次坐标 $(X_{i}, Y_{i}, Z_{i}, 1)$ ，计算式如下：

Z_{c 1} [\begin{matrix} u_{1 i} \\ v_{1 i} \\ 1 \end{matrix}] = M_{1} [\begin{matrix} X_{i} \\ Y_{i} \\ Z_{i} \\ 1 \end{matrix}]

(1)

Z_{c 2} [\begin{matrix} u_{2 i} \\ v_{2 i} \\ 1 \end{matrix}] = M_{2} [\begin{matrix} X_{i} \\ Y_{i} \\ Z_{i} \\ 1 \end{matrix}]

(2)

其中：

M_{1} = [\begin{matrix} m_{11, 1} & m_{12, 1} & m_{13, 1} & m_{14, 1} \\ m_{21, 1} & m_{22, 1} & m_{23, 1} & m_{24, 1} \\ m_{31, 1} & m_{32, 1} & m_{33, 1} & m_{34, 1} \end{matrix}]

M_{2} = [\begin{matrix} m_{11, 2} & m_{12, 2} & m_{13, 2} & m_{14, 2} \\ m_{21, 2} & m_{22, 2} & m_{23, 2} & m_{24, 2} \\ m_{31, 2} & m_{32, 2} & m_{33, 2} & m_{34, 2} \end{matrix}]

式中： $m_{k j, 1}$ 、 $m_{k j, 2}$ 分别为基于相机C₁和C₂的内外参数计算得到的投影矩阵参数，可直接通过相机参数标定获得。

分别展开式(1)与式(2)并消去 $Z_{c 1}$ 、 $Z_{c 2}$ ，可得：

\begin{array}{l} (u_{1 i} m_{31, 1} - m_{11, 1}) X_{i} + (u_{1 i} m_{32, 1} - m_{12, 1}) Y_{i} + \\ (u_{1 i} m_{33, 1} - m_{13, 1}) Z_{i} = m_{14, 1} - u_{1 i} m_{34, 1} \end{array}

(3)

\begin{array}{l} (v_{1 i} m_{31, 1} - m_{21, 1}) X_{i} + (v_{1 i} m_{32, 1} - m_{22, 1}) Y_{i} + \\ (v_{1 i} m_{33, 1} - m_{23, 1}) Z_{i} = m_{24, 1} - v_{1 i} m_{34, 1} \end{array}

(4)

\begin{array}{l} (u_{2 i} m_{31, 2} - m_{11, 2}) X_{i} + (u_{2 i} m_{32, 2} - m_{12, 2}) Y_{i} + \\ (u_{2 i} m_{33, 2} - m_{13, 2}) Z_{i} = m_{14, 2} - u_{2 i} m_{34, 2} \end{array}

(5)

\begin{array}{l} (v_{2 i} m_{31, 2} - m_{21, 2}) X_{i} + (v_{2 i} m_{32, 2} - m_{22, 2}) Y_{i} + \\ (v_{2 i} m_{33, 2} - m_{23, 2}) Z_{i} = m_{24, 2} - v_{2 i} m_{34, 2} \end{array}

(6)

联立式(3)至式(6)并转换为矩阵形式，可得：

\begin{array}{l} [\begin{matrix} u_{1 i} m_{31, 1} - m_{11, 1} & u_{1 i} m_{32, 1} - m_{12, 1} & u_{1 i} m_{33, 1} - m_{13, 1} \\ v_{1 i} m_{31, 1} - m_{21, 1} & v_{1 i} m_{32, 1} - m_{22, 1} & v_{1 i} m_{33, 1} - m_{23, 1} \\ u_{2 i} m_{31, 2} - m_{11, 2} & u_{2 i} m_{32, 2} - m_{12, 2} & u_{2 i} m_{33, 2} - m_{13, 2} \\ v_{2 i} m_{31, 2} - m_{21, 2} & v_{2 i} m_{32, 2} - m_{22, 2} & v_{2 i} m_{33, 2} - m_{23, 2} \end{matrix}] [\begin{matrix} X_{i} \\ Y_{i} \\ Z_{i} \end{matrix}] = \\ [\begin{matrix} m_{14, 1} - u_{1 i} m_{34, 1} \\ m_{24, 1} - v_{1 i} m_{34, 1} \\ m_{14, 2} - u_{2 i} m_{34, 2} \\ m_{24, 2} - v_{2 i} m_{34, 2} \end{matrix}] \end{array}

(7)

利用式(7)可求得3个激光光斑中心在相机坐标系下的齐次坐标 $P_{i} = (X_{i}, Y_{i}, Z_{i}, 1)$ 。

2个相机坐标系与巷道坐标系的转换可通过旋转、平移或两者组合来实现。已知机身坐标系与相机坐标系之间的齐次变换矩阵为 ${}_{M}^{C} T$ ，机身坐标系与巷道坐标系之间的齐次变换矩阵为 ${}_{H}^{M} T$ ，则可得相机坐标系与巷道坐标系之间的转换矩阵 ${}_{H}^{C} T$ ：

{}_{H}^{C} T = {}_{H}^{M}T {}_{M}^{C}T

(8)

利用式(8)将相机坐标系中的激光光斑中心坐标转换到巷道坐标系中，可得：

P_{i}^{H} = {}_{H}^{C}T P_{i}

(9)

式中： $P_{i}^{H}$ 为激光光斑中心的空间位置。

通过上述方法可得到对应激光光斑中心的空间位置，为实现合作标靶上激光光斑的标定提供了依据。

3.2　激光束中心直线空间方向向量解算模型

3条激光束为非平行激光束。因3条激光束中心直线方程的解算过程一致，本文以其中1条激光束为例进行解算推导。如图9所示，激光束中心直线L在2个相机所采集图像上的投影直线分别记为l₁、l₂。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 激光束中心直线空间方向向量解算模型

Fig.9 Solution model of space direction vector of laser beam center line

已知2台相机的投影矩阵为 M₁与 M₂，可得投影直线 $l_{1}$ 与 $l_{2}$ 在图像坐标系下的方程：

\{\begin{matrix} l_{1}^{T} u_{1} = 0 \\ l_{2}^{T} u_{2} = 0 \end{matrix}

(10)

式中： u₁、 u₂分别为投影直线l₁、l₂上任意点的齐次坐标； l₁、 l₂分别为投影直线的方向向量， $l_{1} = {(l_{11, 1}, l_{11, 2}, l_{11, 3})}^{T}$ ， $l_{2} = {(l_{21, 1}, l_{21, 2}, l_{21, 3})}^{T}$ 。

分别在式(1)和式(2)两边左乘 $l_{1}^{T}$ 并进行相关坐标转换，可得：

\{\begin{matrix} l_{1}^{T} Z_{c 1} u_{1} = l_{1}^{T} M_{1} x \\ l_{2}^{T} Z_{c 2} u_{2} = l_{2}^{T} M_{2} x \end{matrix}

(11)

式中： $x$ 为直线L上的点在巷道坐标系下的空间位置。

式(11)对于激光束中心直线上的任意点均成立，但若激光光斑中心 $P$ 位于 $S_{1}$ 平面上，则其在相机C₁采集图像上的投影点必然在直线 $l_{1}$ 上，由此可知 $l_{1}^{T} Z_{c 1} u_{1} = 0$ ，同理可知 $l_{2}^{T} Z_{c 2} u_{2} = 0$ ，则可得：

\{\begin{matrix} l_{1}^{T} M_{1} x = 0 \\ l_{2}^{T} M_{2} x = 0 \end{matrix}

(12)

根据式(12)，可分别推导得到3条激光束中心直线的空间方程：

\{\begin{matrix} l_{1 i}^{T} M_{1} x = 0 \\ l_{2 i}^{T} M_{2} x = 0 \end{matrix}

(13)

利用式(13)可计算得到激光束中心直线在相机坐标系下的方向向量 $L_{i}^{C} = (a_{c i}, b_{c i}, c_{c i})$ ，通过式(8)将相机坐标系下激光束中心直线的方向向量转换到巷道坐标系中，可得：

L_{i}^{H} = {}_{H}^{C}T L_{i}^{C}

(14)

式中： $L_{i}^{H}$ 为激光束中心直线的空间方向向量。

通过上述方法可获得对应的激光束中心直线空间方向向量，为实现合作标靶上激光束的标定提供了依据。

3.3　基于L-M算法的特征最优解计算

在视觉定位系统移站标定过程中，2台相机与合作标靶的位置相对固定及两者均为静止状态，且双目相机提供了丰富的三维信息。但从同一视角拍摄的多张图像常因相机噪声、场景微小变化及计算误差等而导致双目视觉测量结果产生差异。为了提高测量结果的准确性，提出了一种基于L-M算法^[21]的数据融合方法。L-M算法兼具高斯-牛顿迭代法^[22]与梯度下降法的优点。在双目视觉测量过程中，L-M算法可以优化融合多个估计，使其与真实结果的差异最小化。L-M算法流程如图10所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 L-M算法流程

Fig.10 L-M algorithm flow

首先，对于每个独立的位置数据，计算模型预测值与实际观测值之间的残差：

r_{t} = p_{t} - p

(15)

式中： $r_{t} (t = 1, 2, \dots, m)$ 为残差向量， $p_{t}$ 为第t个模型预测值， $p$ 为实际观测值。

为了优化残差，计算相对于迭代模型参数的雅可比矩阵，从而确定模型参数对残差的影响。雅可比矩阵 J 可表示为：

J = [\begin{matrix} \frac{\partial r_{1}}{\partial t_{x}} & \frac{\partial r_{1}}{\partial t_{y}} & \frac{\partial r_{1}}{\partial t_{z}} \\ ⋮ & ⋮ & ⋮ \\ \frac{\partial r_{m}}{\partial t_{x}} & \frac{\partial r_{m}}{\partial t_{y}} & \frac{\partial r_{m}}{\partial t_{z}} \end{matrix}]

(16)

式中：t_x、t_y、t_z 为平移参数。

利用L-M算法的核心更新公式，迭代更新模型参数。其中，阻尼因子λ的作用至关重要，其决定了L-M算法在高斯-牛顿迭代法和梯度下降法之间的平衡。更新公式如下：

(J^{T} J + λ I) Δ p = - J^{T} r

(17)

式中： I 为单位矩阵； $Δ p$ 为位置参数的增量； r 为残差矩阵， $r = {[r_{1} r_{2} \dots r_{m}]}^{T}$ 。

通过调节阻尼因子λ，可实现L-M算法在高斯-牛顿迭代法与梯度下降法之间的灵活切换。利用L-M算法对合作标靶空间参数进行优化，能够有效提高双目视觉测量的稳定性和精度。

4 实验验证

4.1　移站标定实验

为了验证基于双目视觉的掘进装备定位系统移站自主标定方法的精度，搭建相应的实验平台，如图11所示。主要的实验设备包括掘进装备（用移动机器人模拟）、防爆计算机、2台MV-EMV510防爆工业相机、喷烟机、全站仪以及3个YHJ-800激光指向仪。其中，全站仪具有3个功能：一是通过建立巷道坐标系引入全局坐标，二是配合固定安装在机身上的棱镜获取机身实时位置，三是直接测量激光指向仪的位置。以平直路面模拟巷道，利用喷烟机模拟井下粉尘环境；由3个激光指向仪组成的合作标靶与相机的位置相对静止且距离约为3 m；双目相机用于采集合作标靶图像；防爆计算机作为系统处理和显示终端，用于处理相机传输的图像。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 掘进装备视觉定位系统移站自主标定实验平台

Fig.11 Automatic calibration experiment platform for station transfer in visual positioning system of tunneling equipment

为了完成移站自主标定，开展标定实验。具体步骤如下：利用防爆计算机编写相机触发程序，以实时静态触发固定在掘进装备机身上的相机采集合作标靶的图像，设置采集时间间隔为150 ms；随后，在防爆计算机上完成对合作标靶图像的预处理、激光光斑中心和激光束中心直线的提取，并计算得到巷道坐标系下的激光光斑中心坐标与激光束中心直线方向向量。

在进行单次移站标定实验时，先对全站仪进行建站并将其位置作为巷道已知点来建立巷道坐标系，以掘进装备机身的结构中心为原点构建机身坐标系。随后，利用全站仪获取棱镜位置，以得到掘进装备的当前位置并保持不变，改变合作标靶位置，通过标定好的双目相机计算合作标靶的激光光斑中心坐标和激光束中心直线方向向量，并与全站仪直接获取的合作标靶空间参数进行对比，以验证基于双目视觉的移站自主标定方法的精度。为了避免偶然性，采用10个观测点的平均误差来评估移站自主标定结果的精度。

图12所示为移站自主标定实验结果。其中，图12(a)、图12(b)、图12(c)为3个激光光斑中心位置误差的测量结果。由图可得，3个激光光斑中心在X方向上的平均位置误差为2.03，2.38，2.29 mm；在Y方向上的平均位置误差为2.35，2.43，3.37 mm；在Z方向上的平均位置误差为3.96，4.01，3.86 mm。图12(d)所示为3条激光束中心直线方向向量角度误差的测量结果。由图可得，3条激光束中心直线方向向量的平均角度误差分别为0.13°，0.12°，0.14°。结果表明，本文所提出的移站自主标定方法的精度较高。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 移站自主标定实验结果

Fig.12 Calibration experimental results for station transfer

4.2　移站标定方法性能测试

为了进一步验证基于双目视觉的掘进装备定位系统移站自主标定方法的合理性和实用性，在完成单次移站标定实验后，固定合作标靶，将上文标定得到的激光光斑中心坐标和激光束中心直线方向向量代入视觉定位系统，作为掘进装备机身位姿测量基准。为了模拟掘进装备真实的工作状态，控制机器人向前运动30 m，同步采集数据并进行处理。在机器人运动过程中寻找20个观测点，并以全站仪和棱镜获取的机身位置、以惯性导航系统获取的机身姿态角作为真实值进行对比，从而验证本文移站自主标定方法的性能。部分掘进装备机身位姿测量结果如表1所示（表中α、β、γ分别为俯仰角、偏航角和横滚角），机身位姿测量误差如图13所示。

表1 掘进装备机身位姿的部分测量数据

Table 1 Partial posture measurement data of tunneling equipment body

对比项	观测点	机身位姿
对比项	观测点	X/mm	Y/mm	Z/mm	ɑ/(°)	β/(°)	γ/(°)
测量值	1	-493.21	-287.92	2 471.42	-0.32	-5.37	1.32
	2	28.34	-279.65	5 517.28	-0.27	4.28	1.41
	3	343.04	-292.74	8 932.37	-0.51	7.62	1.27
	4	-85.63	-283.37	13 467.57	-0.22	-6.91	1.19
	5	-485.79	-291.13	16 595.42	-0.19	-5.65	1.69
	6	71.33	-289.52	21 734.71	-0.33	3.28	1.52
真实值	1	-503.69	-274.36	2 462.57	-0.05	-5.63	1.60
	2	39.81	-262.13	5 504.83	-0.56	4.53	1.14
	3	329.35	-269.43	8 959.69	-0.10	7.99	1.02
	4	-69.95	-266.74	13 431.22	0.13	-6.53	0.80
	5	-467.52	-309.08	16 566.11	-0.53	-5.19	2.02
	6	51.74	-312.65	21 776.69	0.23	3.79	0.99

新窗口打开| 下载CSV

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 掘进装备机身位姿测量误差

Fig.13 Posture measurement error of tunneling equipment body

由表1和图13可知，在测量距离范围内，掘进装备机身位置和姿态角的测量值与真实值接近；机身位置在X、Y、Z方向上的平均误差分别为19.59，23.13，41.98 mm，俯仰角α、偏航角β、横滚角γ的平均误差分别为0.56°，0.51°，0.53°。实验结果表明，基于双目视觉的移站自主标定方法可满足掘进装备视觉定位系统的精度要求。

5 结论

针对掘进装备单目视觉定位系统合作标靶移站后标定过程烦琐以及无法实现自动连续测量的问题，提出了一种基于双目视觉的移站自主标定方法。该方法通过双目视觉技术直接获取合作标靶的空间参数来实现移站自主标定，有效地提高了视觉定位效率与精度。主要结论如下：

1）基于工业相机采集的合作标靶图像，采用HSV颜色分割与点线特征提取技术有效地提取了图像中的激光光斑中心及激光束中心直线。

2）利用双目视觉技术实现了视觉定位系统移站自主标定。标定实验结果表明，3个激光光斑中心的位置误差在5 mm以内，3条激光束中心直线的角度误差在0.14°以内，说明所提出的标定方法具有较高精度。

3）在视觉定位系统完成移站标定后，在30 m的运动范围内，掘进装备机身的位置误差在50 mm以内，姿态角误差保持在0.6°以内。结果表明，所提出的移站自主标定方法可满足掘进装备视觉定位系统的精度要求。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

王国法，杜毅博，陈晓晶，等.

从煤矿机械化到自动化和智能化的发展与创新实践：纪念《工矿自动化》创刊50周年

［J］. 工矿自动化， 2023， 49（6）： 1-18.