基于双目视觉的掘进装备定位系统移站自主标定方法

doi:10.3785/j.issn.1006-754X.2025.04.111

工程设计学报

2025, Vol. 32

Issue (1): 1-10 DOI: 10.3785/j.issn.1006-754X.2025.04.111

机械设计理论与方法

基于双目视觉的掘进装备定位系统移站自主标定方法

张旭辉^1,²(

),杨骏豪¹,杨文娟^1,²,张超¹,陈鑫¹,万继成¹,刘彦徽¹,王悦¹

^1.西安科技大学机械工程学院，陕西西安 710054
^2.陕西省矿山机电装备智能检测与控制重点实验室，陕西西安 710054

Automatic calibration method for station transfer in tunneling equipment positioning system based on binocular vision

Xuhui ZHANG^1,²(

),Junhao YANG¹,Wenjuan YANG^1,²,Chao ZHANG¹,Xin CHEN¹,Jicheng WAN¹,Yanhui LIU¹,Yue WANG¹

^1.College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China
^2.Shaanxi Key Laboratory of Intelligent Detection and Control for Mining Electromechanical Equipment, Xi'an 710054, China

全文: PDF(3872 KB) HTML

摘要：

稳定、连续的视觉位姿测量数据对提高煤矿掘进装备的工作效率具有重要意义。目前，基于视觉信息的掘进装备位姿测量方法存在合作标靶移站后标定过程烦琐、无法自动连续测量的问题。针对这一难题，提出了一种基于双目视觉的移站自主标定方法。首先，采用HSV（hue, saturation, value，色调、饱和度、明度）颜色分割和点线特征提取技术，针对合作标靶的红色特征进行处理，以获取合作标靶图像信息。然后，设计移站标定解算模型，利用双目视觉测量方法获取合作标靶的空间参数。最后，根据标定过程中相机与合作标靶的相对位置不变的特点，利用L-M（Levenberg-Marquardt）算法优化合作标靶的空间参数，并将优化结果应用于视觉定位系统，以完成移站标定。实验结果表明：移站标定后掘进装备机身的位置测量误差均在50 mm以内，姿态角测量误差均在0.6°以内。所提出的基于双目视觉的移站自主标定方法满足煤矿掘进装备视觉定位系统的精度要求，可为快速掘进技术的研究提供理论支持。

关键词： 视觉测量; 自主标定; 合作标靶; 特征提取; 解算模型

Abstract:

Stable and continuous visual posture measurement data is of great significance for improving the work efficiency of coal-mine tunneling equipment. Currently, posture measurement methods for tunneling equipment based on visual information face issues such as cumbersome calibration process of cooperative target during station transfer and inability to perform automatic continuous measurements. Aiming at this problem, an automatic calibration method for station transfer based on binocular vision is proposed. Firstly, the HSV (hue, saturation, value) color segmentation and point-line feature extraction technology were employed to process the red features of the cooperative target, so as to obtain the image information of the cooperative target. Then, a calibration solution model for station transfer was designed, and the binocular vision measurement method was used to obtain the spatial parameters of the cooperative target. Finally, based on the characteristic that the relative position between the camera and the cooperative target was unchanged during the calibration process, the L-M (Levenberg-Marquardt) algorithm was used to optimize the spatial parameters of the cooperative target, and the optimization results were applied to the visual positioning system to complete the calibration for station transfer. The experimental results showed that the position measurement error of the tunneling equipment body after the calibration for station transfer was within 50 mm, and the attitude angle measurement error was within 0.6°. The proposed automatic calibration method for station transfer based on binocular vision meets the accuracy requirements of the visual positioning system for coal-mine tunneling equipment, which can provide theoretical support for the research of rapid tunneling technology.

Key words: visual measurement automatic calibration cooperation target feature extraction solution model

收稿日期: 2024-02-19 出版日期: 2025-03-04

CLC:

TD 421

基金资助: 国家自然科学基金青年项目(52174150);陕煤联合基金项目(2021JLM-03)

作者简介: 张旭辉（1972—），男，教授，博士生导师，博士，从事煤矿机电设备智能检测与控制研究，E-mail: zhangxh@xust.edu.cn，https://orcid.org/0000-0002-5216-1362

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	张旭辉
	杨骏豪
	杨文娟
	张超
	陈鑫
	万继成
	刘彦徽
	王悦

引用本文:

张旭辉,杨骏豪,杨文娟,张超,陈鑫,万继成,刘彦徽,王悦. 基于双目视觉的掘进装备定位系统移站自主标定方法[J]. 工程设计学报, 2025, 32(1): 1-10.

Xuhui ZHANG,Junhao YANG,Wenjuan YANG,Chao ZHANG,Xin CHEN,Jicheng WAN,Yanhui LIU,Yue WANG. Automatic calibration method for station transfer in tunneling equipment positioning system based on binocular vision[J]. Chinese Journal of Engineering Design, 2025, 32(1): 1-10.

链接本文:

https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2025.04.111 或 https://www.zjujournals.com/gcsjxb/CN/Y2025/V32/I1/1

图1 掘进装备视觉定位系统移站过程示意

图2 掘进装备视觉定位系统移站自主标定原理

图3 掘进装备视觉定位系统移站自主标定流程

图4 合作标靶图像点线特征提取流程

图5 合作标靶图像预处理流程

图6 激光光斑中心提取结果

图7 激光束中心直线提取结果

图8 激光光斑和激光束投影示意图

图9 激光束中心直线空间方向向量解算模型

图10 L-M算法流程

图11 掘进装备视觉定位系统移站自主标定实验平台

图12 移站自主标定实验结果

表1 掘进装备机身位姿的部分测量数据

图13 掘进装备机身位姿测量误差

1	王国法，杜毅博，陈晓晶，等. 从煤矿机械化到自动化和智能化的发展与创新实践：纪念《工矿自动化》创刊50周年［J］. 工矿自动化， 2023， 49（6）： 1-18. WANG G F， DU Y B， CHEN X J， et al. Development and innovative practice from coal mine mechanization to automation and intelligence： commemorating the 50th anniversary of the founding of Journal of Mine Automation ［J］. Journal of Mine Automation， 2023， 49（6）： 1-18.
2	杜雨馨，张贺，王树臣，等. 综掘系统视觉处理技术研究现状及发展趋势［J］. 工矿自动化， 2023， 49（11）： 22-38， 75. DU Y X， ZHANG H， WANG S C， et al. Research status and development trend of visual processing technology for fully mechanized excavation systems［J］. Journal of Mine Automation， 2023， 49（11）： 22-38， 75.
3	田臣，覃杰，王强，等. 煤矿智能掘进装备发展现状与关键技术探讨［J］. 中国煤炭， 2023， 49（7）： 102-108. TIAN C， QIN J， WANG Q， et al. Discussion on the development status and key technologies of intelligent excavation equipment in coal mines［J］. China Coal， 2023， 49（7）： 102-108.
4	田伟琴，田原，贾曲，等. 悬臂式掘进机导航技术研究现状及发展趋势［J］. 煤炭科学技术， 2022， 50（3）： 267-274. TIAN W Q， TIAN Y， JIA Q， et al. Research status and development trend of cantilever roadheader navigation technology［J］. Coal Science and Technology， 2022， 50（3）： 267-274.
5	胡兴涛，朱涛，苏继敏，等. 煤矿巷道智能化掘进感知关键技术［J］. 煤炭学报， 2021， 46（7）： 2123-2135. doi：10.13225/j.cnki.jccs.JJ21.0583 HU X T， ZHU T， SU J M， et al. Key technology of intelligent drivage perception in coal mine roadway［J］. Journal of China Coal Society， 2021， 46（7）： 2123-2135. doi: 10.13225/j.cnki.jccs.JJ21.0583
6	张旭辉，沈奇峰，杨文娟，等. 基于三激光点标靶的掘进机机身视觉定位技术研究［J］. 电子测量与仪器学报， 2022， 36（6）： 178-186. ZHANG X H， SHEN Q F， YANG W J， et al. Research on visual positioning technology of roadheader body based on three laser point target［J］. Journal of Electronic Measurement and Instrumentation， 2022， 36（6）： 178-186.
7	杨文娟，张旭辉，马宏伟，等. 悬臂式掘进机机身及截割头位姿视觉测量系统研究［J］. 煤炭科学技术， 2019， 47（6）： 50-57. YANG W J， ZHANG X H， MA H W， et al. Research on position and posture measurement system of body and cutting head for boom-type roadheader based on machine vision［J］. Coal Science and Technology， 2019， 47（6）： 50-57.
8	杨文娟，张旭辉，张超，等. 基于三激光束标靶的煤矿井下长距离视觉定位方法［J］. 煤炭学报， 2022， 47（2）： 986-1001. YANG W J， ZHANG X H， ZHANG C， et al. Long distance vision localization method based on triple laser beams target in coal mine［J］. Journal of China Coal Society， 2022， 47（2）： 986-1001.
9	杨健健，张强，吴淼，等. 巷道智能化掘进的自主感知及调控技术研究进展［J］. 煤炭学报， 2020， 45（6）： 2045-2055. YANG J J， ZHANG Q， WU M， et al. Research progress of autonomous perception and control technology for intelligent heading［J］. Journal of China Coal Society， 2020， 45（6）： 2045-2055.
10	张旭辉，张楷鑫，张超，等. 悬臂式掘进机视觉位姿检测系统外参标定方法［J］. 机械科学与技术， 2022， 41（12）： 1928-1935. ZHANG X H， ZHANG K X， ZHANG C， et al. Calibrating external parameters of visual position detection system of cantilever roadheader［J］. Mechanical Science and Technology for Aerospace Engineering， 2022， 41（12）： 1928-1935.
11	ZOU X J， ZOU H X， LU J. Virtual manipulator-based binocular stereo vision positioning system and errors modelling［J］. Machine Vision and Applications， 2012， 23（1）： 43-63.
12	MA W P， LI W X， CAO P X. Binocular vision object positioning method for robots based on coarse-fine stereo matching［J］. International Journal of Automation and Computing， 2020， 17（4）： 562-571.
13	LU K， WANG X Y， WANG Z， et al. Binocular stereo vision based on OpenCV［C］//IET International Conference on Smart and Sustainable City. Shanghai， Jul. 6-8， 2011.
14	LAI X B， WANG H S， XU Y H. A real-time range finding system with binocular stereo vision［J］. International Journal of Advanced Robotic Systems， 2012， 9（1）： 26.
15	刘勇. 基于机器视觉的掘进机截割头姿态检测系统［J］. 煤矿机械， 2020， 41（3）： 187-189. LIU Y. Attitude detection system of cutting head of roadheader based on machine vision［J］. Coal Mine Machinery， 2020， 41（3）： 187-189.
16	张杜娟. 基于肤色模型与颜色空间的目标识别算法［J］. 国外电子测量技术， 2019， 38（10）： 54-58. ZHANG D J. Target recognition algorithm based on skin color model and color space［J］. Foreign Electronic Measurement Technology， 2019， 38（10）： 54-58.
17	王宁，宋慧慧，张开华. 基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法［J］. 计算机应用， 2021， 41（4）： 1100-1105. doi：10.11772/j.issn.1001-9081.2020060869 WANG N， SONG H H， ZHANG K H. Accurate object tracking algorithm based on distance weighting overlap prediction and ellipse fitting optimization［J］. Journal of Computer Applications， 2021， 41（4）： 1100-1105. doi: 10.11772/j.issn.1001-9081.2020060869
18	刘爱胤，熊根良，姚健康，等. 基于霍夫圆检测的标志物多图像特征定位方法［J］. 计算机仿真， 2021， 38（3）： 341-345. LIU A Y， XIONG G L， YAO J K， et al. Marker localization method on multiple image features based on Hough circle detection［J］. Computer Simulation， 2021， 38（3）： 341-345.
19	王学敏，于洪波，张翔宇，等. 基于Hough变换检测前跟踪的水下多目标被动检测方法［J］. 兵工学报， 2023， 44（7）： 2114-2121. WANG X M， YU H B， ZHANG X Y， et al. Underwater multi-target detection method based on Hough transform track-before-detect technique［J］. Acta Armamentarii， 2023， 44（7）： 2114-2121.
20	马颂德，张正友. 计算机视觉：计算理论与算法基础［M］. 北京：科学出版社， 1998： 52-73. MA S D， ZHANG Z Y. Computer vision： fundamentals of computational theory and algorithms［M］. Beijing： Science Press， 1998： 52-73.
21	周爱国，于江洋，蒲家坤，等. 基于加权Levenberg-Marquardt的多目视觉同名物点定位算法［J］. 激光与光电子学进展， 2021， 58（24）： 351-359. doi：10.3788/lop202158.2415006 ZHOU A G， YU J Y， PU J K， et al. Positioning algorithm of homonymous object points in multi-vision system based on weighted Levenberg-Marquardt［J］. Laser & Optoelectronics Progress， 2021， 58（24）： 351-359. doi: 10.3788/lop202158.2415006
22	孔瑞金，胡祥云，蔡红柱. 基于Gramian约束与高斯-牛顿算法的重磁三维联合反演［J］. 地球物理学报， 2023， 66（8）： 3493-3513. KONG R J， HU X Y， CAI H Z. Three-dimensional joint inversion of gravity and magnetic data using Gramian constraints and Gauss-Newton method［J］. Chinese Journal of Geophysics， 2023， 66（8）： 3493-3513.

[1]	纪晓东,程天宇,华亮,张新松. 基于声信号识别的水下焊接质量检测方法研究[J]. 工程设计学报, 2023, 30(5): 562-570.
[2]	李梦,尹宗军. 一种零件综合质量评定方法研究[J]. 工程设计学报, 2022, 29(4): 410-418.
[3]	陈一帆,吴倩,蒋凌,华亮. 基于声信号识别的焊后残余应力处理质量检测方法[J]. 工程设计学报, 2022, 29(3): 272-278.
[4]	王春香, 李乐, 王建国. 基于提取特征的挖掘机斗齿的几何反求和模型重建[J]. 工程设计学报, 2010, 17(3): 211-214.

Viewed

Full text

Abstract

Cited

Shared

Discussed