基于锚索状态图像识别的退锚机器人作业可行性判别
1.
2.
3.
Operation feasibility discrimination of anchor withdrawing robot based on anchor cable state image recognition
1.
2.
3.
通讯作者:
收稿日期: 2026-01-20 修回日期: 2026-03-19
| 基金资助: |
|
Received: 2026-01-20 Revised: 2026-03-19
作者简介 About authors
刘治翔(1988—),男,副教授,博士,从事机器人系统设计、矿山智能装备研发等研究,E-mail:lzxcndl@yeah.net,https://orcid.org/0000-0001-6785-3110 。
关键词:
Keywords:
本文引用格式
刘治翔, 庄源, 谢春雪.
LIU Zhixiang, ZHUANG Yuan, XIE Chunxue.
1 常用退锚设备与锚索状态
当前,矿井内常用的退锚设备主要为千斤顶式退锚器,如图1所示。该设备通过加压顶起锚索内部的锚具与顶板,使内部锚具与外套分离,实现退锚。
图1
千斤顶式退锚器结构简单,操作简易,在矿井内被大量使用,但其存在以下缺点:1)设备自重较大。在进行退锚工作时,工作人员需借助梯子等携带几十斤重的退锚器攀爬到矿巷顶部作业,全程需多人配合作业,非常不便。2)在退锚作业中,操作者需攀爬至锁具处安装千斤顶,遇突发状况时缺乏安全撤离的余地。因此,近些年来相关学者一直在研究新型退锚设备。
图2
图3
图4
刘建月等[10]通过在锚垫板与锚环之间添加一个耐压且冲击易碎的陶瓷环,使退锚作业比较便捷。
由于矿压作用、超前支架碰撞等原因,锚索会发生散开和弯曲。锚索状态呈完好、轻微散开、完全散开、轻微弯曲和大幅度弯曲等5种,如图5所示。
图5
目前,锚索状态的判断主要依赖人工经验,这难以满足自动化作业的要求。为实现退锚作业自动化,退锚机器人必须具备对锚索状态的自主识别能力,并据此判别退锚作业的可行性。
本文针对自动化退锚作业的需求,提出了退锚机器人整体方案。采用基于深度学习的目标检测算法对退锚环境中锚索状态进行识别,从而实现退锚作业可行性判别。本文工作可为退锚机器人的研发提供理论支撑与技术参考。
2 锚索状态识别方案
退锚机器人设计方案如图6所示。退锚机器人主要由履带底盘、动力系统、机械臂、可更换式退锚器具和矿用摄像头等组成。首先通过安装在机械臂上的矿用摄像头采集顶板上锚索的图像,然后通过图像检测算法判别锚索状态,最后根据不同的锚索状态选择不同的退锚器具。
图6
针对完好锚索,可使用千斤顶式和破切式退锚器进行退锚作业;针对轻微散开和轻微弯曲的锚索,可使用破切式退锚器;对于完全散开和大幅度弯曲的锚索,由于锚索占用体积较大,现有的千斤顶式或破切式退锚器无法直接对其进行退锚作业,需要开发新型的开口式退锚器,从锁具和锚索的侧面进行破切作业。
锚索状态识别方案如图7所示。本文主要采用2类算法,分成2个步骤进行锚索5种状态的识别。
图7
步骤1:锚索散开状态识别。将完好锚索、轻微弯曲锚索和大幅度弯曲锚索归为一类,这类锚索的端部没有散开。采用基于深度学习的YOLO目标识别算法对锚索端部没有散开、轻微散开和完全散开的图像进行识别和分类。
步骤2:锚索弯曲状态识别。采用PSPnet语义分割模型进行锁具与锚索的分割,并通过传统图像处理算法计算锁具与锚索的相对角度。相对角度为0~10°,判别为完好锚索;相对角度为10°~30°,判别为轻微弯曲;相对角度大于30°,则判别为大幅度弯曲。
3 基于YOLOv8的锚索散开状态识别
图8
图8中:w为网络宽度缩放系数,用于控制各层输出通道的规模;r为特征融合比例因子,主要用于调节Neck层在特征拼接与通道扩展过程中通道组合间的比例,以增强多尺度特征表达能力。图中所示的特征图尺寸为基准结构示意,实际输出的通道数依据模型配置文件自动生成。
实验中为了提高识别模块的训练与识别效率,硬件的选择如下:显卡选用RTX3090Ti(24 GB);处理器选用i9-14900K,搭配128 GB DDR5内存;由1 500 W电源配合UPS电源为实验系统供电。
Ubuntu系统运行稳定性好,可靠性高,因此软件上采用Ubuntu18.06操作系统,同时采用Python3.7.0和 Pytorch1.8.0来搭建深度学习框架,并配置CUDA11.1、CUDNN8.1.0软件以充分发挥硬件性能。
YOLOv8目标检测模型的参数设置如表1所示。
表1 YOLOv8目标检测模型参数设置
Table 1
| 参数 | 数值 | 参数 | 数值 |
|---|---|---|---|
| lr0 | 0.01 | hsv_h | 0.015 |
| lrf | 0.01 | hsv_s | 0.7 |
| 最终学习率 | 0.000 1 | hsv_v | 0.4 |
| 余弦学习率 | False | deterministic | True |
| 优化器 | ADAM | translate | 0.1 |
| 标签平滑参数 | 0 | scale | 0.5 |
| 正则化 | 0 | epochs | 300 |
| Weight_decay | 5×10-4 | imgsz | 640 |
| warmup_epochs | 3 | flipud | 0 |
| warmup_momentum | 0.8 | fliplr | 0.5 |
| warmup_bias_lr | 0.1 | half | True |
| box | 0.05 | conf | 0.5 |
| cls | 0.5 | line_thickness | 8 |
| cls_pw | 1 | iou | 0.7 |
| obj | 1 | max_det | 300 |
| obj_pw | 1 | anchor_t | 4 |
| iou_t | 0.2 | split | val |
通过锚索井下实景拍摄、网络搜集以及实验室模拟,获取完好锚索、轻微散开锚索、完全散开锚索、锁具和托盘的样本图片共935张。利用LabelImg标注软件对以上5种类型图片进行人工标注,并分别命名为Normal_anchor、Slightlydamaged_ anchor、Heavydamaged_anchor、Locktool和Pallet。标注完成后的每一张图片都生成一个对应同名的.txt文件,文件内记录了标注框的类别、尺寸和位置等信息。完成全部标注后将数据集按照8∶2的比例划分为训练集(train)和验证集(val)。考虑到样本规模有限,为保证模型训练样本充足,未单独划分独立测试集,将验证集用于评估模型性能。
YOLOv8模型的训练过程如图9所示。其输出的各类性能曲线包括:边界框定位损失曲线box_loss、分类损失曲线cls_loss、分布式焦点损失曲线dlf_loss,验证集评估指标(metrics)中边界框检测精度曲线precision (B)、召回率曲线recall (B)、交并比阈值为50%的平均精度曲线mAP50 (B)和交并比阈值为50%~95%的平均精度曲线mAP50-95 (B)。
图9
图9中loss值即推测为识别目标的检测损失值,表示模型预测目标时的平均检测误差。其值越低,越接近0,说明模型的泛化能力越强,适应数据变化的能力越好,检测结果越准确。由图可知,训练集和验证集的3种损失曲线都呈迅速下降的趋势,最后保持平稳,表明模型处于收敛状态。
同时,Precision (B)、Recall (B)、mAP50 (B)和mAP50-95 (B)等指标值均随着训练轮次的增加而逐渐提高并趋于稳定。其中,mAP值越大,说明模型检测精度越高,综合检测性能越好。
锚索散开状态识别效果如图10所示。
图10
完好锚索、轻微散开锚索、完全散开锚索、锁具和托盘等5类目标的检测指标值如表2所示。
表2 YOLOv8目标检测指标值
Table 2
| 类别 | 精度 | 召回率 | mAP50 (B) | mAP50-95 (B) |
|---|---|---|---|---|
| 完好锚索 | 0.919 | 0.923 | 0.946 | 0.829 |
| 轻微散开锚索 | 0.991 | 1.000 | 0.995 | 0.924 |
| 完全散开锚索 | 0.988 | 0.970 | 0.976 | 0.971 |
| 锁具 | 0.858 | 0.926 | 0.775 | 0.724 |
| 托盘 | 0.910 | 0.690 | 0.778 | 0.692 |
| 整体 | 0.833 | 0.902 | 0.894 | 0.828 |
测试结果表明,5类目标的mAP50 (B)值达到了0.894,虽然锁具和托盘单个目标的mAP50 (B)值稍低,仅有0.770左右,但是完好锚索、轻微散开锚索和完全散开锚索的mAP50 (B)值均达到了0.900以上,说明检测模型具有较好的锚索散开状态识别能力。
4 基于PSPnet语义分割和图像处理的锚索弯曲状态识别
轻微弯曲的锚索不会影响锚索破切器具对锁具的破切作业,但锚索破切器无法顺利穿过大幅度弯曲的锚索进行破切作业,因此需要开展锚索弯曲状态识别研究。识别的技术路线如图11所示。
图11
图11
锚索弯曲状态识别技术路线
Fig.11
Technical route for recognition of bending states of anchor cable
锚索弯曲状态识别步骤如下所示。
步骤1:使用YOLOv8目标检测模型,检测锁具和锚索目标的位置,然后将目标框定。
步骤2:把目标框内的图像裁剪下来,然后通过PSPnet语义分割模型进行锁具和锚索的分割。
步骤3:将分割后的Mask图(单通道二值图)转化成HSV(hue,saturation,value,色相、饱和度、色明度)色域,然后分别通过红色阈值和绿色阈值把锁具和锚索筛选出来。
步骤4:分别检测锁具和锚索的轮廓,然后通过计算获取轮廓最小外接矩形。
步骤5:分别获取锁具和锚索最小外接矩形长边的中线,计算2条中线的夹角,即得锚索的弯曲角度。
4.1 基于PSPnet语义分割的锁具和锚索分割
语义图像分割是一种将图像分割成具有对应语义类别标签的区域划分方法,现已成为图像理解分析和计算机视觉领域的研究热点。目前,语义分割方法大致可分为传统方法和深度学习方法两类。其中传统方法主要采用条件随机场和马尔可夫随机场等方法进行数学建模。该类方法计算简单,处理速度快,但缺乏有效的先验知识,分割精度较低。目前主流的高性能语义分割算法均基于深度学习方法实现,可取得较好的分割效果。
PSPNet模型的结构如图12所示。其主要包括特征提取子模块Feature Map和金字塔池化子模块Paramid Pooling。
图12
Feature Map模块使用深度残差网络(residual network, ResNet)架构提取图像特征。许多研究表明,语义层次越多,越能更好地挖掘图像的语义特征,更好地对图像进行分类。使用深度ResNet网络不仅可以有效扩展网络深度,而且比ResNet、VGG(visual geometry group,视觉几何组)等网络模型更轻量。因此,PSPNet的第1个子模型采用深度ResNet来提取图像特征。ResNet可以很容易地应用于其他分类任务,因此可以进行迁移学习来提高分割性能并加速收敛,并且可以用预训练后的ResNet模型的权重进行初始化。本文的分割任务也采用了这种方法。
PSPNet使用通用的池化技术——Paramid Pooling模块,将Feature Map模块提取的特征层按照不同的尺度进行组合,实现数据挖掘。
锁具和锚索的分割结果如图13所示。
图13
4.2 锁具和锚索轮廓及相对角度的识别
在OpenCV中进行锁具和锚索的轮廓识别和相对角度计算。使用“hsv=cv2.cvtColor(segimg, cv2.COLOR_BGR2 HSV)”指令,将分割后的Mask图转化成HSV色域;使用“mask_red=cv2.inRange(hsv, lower_red, upper_ red)”指令,通过红色阈值和绿色阈值把两部分筛选出来;使用“contours_red,_=cv2.findContours (mask_red,cv2.RETR_EXTERNAL,cv2.CH AIN_APPROX_SIMPLE)”指令,分别对锁具和锚索的轮廓进行检测;使用“x, y, w, h=cv2.bounding Rect(c_green)”指令,获取轮廓最小外接矩形;利用几何关系获取锁具和锚索最小外接矩形长边的中线,并计算2条中线的夹角。锁具和锚索轮廓及相对角度的识别结果如图14所示。
图14
图14
锁具和锚索轮廓及相对角度识别结果
Fig.14
Recognition results of outline and relative angle between locktool and anchor cable
由图14可知,采用本文提出的锚索弯曲状态识别方法可以实现完好锚索、整体弯曲锚索和部分弯曲锚索弯曲角度的识别。弯曲角度识别精度与摄像机拍摄角度有关,当摄像头与锚索平面垂直时,识别角度的误差小于2°。因此,在实际应用时需要控制机械臂所携带的相机从多角度拍摄锚索图片,以准确识别锚索弯曲角度。
5 结 论
1)本文提出了锚索状态识别步骤:首先使用YOLOv8目标检测算法对锚索散开状态进行判别,然后使用PSPnet语义分割和图像处理方法对锚索弯曲状态进行识别。
2)基于YOLOv8算法的锚索散开状态识别方法对完好锚索、轻微散开锚索、完全散开锚索、锁具和托盘等5类目标的平均检测精度达到了0.894,对完好锚索、轻微散开锚索和完全散开锚索的检测精度均达到了0.900以上,取得了较好的锚索散开状态识别效果。
3)基于PSPne语义分割和图像处理方法的锚索弯曲状态判别方法可实现对完好锚索、整体弯曲锚索和部分弯曲锚索的弯曲角度识别。当摄像头与锚索平面垂直时,识别角度的误差小于2°。
4)通过锚索散开状态和弯曲状态的识别可以判别退锚器具能否完成对锚索的破切作业。当检测到锚索为完全散开状态或大幅度弯曲状态时,需切换为开口式退锚器进行退锚作业;锚索为其他状态时,可对应选用适配的千斤顶式或破切式退锚器。
本文链接:http://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2026.06.126
参考文献
采煤工作面端头三角区岩层弱化技术研究
[J].
Study on strata weakening technology in triangle area at the end of coal mining face
[J].
大采高三角区坚硬顶板治理技术研究
[J].
Study on treatment technology of hard roof in triangle area with large mining height
[J].
矿用水切割机在煤矿退锚中的应用
[J].
Application of mine water cutting machine in coal mine anchoring
[J].
退锚装置在保德煤矿的应用
[J].
Application of anchor withdrawing device in Baode coal mine
[J].
水力切割技术在退锚工序中的应用
[J].
Application of hydraulic cutting technology in anchor withdrawal process
[J].
麻家梁矿锚索破断机理研究及退锚创新应用
[J].
Study on breaking mechanism of anchor cable and innovative application of anchor removal in Majialiang Mine
[J].
综采工作面超前巷道自动化辅助作业技术现状与展望
[J].
Present situation and prospect of automatic auxiliary operation technology used in advanced roadway of fully-mechanized mining face
[J].
锚杆退锚机锈死螺母破切器破切力分析
[J].
Mechanical analysis for nut-breaking cutter of bolt unloader
[J].
矿用液压退锚车剖切机构优化设计
[J].
Optimization design of the cutting mechanism of hydraulic anchor-unloading cars for mines
[J].
Al2O3陶瓷环在锚具退锚中的应用研究
[J].
Research on application of Al2O3 ceramic ring in anchorage system unload
[J].
基于YOLOv8的火灾烟雾检测算法研究
[J].
Research on fire smoke detection algorithms based on YOLOv8
[J].
Reparameterized YOLOv8 pavement disease detection algorithm
[J].
基于改进YOLOv8s的鼓形滚子表面缺陷检测算法
[J].
Drum roller surface defect detection algorithm based on improved YOLOv8s
[J].
You only look once: unified, real-time object detection
[C]//
Pyramid scene parsing network
[C]//
ConvWin-UNet: UNet-like hierarchical vision Transformer combined with convolution for medical image segmentation
[J].
大语言模型在低对比度图像识别中的应用与探索
[J].
Application and exploration of large language model in low contrast image recognition
[J].
基于改进PSPNet的卫星遥感图像建筑物语义分割算法
[J].
Semantic segmentation algorithm for buildings in satellite remote sensing images based on improved PSPNet
[J].
面向水下场景的轻量级图像语义分割网络
[J].
Lightweight semantic segmentation network for underwater image
[J].
/
| 〈 |
|
〉 |


