顾及空间关系的3D LiDAR铁路支持装置自动提取
Automatic extraction of spatially relevant 3D LiDAR railway support facility
收稿日期: 2022-01-13
基金资助: |
|
Received: 2022-01-13
Fund supported: | 城市轨道交通数字化建设与测评技术国家工程实验室开放课题基金资助项目(2021ZH02);湖南科技大学测绘遥感信息工程湖南省重点实验室开放基金资助项目(E22133);城市空间信息工程北京市重点实验室经费资助项目(20210205);海南省地球观测重点实验室开放基金资助项目(2020LDE001);长江大学大学生创新创业训练计划资助项目(Dk2021013) |
作者简介 About authors
杨元维(1983—),男,副教授,从事接触网检测、三维点云数据处理与分析的研究.orcid.org/0000-0002-4221-4563.E−mail:
为了提高不同类型支持装置在不同场景中的提取可靠性及精度,提出顾及空间关系的3D LiDAR支持装置自动提取算法. 通过对GNSS轨迹点抽稀处理获取关键轨迹点,对原始数据进行分层、分块处理,获取原始点云支柱,支持装置数据区域. 通过邻域搜索获取支柱中心点,依据其与轨迹点和支持装置搜索层的空间关系构建空间索引. 以该索引为驱动实现支持装置的初提取,获取含有接触线的支持装置,引入柱状搜索、参数化投影滤波的方式滤除接触线点云,实现提取结果的优化. 经过测试可知,该算法对提取支持装置的MIoU均超过93%,Dice系数均超过94%,可以兼顾多类型支持装置,具有较强的鲁棒性和应用价值.
关键词:
An automatic extraction algorithm of 3D LiDAR support facilities considering the spatial relationship was proposed in order to improve the extraction reliability and accuracy of multi-type support facilities. The key trajectory points were obtained by thinning the GNSS trajectory points. Then the original data was layered and divided into blocks to obtain the original point cloud pillar and support device data area. The center point of the pillar was obtained through the neighborhood search, and a spatial index was constructed based on the spatial relationship between the trajectory point and the search layer of the support device. The index was used as the driving force to realize the initial extraction of the support device and obtain the support device containing the contact line. The column search and parametric projection filtering were introduced to filter out the contact line point cloud for optimization of extraction results. The test results show that the algorithm has more than 93% MIoU and 94% Dice coefficient for extracting support facilities, which can consider multiple types of support facilities and has strong robustness and application value.
Keywords:
本文引用格式
杨元维, 张跃, 高贤君, 马冰洁, 郭申奥, 许磊.
YANG Yuan-wei, ZHANG Yue, GAO Xian-jun, MA Bing-jie, GUO Shen-ao, XU Lei.
铁路基础设施提取算法依据机理大致可以分为滤波法、几何特征法、分割法3类. 滤波法通过剔除离群点,获取满足条件范围内的点云数据. 刘文强等[11]提出卡尔曼滤波,对铁路场景的原始图像进行滤波处理. 陈国翠等[12]改进快速导向滤波算法,对接触网绝缘子原始图像进行滤波. 几何特征法利用同一类目标具有共同的几何特征进行分类与提取. 郭保青等[13]提出基于法线方向一致性的区域生长提取算法,提取接触网支柱这类铁路场景地物. Pastucha[14]采用RANSAC算法,对悬臂梁、支撑设施和悬链线进行检测和分类. 分割法是依据点云的位置、密度信息进行分割. Lamas等[15]提出启发式的铁路环境语义分割工作流程,通过9 km的铁路数据集验证了该方法的有效性. Jung等[16]结合多量程条件随机场和支持向量机,对铁路设施进行分类. 上述方法均无法快速、有效地针对原始点云数据中的支持装置进行提取. 近些年,深度学习被应用到点云数据中,以提取支持装置[17]. Chen等[18]提出结合长短期存储器,通过2D LiDAR识别多个OCS组件的方法. Lin等[19]采取改进Pointnet[20]识别每帧点云的上下文,获取OCS分类结果. 既有基于2D LiDAR数据的接触网语义分割方法受点云场景数据的影响大,2D LiDAR由于采集方式的原因,无法表达场景中丰富的空间信息.
综上所述,亟需适应性强、自动化程度高、精度高的支持装置提取算法. 本文提出顾及支柱、关键轨迹点以及支持装置搜索层之间空间关系的支持装置自动提取算法.
1. 基于3D LiDAR的铁路点云数据获取方法
基于3D LiDAR的点云获取方法是使用车载移动测量系统(vehicle-borne mobile mapping system, VMMS)沿既有轨道交通线路进行测量,快速地获取铁路周边环境海量的三维激光点云数据. 当利用车载移动测量系统进行数据采集时,须在地面控制点上架设GNSS(global navigation satellite system, GNSS)基站,以便与车载移动测量系统的定位测姿系统进行同步观测,在数据预处理阶段解算出车载移动测量系统的轨迹线.
图 1
表 1 Z+F Profiler 9012测量系统的具体参数
Tab.1
参数 | 数值 |
测线扫描频率 | 50 ~ 200 Hz |
点扫描速率 | 最大为101. 6 万点/s |
角度分辨率/角度精度 | 0. 0088°/0. 02° RMS |
垂直视角 | 360° |
测程 | 0. 3 ~ 119 m |
线性误差 | ≤1 mm |
载体移动速度 | 25 m/h |
2. 顾及空间关系约束的支持装置提取原理
该算法的流程如图2所示. 通过轨迹点抽稀结果数据,对原始点云数据进行分层分块处理. 提取出场景中支柱的中心拟合点,针对支柱、轨迹抽稀点及支持装置构建空间索引. 以索引为驱动快速定位支持装置区域,对支持装置的提取结果进行优化.
图 2
2.1. 点云数据分层分块处理
在任意两支柱之间存在多个GNSS轨迹点,为了提高算法效率,采用抽稀后得到的关键轨迹点对原始点云数据进行分层分块处理.
2.1.1. GNSS轨迹点抽稀处理
图 3
式中:
2.1.2. 点云分层分块处理
为了避免提取过程中出现较多的无效搜索,对搜索区域进行仿射变换,分别依据高度与长度对原始点云数据进行数据分层和空间分块处理. 仿射变换过程如图4所示. 具体步骤如下. 将关键轨迹点坐标及相邻GNSS轨迹点坐标代入式(3),以获取轨迹线法向量,即轨迹方向
图 4
式中:
针对支柱与支持装置在高度上的分布差异,基于关键轨迹点分别构建一系列长、宽、高分别为
图 5
式中:V0表示其他无关区域;Matrix为
2.2. 支柱中心点的确定及空间索引的构建
经过分层分块处理后,铁路设施间具有较清晰的空间关系. 为了便于快速查找关键轨迹点数据,对上述3类典型铁路设施进行空间索引的构建.
2.2.1. 基于邻域搜索的支柱中心点提取
对支柱搜索层区域进行邻域搜索处理,具体步骤如下. 设定长、宽分别为
式中:Pset为邻域内点云集合,
由于支柱搜索层区域存在局部重合区域,采用统计滤波器对邻域内的伪支柱中心点进行滤除. 支柱中心点搜索与提取功能的示意图如图6所示.
图 6
2.2.2. 构建空间索引
通过铁路设施之间的拓扑关系构建空间索引,达到能够依据支柱中心点反算轨迹点坐标及支持装置搜索层区域的目的. 步骤如下. 遍历关键轨迹点,获取各点与支柱中心点之间的欧式距离
式中:
2.3. 支持装置的初提取及结果优化
图 7
图 8
为了保证提取结果的精度,根据接触线点云数据的密度特征,对离散化后的点云数据进行参数化模型的投影点云滤波处理. 具体步骤如下. 将点云数据投影到平面模型上,在设定分辨率下将原始裁剪框离散化得到一系列栅格,通过阈值决定栅格内的点云数据是否被滤除. 该点云滤波方法处理的示意图如图9所示.
图 9
3. 实验设计
3.1. 点云分块区域范围参数与抽稀值的确定
为了确定式(1)中n的取值范围,以MIoU作为精度评价指标,在存在6个支持装置的铁路真实场景中针对不同的过滤值进行实验分析,实验结果如表2所示. 表中,Dis为关键轨迹点的间距,Gsf为关键轨迹点数量与提取出的支持装置数量之比,t为算法提取耗时.
表 2 抽稀值的实验结果表
Tab.2
n | Dis/m | Gsf | t/s |
5 | 20 | 1∶1 | 1030 |
6 | 24 | 5∶6 | 1010 |
7 | 28 | 5∶6 | 990 |
8 | 32 | 2∶3 | 990 |
9 | 36 | 2∶3 | 980 |
10 | 40 | 1∶2 | 980 |
11 | 44 | 1∶2 | 980 |
12 | 48 | 1∶2 | 970 |
13 | 52 | 1∶3 | 960 |
14 | 56 | 1∶3 | 960 |
15 | 60 | 1∶3 | 940 |
从实验结果可知,随着n的变化,关键点间距增大,耗时降低,但轨迹点稀疏会导致轨道的弯曲被忽略,出现部分支持装置未检测到的情况. 综合表2可知,加粗部分为合适的线性阈值范围. 将抽稀值设置为10~12.
铁路宽度及GNSS点间距基本不变,可以根据铁路真实点云数据获取GNSS间距约为4 m,因此设定式(7)中的
图 10
图 10 接触网纵断面目标物体分级图
Fig.10 Classification diagram of target object in OCS profile
对支持装置长度以及宽度进行分析,粗裁剪区域长度应为6 m,宽度应小于2.4 m. 由于单支持装置明显小于双支持装置,粗裁剪区域宽度以双支持装置宽度为主要的参考标准.
综上所述,设定n为10~12,选用n为11,分块区域长度为20 m,宽度为46 m,z1为1.5 m,z2为2.5 m,z3为3.5 m,z4为6.5 m,粗裁剪区域长度为6 m,宽度为2.4 m.
3.2. 线性装置剔除阈值的确定
为了评估阈值对支持装置精度的影响,等间隔从20~40中选取5组阈值进行对比实验. 单支持装置与双支持装置基于不同阈值的线性装置的剔除效果如图11所示. 图中,A为棘轮单支持装置,B为棘轮双支持装置,C为单支持装置,D为双支持装置,E为钢架支持装置,F为回路支持装置,ε为线性装置剔除阈值.
图 11
为了直观展示阈值对支持装置提取精度的影响,将提取的支持装置数据通过评价指标进行展示,如图12所示. 当阈值为30~40时,支持装置的点云数据随着阈值的增大逐渐完整,非支持装置区域被提取的现象逐渐减少. 原因是在较小的阈值中无法剔除较大数量的非支持装置区域点云数据,导致最终的误提取;随着阈值的增大,非支持装置区域的点云数据被剔除,减少了误提取的情况.
图 12
图 12 测试精度与线性装置阈值折线的对比图
Fig.12 Comparison chart of test accuracy and threshold value of linear device
由于棘轮的原因,导致算法对棘轮单支持装置与棘轮双支持装置2种类型的提取效果较差. 当线性阈值为35时,棘轮单支持装置与棘轮双支持装置的精度达到峰值. 综上所述,本文的线性阈值剔除范围应为30~40,选取中值即35,作为线性剔除阈值.
3.3. 支持装置提取
3.3.1. 多类型支持装置提取
支持装置提取会因不同的支持装置类型呈现出不同的效果,影响算法功能的适用性. 为了评估算法对不同类型支持装置提取的影响,选取6类支持装置进行对比实验,如图13(a1)~(f1)所示.
图 13
图 13 不同类型支持装置的提取结果对比图
Fig.13 Comparison of extraction results of different types of support facilities
为了直观地展示不同支持装置类型对该算法提取效果的影响,将提取的支持装置通过评价指标进行展示,如图13(a3)~(f3)所示. 结合图13、14可知,该算法在不同支持装置类型下的提取结果的IoU均能大于92%,Dice系数均能大于95%. 单支持装置和双支持装置的裁剪效果较好,IoU和Dice系数分别为98.36%、97.14%和99.17%、98.55%,原因是不存在复杂的附属装置. 为了证明该算法的优劣,选取Pastucha[14]提出的支持装置提取方法,开展对比实验. 算法思路如下:根据轨迹点与支持装置所处位置的空间关系,构建狭窄的“数据走廊”(corridor of data),利用支持装置在数据走廊中所处空间密度的差异,检测提取到可能的支持装置. 针对单接触网与双接触网区域的点云数据,开展提取精度的对比.
图 14
图 14 提出算法与对比算法的精度对比图
Fig.14 Accuracy comparison chart of proposed algorithm and comparison algorithm
从图13(a2)~(f2)和图14可知,从准确性方面来说,对比算法对各类型支持装置及各场景支持装置的提取精度较低,原因是在多轨道并行的前提下,轨迹点相对于两侧的空间位置关系难以确定. 从适用性方面来说,对比算法难以兼顾不同支持装置类型,简单的“数据走廊”难以精确地提取出多类型支持装置,存在蓝色圆圈内支柱、附属装置点云数据或接触臂点云数据未滤除或漏、多滤除的现象. 如表3所示,从算法耗时方面来看,该算法对单支持装置处理较快,对棘轮单支持装置、棘轮双支持装置及双支持装置的处理时间均约为10 s,对钢架支持装置的处理耗时较长. 单支持装置与回路支持装置的算法耗时相同,表明回路设施对该算法的影响程度较低;相较于其他类型支持装置,钢架支持装置的耗时较长,说明钢架设施对该算法处理时间的影响较大.
表 3 多类型支持装置的耗时分析表
Tab.3
支持装置类别 | t/s |
棘轮双支持装置 | 14 |
棘轮单支持装置 | 10 |
双支持装置 | 12 |
单支持装置 | 2 |
钢架支持装置 | 51 |
回路支持装置 | 2 |
综上所述,本文算法在提取精度高的同时,能够兼顾支持装置多样性与时效性,具有较高的应用价值.
3.3.2. 多类型支柱分布场景中支持装置提取
为了评估多类型支柱分布情况对支持装置提取精度的影响,对相邻支柱分布、对称支柱分布及不对称支柱分布这3种不同支柱分布的特点进行测试. 不同支柱分布的情形如图15所示.
图 15
图 15 不同情形支柱分布的提取效果展示
Fig.15 Display of extraction effect of pillar distribution in different situations
表 4 支柱分布不同情况对比的测试结果
Tab.4
本文实验 | 对比实验 | |||||||
支柱分布 | IoU/% | Dice/% | MIoU/% | 支柱分布 | IoU/% | Dice/% | MIoU/% | |
相邻支柱分布,支柱1 | 96.99 | 95.76 | 97.43 | 相邻支柱分布,支柱1 | 87.21 | 93.15 | 78.68 | |
相邻支柱分布,支柱2 | 98.47 | 97.83 | 97.43 | 相邻支柱分布,支柱2 | 70.14 | 82.45 | 78.68 | |
非对称支柱分布,支柱1 | 95.67 | 97.79 | 96.05 | 非对称支柱分布,支柱1 | 87.92 | 93.55 | 76.67 | |
非对称支柱分布,支柱2 | 97.89 | 98.93 | 96.05 | 非对称支柱分布,支柱2 | 79.68 | 88.65 | 76.67 | |
非对称支柱分布,支柱3 | 94.59 | 97.22 | 96.05 | 非对称支柱分布,支柱3 | 62.42 | 75.63 | 76.67 | |
对称支柱分布,支柱1 | 96.65 | 98.29 | 94.66 | 对称支柱分布,支柱1 | 85.78 | 92.34 | 70.81 | |
对称支柱分布,支柱2 | 96.43 | 98.18 | 94.66 | 对称支柱分布,支柱2 | 83.91 | 91.24 | 70.81 | |
对称支柱分布,支柱3 | 95.33 | 97.61 | 94.66 | 对称支柱分布,支柱3 | 55.45 | 71.34 | 70.81 | |
对称支柱分布,支柱4 | 90.24 | 94.87 | 94.66 | 对称支柱分布,支柱4 | 58.09 | 73.49 | 70.81 |
针对上述3种支柱分布类型区域点云数据,开展提取精度的对比. 从图15(a2)~(c2)、14可得如下结论.
1) 针对不同类型的支柱分布情形,对比算法的提取精度均较低. 原因是对比算法未对提取结果进行优化,存在较多接触线点云数据未被剔除,导致对比算法支持装置的提取精度下降.
2) 对比算法难以顾及到场景内所有的支持装置,简单的数据走廊难以精确包含该侧所有的支持装置,存在圆圈内支柱、附属装置点云数据或接触臂点云数据未滤除或漏、多滤除的现象,导致对比算法对支持装置的提取精度较差.
综上所述,本文算法剔除的支持装置提取算法具有一定的鲁棒性,能够兼顾数据信息的多样性,对复杂场景的适用能力强.
3.4. 示范应用实验
在真实铁路设施检测时,大多将铁路线分为若干铁路单元数据进行检测. 为了验证本文算法对多接触网大场景处理的适用能力,设计十公里铁路单元数据示范应用性实验. 部分数据如图16所示.
图 16
图 16 10公里真实铁路场景提取效果图(部分)
Fig.16 Ten kilometers of real railway scene extraction renderings (partial)
从图16可以看出,利用该算法能够准确地提取出10 km铁路单元场景中的支持装置点云数据. 对于铁路单元场景点云数据,本文算法以2 km/h的速度沿铁路前行方向推进,对于支持装置提取结果的MIoU能够达到93.11%,Dice能够达到94%. 综上所述,本文算法对短距离铁路单元场景点云数据具有较强的适用能力.
4. 结 论
(1) 采用邻域搜索对支柱中心点进行提取,明确铁路设施的空间关系,顾及支柱、关键轨迹点及支持装置搜索层之间的空间关系,构建空间索引,快速确定存在支持装置的搜索层区域,减少了算法对系统资源的消耗.
(2) 采用柱状点云滤波、PCL参数化投影滤波的方式,对支持装置粗提取结果进行优化,实现对接触线与支持装置连接设施的精确剔除,大大提升了支持装置的提取准确性.
(3) 构建旋转矩阵,对搜索区域进行仿射变换,降低裁剪框内的无效区域占比,有助于对原始点云数据进行数据分层和空间分块处理.
综上所述,该算法能够兼顾支持装置点云数据的多样性,保证支持装置提取的准确性. 相较于同类算法表现出明显的优越性,能够在真实的应用实验中保持较好的鲁棒性,具有较强的应用价值.
参考文献
川藏铁路主要地质灾害特征及地质选线探析
[J]. ,
Analysis of the characteristics of major geological disasters and geological alignment of Sichuan-Tibet railway
[J]. ,
An overview of the condition monitoring of overhead lines
[J]. ,
高铁接触网U型抱箍螺母故障检测算法
[J]. ,
High-speed rail contact network U-holding nut fault detection algorithm
[J]. ,
接触线几何参数图像检测系统设计
[J]. ,
Image detection system design for geometry parameters of contact line
[J]. ,
Application of template matching for improving classification of urban railroad point clouds
[J]. ,DOI:10.3390/s16122112 [本文引用: 1]
非接触式弓网图像检测技术研究综述
[J]. ,
Summary of research on non-contact pantograph
[J]. ,
A fast algorithm for rail extraction using mobile laser scanning data
[J]. ,
A survey of mobile laser scanning applications and key techniques over urban areas
[J]. ,DOI:10.3390/rs11131540 [本文引用: 1]
Automated road information extraction from mobile laser scanning data
[J]. ,DOI:10.1109/TITS.2014.2328589 [本文引用: 1]
三维扫描激光雷达系统设计及实时成像技术
[J]. ,
Design and real-time imaging technology of three-dimensional scanning LiDAR
[J]. ,
基于摄像机标定与卡尔曼滤波的接触网几何参数检测值修正
[J]. ,
Correction of detected values of catenary geometric parameters based on camera calibration and Kalman filtering
[J]. ,
融合PHOG和 BOW-SURF特征的接触网绝缘子缺陷检测方法
[J]. ,
Method for defect detection of catenary insulators by combining the features of PHOG and BOW-SURF
[J]. ,
铁路场景三维点云 分割与分类识别算法
[J]. ,DOI:10.3969/j.issn.0254-3087.2017.09.002 [本文引用: 1]
3D point cloud segmentation, classification and recognition algorithm of railway scene
[J]. ,DOI:10.3969/j.issn.0254-3087.2017.09.002 [本文引用: 1]
Catenary system detection, localization and classification using mobile scanning data
[J]. ,
Automatic point cloud semantic segmentation of complex railway environments
[J]. ,
Multi-range conditional random field for classifying railway electrification system objects using mobile laser scanning data
[J]. ,DOI:10.3390/rs8121008 [本文引用: 1]
Object-contextual representations for semantic segmentation
[J]. ,
A deep learning-based method for overhead contact system component recognition using mobile 2D LiDAR
[J]. ,DOI:10.1109/JSEN.2019.2949146 [本文引用: 1]
LiDAR point cloud recognition of overhead catenary system with deep learning
[J]. ,
3维Douglas-Peucker算法及其在DEM自动综合中的应用研究
[J]. ,DOI:10.3321/j.issn:1001-1595.2006.03.016 [本文引用: 1]
Three dimensional Douglas-Peucker algorithm and the study of its application to automated generalization of DEM
[J]. ,DOI:10.3321/j.issn:1001-1595.2006.03.016 [本文引用: 1]
Neutrosophic image segmentation with Dice coefficients
[J]. ,
/
〈 | 〉 |