基于深度学习的公路隧道衬砌病害识别方法
Lining disease identification of highway tunnel based on deep learning
收稿日期: 2021-02-13
基金资助: |
|
Received: 2021-02-13
Fund supported: | 国家自然科学基金资助项目(51774057,52074048);重庆市研究生科研创新资助项目(CYS18020) |
作者简介 About authors
任松(1975—),男,教授,博导,从事岩土工程监测及可靠性分析、岩层稳定性及控制、盐层油气储库造腔理论及工艺、煤与瓦斯突出机理及控制研究.orcid.org/0000-0002-1822-5991.E-mail:
针对与日俱增的隧道养护需求,为了节约时间与人力成本,提出基于卷积神经网络的公路隧道衬砌病害检测方法. 利用自主研制的隧道智能快速检测车采集24条隧道衬砌的图像,构建超过20 000张病害图像的高质量数据集. 结合隧道衬砌病害的成因及特点,分别构建单阶段SSD模型和两阶段R-FCN模型在自制的数据集上训练,对检测结果进行对比分析,提出离线式隧道衬砌病害检测方案. 试验结果表明,SSD模型的识别准确率为98%,总的平均精度均值(mAP)为72%,检测速度较快,适用于隧道的快速诊断. R-FCN模型的识别准确率为85%,总的mAP达到91%,检测精度较高,适用于隧道病害的后期处理. 利用这2种检测模型均可以提升检测效率和精度.
关键词:
A highway tunnel lining disease detection method based on convolutional neural network was proposed aiming at the ever-increasing demand for tunnel maintenance in order to save time and labor costs. The self-developed intelligent rapid detection vehicle for tunnels was used to collect 24 tunnel lining images. A high-quality data set of more than 20000 disease images was constructed. Then single-stage SSD (single shot multiBox detector) models and two-stage R-FCN (region-based fully convolutional networks) models were constructed on a self-made data set combining the causes and characteristics of tunnel lining diseases. The detection results were compared and analyzed, and an offline tunnel lining disease detection scheme was proposed. The experimental results showed that the identification accuracy rate of SSD model was 98%, the total mean average precision (mAP) was 72%, and the detection speed was fast. The SSD model is suitable for rapid diagnosis of tunnels. The identification accuracy rate of R-FCN model was 85%, the total mAP value reached 91%, and the detection accuracy was high. The R-FCN model is suitable for the post-treatment of tunnel diseases. Using these two detection models can improve detection efficiency and accuracy.
Keywords:
本文引用格式
任松, 朱倩雯, 涂歆玥, 邓超, 王小书.
REN Song, ZHU Qian-wen, TU Xin-yue, DENG Chao, WANG Xiao-shu.
目前,我国隧道发展正处于高速时期,隧道数量剧增. 以公路隧道为例,根据《2019年交通运输行业发展统计公报》显示,截至2019年末,全国共有公路隧道19 067处、总长为1 896.66万米. 可以看出,我国隧道交通工程正由“建设为主”向“建养并重”转变[1]. 国内外的调查研究表明[2-4],衬砌结构存在裂缝、变形、破损、掉块和渗漏水等病害现象的隧道在整体隧道中占有较大比例. 这些病害的存在已经威胁到隧道结构的安全性、稳定性及耐久性,严重影响交通质量[5],因此对于隧道病害的检测与养护已成为日常工作和任务. 传统的检测方法流程复杂、工作量大,花费时间及人力成本较高;由于隧道病害未及时发现,误判或错判将会引发隧道安全事故. 这些均表明,隧道病害亟需快速精准识别,隧道病害智能化、连续快速识别可以有效地提高隧道养护的技术水平,延长隧道使用年限,保障隧道运营安全,实现科学、有效的隧道病害检测方案.
近年来,随着大数据时代的到来,深度学习发展迅猛,由于其具有优良的泛化能力和鲁棒性,国内外已将该方法应用到计算机视觉检测上. 深度学习中包含多种深度神经网络模型,其中卷积神经网络(convolutional neural network,CNN)在图像识别领域中表现突出. 基于CNN的目标检测模型相比于传统的隧道病害检测识别方法,可以通过训练样本,不断迭代学习,自动提取输入图像的浅层信息及高层的语义特征,开展检测识别. 目前,国内外许多专家学者将数字图像处理及图像识别技术应用在隧道病害检测识别领域,取得一定的成果. 赵永贵等[6]结合隧道地质超前预报与地震CT技术,对病害进行诊断,从而有效地减少突发工程病害,保证隧道工程的安全性. 杨正华等[7]提出利用地震波法对隧道病害进行诊断与预测,根据地震波对围岩和衬砌结构的不同程度反映判断衬砌状态,对隧道健康诊断和病害防治起到重要作用. 徐宏武[8]采用探地雷达无损探测技术对隧道病害进行诊断,基于病害诊断结果对隧道进行有针对性的治理. 随着计算机技术的进步,已有的隧道病害检测研究主要以人工识别为主,计算机技术为辅,不能满足精准、快速的需求. 隧道表面图像背景复杂、病害种类繁多,且因采集图像亮度不均、分辨率不同、角度不同等因素增加了隧道病害识别的难度,导致病害图像识别率低、错判率高,效果很难满足工程需求. 现阶段,Makantasis等[9-15]采用深度学习(如CNN)对隧道病害识别进行研究,研究对象狭窄且突破性研究成果较少.
本文针对隧道病害检测,依据科研工作中收集的图像自建数据集,用于隧道病害目标的检测. 该数据集主要选取重庆、贵州、云南等省市高速公路24条长度不等的隧道,如黄草背隧道、双峰山隧道、仰头山隧道等作为采集对象,共收集隧道原始病害图像25369张,对原始图像进行裁剪切割,筛选包含病害且质量较好的图像. 为了进行算法测试,将获取的图像通过开源标注工具进行图像的标注. 为了开展隧道衬砌病害的智能检测,构建SSD-Inception V2、SSD-Mobilenet及R-FCN目标检测模型,测试模型在数据集中的病害检测效果,分析构建模型在所搭建数据集上的具体表现,建立离线式隧道病害检测方案.
1. 隧道衬砌病害数据集
1.1. 数据采集
使用的数据采集装置为课题组自行研制的隧道及路面智能快速检测车,如图1所示. 该车采用非可见光成像、柔性定位、海量高清图像快速无损压缩存储以及同步消震矫正等一系列前沿技术,可以基于车载平台实现对隧道衬砌结构及路面的无干扰快速检测. 检测项目包括隧道衬砌结构裂缝、渗水、剥落、腐蚀等病害以及路面裂缝、坑槽、车辙、破损等病害. 该装置采用半幅“3+1”模式采集,3个相机扫描隧道衬砌,分别采集隧道拱顶、拱腰以及边墙图像,1个相机采集地面图像. 相机采用4K线扫描相机,成像大小为1 000×4 096像素,图像类型为三通道值相同的RGB图像,分辨率为72DPI(dots per inch,每英寸点数).
图 1
图 1 自制的隧道及路面智能快速检测车
Fig.1 Self-made tunnel and road intelligent rapid detection vehicle
1.2. 数据集制作
裂缝和渗漏水作为公路隧道衬砌最主要的病害,将裂缝和渗漏水作为研究对象,具有代表性. 对原始图像进行裁剪切割,筛选获得20 834张数据样本. 其中裂缝图像有18 648张,裂缝宽度为1~3像素,裂缝长度为100~1300像素;渗漏水图像有2 186张,包括点渗、线渗、面渗等类型. 部分图片包含多个目标对象,涵盖多种病害.
所搭建的数据集在图像注释工作中,采用LabelImg标注工具,软件界面如图2所示. 当前,SSD、RCNN、Faster-RCNN等目标检测所需要的数据集均须借助该工具标定图像中的目标,所生成的标注文件格式为XML.
图 2
图 2 LabelImg软件隧道病害图像标注界面
Fig.2 LabelImg software tunnel disease image annotation interface
按照VOC格式构建病害数据集,其中包含3个文件夹. annotations文件夹中分为train(训练集)、validation(验证集)和test(测试集),存放XML格式文件;images文件夹中存放对应的图片文件;data文件夹中为模型训练时须输入的TFrecord格式文件. 按照9∶1比例划分训练集与测试集,训练集为模型的输入数据,测试集用来评估最终模型的性能. 将15%训练集作为验证集,用来在训练阶段验证模型效果,不断迭代输出结果,随时监督模型训练情况,防止模型训练过程中出现过拟合现象. 裂缝A、渗水B的病害数据集的分布情况见表1,S为该类数据集的总和. 表中,Ntr为训练集个数,Nv为验证集个数,Nt为测试集个数,N为总计.
表 1 隧道病害数据集
Tab.1
隧道病害种类 | Ntr | Nv | Nt | N |
A | 15419 | 2771 | 1949 | 20139 |
B | 1991 | 345 | 257 | 2593 |
S | 17410 | 3116 | 2206 | 22732 |
2. 基于卷积神经网络的目标检测模型
2.1. 单阶段SSD模型
图 3
图 4
图 4 基于SSD网络模型的隧道病害检测方案
Fig.4 Tunnel disease detection scheme based on SSD framework network model
考虑到隧道病害检测模型的泛用性,选用inception V2[21]作为特征提取层,替换SSD原模型中的VGG-16网络. 为了解决深层网络结构带来的各种问题,Szegedy等[22]提出inception结构,对该结构进行改进,得到inception V2结构. 该结构在加深加宽网络的同时,还减少了网络的参数量,批量归一化(batch normalization,BN)层的加入提高了模型的收敛速度,减少了过拟合现象的发生,增加了模型的鲁棒性. 网络的核心部分共有2个部分:一个为inception V2模块,另一个为BN层. 将Mobilenet[23]模型代替原模型中的VGG-16网络作为对照.
2.2. 两阶段R-FCN模型
图 5
图 5 基于R-FCN网络模型的隧道病害检测方案
Fig.5 Tunnel disease detection scheme based on R-FCN framework network model
RPN是在Faster R-CNN中首次提出的,用来代替传统方法,提取一系列包含目标物体的候选框. 具体的RPN实现流程如图6所示,在k×k大小的特征图的每个锚点位置上生成9种尺寸不一的锚框. 根据隧道病害的特点,设置锚框的3种尺度为1 282、642、322,3种长宽比为1∶1、1∶2、2∶1. 使用通道数与特征图相同的3×3的卷积核,进一步学习语义信息. 通过2个并行卷积层:一个卷积层用于每个锚框的分类判别,此处只判断候选区域是否包含目标,即属于前景或者背景,因此分类层共输出k×k×9×2个分数;另一个卷积层用于边框位置回归,针对候选框的4个坐标参数(x,y,w,h)利用边框回归算法进行微调,使其更加靠近真实边框,故回归层共输出k×k×9×4个预测值. 对所有产生的边框进行初步筛选,先筛去超出图像范围的边框,再对剩余边框利用非极大值抑制算法按照分类分数剔除,留下需要处理的候选框.
图 6
图 7
3. 实验与结果分析
3.1. 评价指标
在对模型进行检测时,对于检测结果的评价,选用准确率、召回率、平均精度(AP)、均值平均精度(mAP)等指标.
对于隧道病害检测,通过掌握某条隧道中存在病害的数量、位置与严重程度,评估隧道的安全. 针对目标检测模型的输出结果,低误检、低漏检更有利于隧道病害检测,因此重点关注目标检测模型的准确率及召回率. 其中,准确率指对于某一类别检测正确的样例数量占所有预测为该类别的样例的比值. 根据准确率可以判断模型的误检程度,准确率越大,误检率越小. 召回率指某一类别检测正确的样例数量占该类别真实样例数量的比值,根据召回率可以判断模型的漏检程度,召回率越大,漏检数量越少. mAP是评估模型性能好坏的常用指标,加入mAP评价指标对模型进行评估,完善了评估体系,使得结果更全面、准确.
3.2. 模型训练
为了开展测试,采用Windows 10操作系统,处理器(CPU)型号为Intel i7 7700,8核,内存(RAM)为 8 GB,显卡(GPU)为NVIDIA GeForce GTX1050的PC电脑作为运行环境. 基于Python语言和Tensorflow框架进行搭建,选用Pycharm作为 IDE(集成开发环境),采用Anaconda作为解释器,安装项目所需的依赖包,完成模型的训练、验证和测试工作.
将SSD-Inception V2的初始学习率设置为0.0005,在迭代到180 000次时对学习率进行衰减,衰减因子设为0.01,冲量设为0.5,训练迭代次数设置为200 000次,每批次数量设为8,激活函数采用RELU_6.
R-FCN的学习率变化方式采用多阶段渐收的方式,在第1阶段使用较大学习率加快收敛速度,设为0.005. 在第2阶段稍微放慢收敛速度,寻找最小区域,当迭代到第100 000次时,学习率下降为0.000 5. 在第3阶段,使用较小的学习率精确定位损失最小值,在迭代到第190 000次下降为0.000 05. 批量样本的数量根据计算机性能定为1,迭代次数设为200 000次.
为了对模型的训练过程进行监控,将模型的损失函数进行可视化. 如图8、9所示分别为SSD-Inception V2模型和R-FCN模型在训练时总损失函数的变化曲线. 图中,Ni为迭代次数,L为损失值. 通过损失值的变化趋势可以看出模型的收敛情况. SSD-Inception V2模型的总损失包括边界框的分类损失和定位损失,在迭代20万次后,损失曲线呈平缓态势,模型达到收敛水平. R-FCN模型的总损失包括边界框的分类损失和定位损失、候选区域提取网络的定位损失和目标损失. 可以看出,R-FCN模型的损失值一直维持在较低水平,在训练前半期,总损失值约为0.5;在后半期,模型逐渐收敛,最终稳定于0.3左右.
图 8
图 9
3.3. 识别效果分析
通过所述的实验环境与模型参数,对模型进行测试. 测试集共有病害图片1 888张,病害数量2 206个,其中裂缝图片1 673张,裂缝病害1 949个,渗漏水图片215张,渗漏水病害257个. 为了分析SSD-Inception V2模型和R-FCN模型的识别效果及性能表现,训练了SSD-Mobilenet模型与Faster R-CNN模型,开展实验结果的对比. 检测结果包括对病害位置标注的准确性及分类的准确性的评估. 检测结果的对比如表2所示. 表中,P为准确率,R为召回率,t为模型训练所需时间,V为模型每秒钟测试图片的张数.
表 2 不同卷积神经网络的隧道病害检测结果的对比
Tab.2
模型 | 病害类型 | P | R | AP | mAP | t/h | V |
SSD-Mobilenet | 裂缝 | 0.996 | 0.402 | 0.411 | 0.364 | | 2.06 |
SSD-Mobilenet | 渗水 | 1 | 0.311 | 0.316 | |||
SSD-Inception V2 | 裂缝 | 0.996 | 0.757 | 0.769 | 0.728 | | 3.17 |
SSD-Inception V2 | 渗水 | 0.988 | 0.673 | 0.687 | |||
R-FCN | 裂缝 | 0.935 | 0.981 | 0.983 | 0.910 | | 10.30 |
R-FCN | 渗水 | 0.835 | 0.805 | 0.833 | |||
Faster R-CNN | 裂缝 | 0.796 | 0.994 | 0.994 | 0.890 | | 9.42 |
Faster R-CNN | 渗水 | 0.886 | 0.790 | 0.791 |
基于SSD框架的2种单阶段模型对于病害的检测准确率非常高,但在召回率和mAP的表现上有较大差异;与SSD-Mobilenet模型相比,SSD-Inception V2模型的表现更优异. 就时间而言,SSD-Mobilenet模型得益于轻便、简洁的网络结构,训练耗费时间相对较短,测试图片的速度较快. 总体来说,SSD-Inception V2模型虽在训练模型时消耗相对较长的时间,但在图像测试速度及检测精度上相对于SSD-Mobilenet模型均有较大的优势,在隧道病害的检测上表现更优,在识别宽度大于0.2 mm的裂缝时具有较高的准确度.
R-FCN模型与Faster R-CNN模型均是两阶段模型,对病害的漏检数量较少,召回率较高. 2种模型在隧道病害的准确率、召回率与mAP的表现上综合来看,R-FCN模型略优于Faster R-CNN模型,模型的识别效果基本满足要求. 在模型训练时间方面,2种模型均须耗费较长的时间. 总体而言,R-FCN模型的综合性能较好,对病害的检测达到了较高水平.
SSD-Inception V2模型与R-FCN模型相比,对病害的检测准确率非常高,可以达到98%以上,但在召回率的表现上与R-FCN模型有较大差异,这表明部分隧道病害未被检测到. R-FCN模型在对裂缝和渗水2类病害检测时的召回率和准确率相差较大. 对于裂缝,模型的召回率均达到98%,这是由于模型采用Resnet101作为特征提取层,对于裂缝特征的学习充分而全面,几乎全部的裂缝病害都可以被检测到,仅有少量病害被漏检,准确率为93.5%,达到了较高水平. 对于渗水,由于数据量较小,模型识别效果、泛化能力较弱,在测试集上,模型的准确率与召回率均未达到90%. 在mAP的表现上,SSD-Inception V2模型的mAP只有0.728,R-FCN模型达到0.91,后者的检测精度和识别效果远优于前者,达到了较高水平. 在时间方面,SSD-Inception V2模型训练时间仅需2天,测试1张图片只需要3.17 s;R-FCN模型由于复杂、上百层的网络结构,训练时间延长,测试1张图片耗费的时间约为前者的3倍,需要10 s.
图 10
图 10 渗水检测可视化识别结果对比
Fig.10 Comparison results of visual recognition effect of water seepage detection
图 11
图 11 裂缝检测可视化识别结果对比
Fig.11 Comparison results of visual recognition effect of crack detection
综合分析可知,SSD-Inception V2模型的检测速度较快、准确率较高且经过正确识别的对象大部分为较宽裂缝,因此在实际检测中,可以用于快速判断隧道的病害情况. R-FCN模型在召回率和mAP方面远远高于SSD-Inception V2模型,能够准确识别大部分的病害,泛化性能较好,适用于隧道病害检测后期的精细处理,能够减轻工作人员的工作量,加快后期处理速度,大幅度提高工作效率.
3.4. 检测方案
针对实际的隧道病害检测,提出离线式的隧道衬砌病害检测方案,如图12所示.
方案共分为4个部分. 第1部分为数据采集,通过隧道智能快速检测车获取隧道衬砌图像,每张图像对应隧道实际距离为1 m,通过半幅“3+1”的采集形式,1 m隧道对应6张图片,拱顶、拱腰和边墙各2张,完整覆盖整个隧道衬砌表面,将采集后的图片,每米对应的6张图片为1组,编号存储,对图片按顺序切割、压缩. 第2部分为图像处理,由于采集时间、光照、采集速度、采集角度及隧道本身特点等因素的影响,采集的图片具有不同的表现形式,例如亮度不同、对比度不同,对目标检测模型识别病害存在一定困难. 为了增大模型的适应性和鲁棒性,对图像进行预处理,如图13所示,左边为原有采集图像,右边为处理后的图像. 第3部分为病害检测,根据隧道检测的周期及检测模型的特点,将隧道检测分为日常检测和年度检测. 日常检测使用SSD-Inception V2模型,检测速度快,能够满足时间周期短的检测需求. 年度检测使用R-FCN模型,检测精度高,泛化能力强. 在检测完成后,对检测位置进行还原,确定病害在实际隧道所处的具体位置. 第4部分为检测结果分析,根据检测隧道病害的裂缝数量、宽度、长度和密度及渗漏水面积区域,对隧道的病害程度进行判别,分析隧道所处的状态,提出合理的养护措施.
图 12
图 13
4. 结 论
(1)根据隧道病害出现的概率、比重及造成的影响,以衬砌裂缝和渗漏水作为研究对象,使用隧道及路面智能快速检测车采集24条隧道的病害数据. 按照VOC格式构建病害数据集,病害分布为训练集17 410个,验证集3 116个,测试集2 206个. 该数据集可以为同领域其他研究者提供数据保障.
(2)基于各算法的实现原理及优缺点,结合病害研究对象建立隧道病害单阶段目标检测算法. 构建SSD-Inception V2模型,与SSD-Mobilenet模型进行对照,分析结果表明,SSD-Inception V2模型更适用于隧道病害的检测,裂缝识别准确率可以达到99%,渗水识别准确率可以达到98%,总的mAP达到72%,检测速度较快.
(3)实现隧道病害两阶段目标检测算法,综合考虑检测精度、速度、病害特征等因素,构建R-FCN模型并用Faster R-CNN模型作为对照组. 结果表明,R-FCN模型的性能优于Faster R-CNN模型,准确率和召回率均表现较好,总的mAP可达91%,达到了较高水平,但在检测速度方面略有欠缺.
(4)基于隧道检测周期性特点及模型优势,提出离线式的隧道衬砌病害检测方案. SSD-Inception V2模型适用于隧道的日常检测,快速诊断病害;R-FCN模型适用于隧道病害的年度检测. 2种检测模型均有效地节约了时间成本,提高了检测效率.
本文提出的深度学习识别模型在隧道病害检测中取得了一定的成果,满足基本的要求,但有进一步提升的空间. 本文的渗漏水数据占比较小,后续会不断扩充数据集,提高模型的泛化能力,也会考虑增加其他种类的病害,丰富数据集.
参考文献
基于深度学习的盾构隧道渗漏水病害图像识别
[J].
Image recognition for water leakage in shield tunnel based on deep learning
[J].
铁路运营隧道病害现状及检测评估
[J].
Current damage situation of railway operation tunnels and their inspection and evaluation
[J].
重庆某隧道病害调查分析与治理对策
[J].DOI:10.3969/j.issn.1671-9107.2018.08.50
Investigation analysis and treatments of tunnel diseases of a tunnel in Chongqing
[J].DOI:10.3969/j.issn.1671-9107.2018.08.50
上海轨道交通隧道结构安全性分析
[J].
Structural safety analysis of Shanghai rail transit tunnel
[J].
隧道病害研究现状与进展
[J].
Studies on tunnel damage
[J].
浅析地震波法用于隧道病害的诊断与预测
[J].DOI:10.3969/j.issn.1000-811X.2004.01.006 [本文引用: 1]
Analysis on tunnel hazard diagnosis and forecast by seismic wave
[J].DOI:10.3969/j.issn.1000-811X.2004.01.006 [本文引用: 1]
渝湘高速下塘口一号隧道突水病害诊断及处治
[J].
Catastrophology gushing water diagnosis and treatment of Yuxiang Speedway on Xiaotangkou No. 1 Tunnel
[J].
Deep learning-based crack damage detection using convolutional neural networks
[J].
基于全景图像CNN的隧道病害自动识别方法
[J].DOI:10.11896/j.issn.1002-137X.2017.11A.043
Automatic recognition method of tunnel disease based on convolutional neural network for panoramic images
[J].DOI:10.11896/j.issn.1002-137X.2017.11A.043
一种基于深度学习的隧道衬砌病害检测技术
[J].DOI:10.3969/j.issn.1674-4578.2019.05.012
Tunnel lining disease detection technology based on deep learning
[J].DOI:10.3969/j.issn.1674-4578.2019.05.012
基于深度学习的盾构隧道衬砌病害识别方法
[J].
A method of disease recognition for shield tunnel lining based on deep learning
[J].
基于深度学习的目标检测综述
[J].DOI:10.3969/j.issn.1671-637X.2020.05.012 [本文引用: 1]
A survey of target detection based on deep learning
[J].DOI:10.3969/j.issn.1671-637X.2020.05.012 [本文引用: 1]
/
〈 |
|
〉 |
