浙江大学学报(工学版)

浙江大学学报(工学版), 2023, 57(10): 2094-2105 doi: 10.3785/j.issn.1008-973X.2023.10.018

土木工程

基于语义分割的沥青路面裂缝智能识别

杨燕泽,, 王萌,, 刘诚, 徐慧通, 张小月

1. 北京交通大学 土木建筑工程学院，北京 100044

2. 中路高科交通检测检验认证有限公司，北京 100088

Intelligent identification of asphalt pavement cracks based on semantic segmentation

YANG Yan-ze,, WANG Meng,, LIU Cheng, XU Hui-tong, ZHANG Xiao-yue

1. School of Civil Engineering, Beijing Jiaotong University, Beijing 100044, China

2. China Road Transportation Verification and Inspection Hi-Tech Co Ltd., Beijing 100088, China

通讯作者: 王萌，女，教授，博士. orcid.org/ 0000-0003-4692-6303. E-mail： wangmeng@bjtu.edu.cn

收稿日期: 2022-12-5  

基金资助: 中央高校基本科研业务费专项资金资助项目（2022YJS071）；北京市科技新星计划资助项目（20220484103）；北京市自然科学基金资助项目（8222027）

Received: 2022-12-5  

Fund supported: 中央高校基本科研业务费专项资金资助项目（2022YJS071）；北京市科技新星计划资助项目（20220484103）；北京市自然科学基金资助项目（8222027）

作者简介 About authors

杨燕泽（1999—），女，硕士生，从事结构智能运维研究.orcid.org/0009-0001-6401-6373.E-mail：21121139@bjtu.edu.cn , E-mail：21121139@bjtu.edu.cn

摘要

针对传统的沥青路面人工检测效率低、缺乏客观性的弊端，提出基于语义分割的沥青路面裂缝智能识别方法. 综合考虑数据集规模、算法种类、网络种类及深度、损失函数类型的影响，对 22 个语义分割模型开展对比研究，提出适用于较大、较小规模数据集的优选裂缝智能识别方案及对应模型. 基于北京六环高速公路沥青路面，建立裂缝分割数据集R-Crack，对提出的智能识别方案进行应用检验，并自动量化裂缝参数. 结果表明：检测准确率最高达到83.45%，通过对比人工及自动化检测方式获得的裂缝参数计算结果，裂缝长度和宽度平均误差分别为2.84%和2.39%，提出的智能识别方案为高速公路等场景下沥青路面裂缝的智能检测实践提供依据.

关键词： 沥青路面检测 ; 交并比 ; 语义分割 ; 裂缝识别 ; 卷积神经网络

Abstract

An intelligent method of asphalt pavement crack recognition based on semantic segmentation was proposed, solving the shortcomings of traditional manual inspection of asphalt pavement, such as low efficiency and lack of objectivity. Considering the effects of data set size, algorithm type, network type and depth, and loss function type, the optimal crack intelligent identification scheme and corresponding model were proposed for both large and small scale data sets through the comparative study of 22 semantic segmentation models. Based on the asphalt pavement of sixth ring road in Beijing, the crack segmentation dataset R-Crack was established. The proposed intelligent identification scheme was verified and the crack parameters were automatically quantified. Results showed that the highest detection accuracy reached 83.45%. The average errors of crack length and width were 2.84% and 2.39% respectively by comparing the calculation results of crack parameters obtained through manual and automatic detection methods, The proposed intelligent recognition scheme provided a basis for the intelligent detection practice of asphalt pavement cracks in the expressway and other scenes.

Keywords： asphalt pavement inspection ; intersection over union ; semantic segmentation ; crack identification ; convolution neural network

PDF (1864KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

杨燕泽, 王萌, 刘诚, 徐慧通, 张小月. 基于语义分割的沥青路面裂缝智能识别. 浙江大学学报(工学版)[J], 2023, 57(10): 2094-2105 doi:10.3785/j.issn.1008-973X.2023.10.018

YANG Yan-ze, WANG Meng, LIU Cheng, XU Hui-tong, ZHANG Xiao-yue. Intelligent identification of asphalt pavement cracks based on semantic segmentation. Journal of Zhejiang University(Engineering Science)[J], 2023, 57(10): 2094-2105 doi:10.3785/j.issn.1008-973X.2023.10.018

截至2021年末，全国公路通车总里程达到528.07万 km，是1984年末的5.7倍，其中高速公路通车量达16.91万 km，总里程规模位居世界第一. 沥青公路凭借养护便捷、行车舒适的优点，在高速公路里程中占比超过 90% [1-2]. 随着运营年限的增加，运营维护问题突显，沥青公路整体面临长期、繁重的监测诊断与维护任务. 传统的路面检查方式以人工为主，存在工作环境危险、检测效率低、过于依赖人的主观经验等问题，难以保证结果的全面与精确[3]. 根据现行《JTG 5210-2018 公路技术状况评定标准》[4]以及《JTGT E61-2014 公路沥青路面技术状况自动化检测规程》[5]，对公路技术状况的检测提出具体要求：检测评价内容包括路面损坏. 裂缝作为主要路面损坏特征，是路面技术状况检测的重点之一. 不同于普通混凝土、水泥路面图像，沥青路面图像的多纹理性、多噪点性、光强多变性，导致图像中的裂缝信息微弱，增加了自动识别技术的挑战性[6]. 交通运输部颁布的《交通运输科技“十三五”发展规划》中明确阐述对高速公路的智能化管理，如何实现高速公路运维的自动化、智能化是当下的研究热点[7-9].

深度学习方法是计算机在无人工干预的情况下自主学习对象的特征. 卷积神经网络（convolutional neural network，CNN）也被证明是计算机视觉领域中先进的技术，在应用上主要分为3类[10]： 图像分类、目标检测、语义分割. 其中语义分割方法能够根据图像的纹理、场景和其他高层语义特征得出图像本身需要表达的信息，因此在裂缝检测中，语义分割能够在像素级别分割出裂缝的本身形态，有利于裂缝参数的量化计算[11].

众多学者基于语义分割地进行路面裂缝检测研究，不断提升裂缝检测精度及效率. 翁飘等[7]提出改进的全卷积神经网络(fully convolutional networks, FCN)，并基于自建的路面数据集对改进前后的网络分别进行测试，一定程度上提升了复杂环境下路面裂缝的检测精度. 李刚等[12]提出改进轻量级全局卷积网络的路面裂缝图像分割模型，在公开路面裂缝数据集上对比测试并验证其精度. 陈泽斌等[13] 基于自建路面裂缝数据集，运用改进后的U-net模型实现对路面裂缝图像自动识别并验证其识别精度. 阙云等[14]为了解决现有路面裂缝图像采集数量不足的问题，提出以改进型U-Net网络模型为基础的路面裂缝语义分割算法. Zhang 等[15]基于提出 CrackNet-R递归神经网络(recurrent neural network, RNN)算法，并采用该算法对测试沥青路面裂缝图像进行识别. Xiang等[16] 提出新的路面裂缝检测方法，是基于端到端（end-to-end）、可训练的深度卷积神经网络，在公开数据集上进行训练和测试，结果表明它可以准确识别裂纹特征. Yang等[17]提出用于路面裂缝检测的特征金字塔分层增强网络，运用特征金字塔融合上下文信息，可以准确识别裂缝.

针对沥青路面裂缝检测的相关领域，仍存在以下问题：1）大多路面裂缝识别的研究并未区分具体路面场景，针对沥青路面研究及应用少，普通路面主要分为水泥混凝土、沥青路面，两者图像背景特征差别大，混合检测会影响自动识别结果的精度；基于语义分割的裂缝检测研究多分布在混凝土结构表面[18-21]，针对沥青路面场景下的应用研究较少. 2）缺乏公开沥青路面裂缝数据集. 训练卷积神经网络需要大量标签样本，分割数据集获取难度高，虽然已有学者开展沥青路面裂缝识别相关研究，但是公开数据集仍然较少，裂缝标签样本数据匮乏. 3）缺乏针对沥青路面裂缝智能识别及量化的整体解决方案. 对于裂缝自动识别的研究通常是基于文章中的特定数据集、网络结构开展，多数方法及模型尚未开源不便于实用，因此很难对不同研究进行复现，得到统一的性能评估. 基于裂缝提取结果，满足实际应用需求的裂缝参数自动量化研究开展较少.

基于以上问题，提出适用于沥青路面裂缝、基于语义分割的智能识别及量化的整体解决方案. 通过对开源的语义分割方法进行优化，得到兼顾效率及精度的沥青路面裂缝自动识别模型，便于实际应用需求. 为了满足不同训练需求，分别针对较大规模数据集及较小规模数据集提供优选方案及对应模型. 基于北京六环高速公路沥青路面，建立沥青路面裂缝分割数据集 R-Crack，对提出的智能识别方案进行应用检验. 通过对比分析人工、自动化检测方式获得的裂缝参数量化结果，为沥青路面场景下的裂缝自动化检测实践提供参考依据.

1. 基于深度学习的语义分割方法

Csurka等[22]提出语义分割（image semantic segmentation，ISS），目标是图像中的每个像素进行分类，并将其标记为不同的语义类别. 与传统的图像分割相比，ISS的特点是为图像中的目标加上一定的语义信息[11]. 在沥青路面检测中，对裂缝目标进行像素级的分割，有利于裂缝参数（长度、宽度）的计算. 常用语义分割算法的优势及存在的问题总结如表1所示.

表 1   常用语义分割算法总结[11]

Tab.1  Summary of common semantic segmentation algorithms

时间 网络 特点及优势 存在问题
2014 FCN 传统CNN的全连接层换成卷积层，可以对图像每个像素预测，实现任意分辨率图像的输入. 结果准确率不高，忽略像素之间的关系，缺乏空间一致性
2015 U-Net 采用编码器解码器结构、跨层连接编码解码过程、网络结构小、模型简洁. 速度慢，检测区域重叠，定位准确性和上下文信息不兼得
2016 PSPNet 在FCN基础上，提出金字塔池化模块，融合局部和全局获取上下文信息，提取特征多样化，包含不同尺度信息. 分割目标的边界信息部分易丢失
2017 DeepLabV3 改进金字塔池化模块，使用全局平均池化结构，强调全局特征. 分割速度慢，对小尺寸物体分割效果不明显
2018 DeepLabV3+ 新的编码-解码结构实现多尺度上下文信息探索，优化运行速度. —

新窗口打开| 下载CSV


2. 语义分割模型对比研究

对语义分割算法的统一性能评价仅在包含多类目标的公开数据集（例如PASCAL VOC2012[23]、COCO[24]、Cityscapes[25]）上开展过. 在对裂缝自动识别的众多研究中，模型的评估通常是基于特定的数据集、网络结构等开展，并且多数方法及模型尚未开源，不便于实用，因此很难对不同研究进行复现，从而得到统一的性能评估. 基于相同的实验室条件，综合考虑数据集规模、网络结构、损失函数种类的影响，开展针对沥青路面裂缝，基于开源语义分割方法的对比研究，得到一套兼顾效率与精度的沥青路面裂缝自动识别模型的优选方案.

2.1. 数据集信息

选用公开沥青裂缝分割数据集 CRACK500 和 GAPS384[17,26] ，裂缝分别来自天普大学主校区沥青路面和德国沥青路面，数据集信息及示例如表2和图1所示. 表2中N为图片数量，R为分辨率，Bit为位深度. 将原始图像及标签图划分成训练集、验证集和测试集. 如表3所示. 由于2个数据集裂缝图像特点存在差异，为了保证测试的公平性，从2个数据集中分别挑选约60张共同作为试验测试集.

表 2   训练裂缝数据集的基本信息

Tab.2  Basic information of training crack datasets

数据集名称 N R Bit
CRACK500[26] 2 244 640 × 360 24
GAPS384[27] 509 540 × 640
540 × 440 		24

新窗口打开| 下载CSV


图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   训练裂缝数据集的示例

Fig.1   Example of training crack datasets


表 3   语义分割比选试验的数据集划分情况

Tab.3  Dataset partitioning of semantic segmentation comparison experiments

数据集 训练集数 验证集数 测试集数
CRACK500 1 753 430 123
GAPS384 407 41 123

新窗口打开| 下载CSV


2.2. 对比方案设计

选择表1所示的4种语义分割算法U-Net、DeeplabV3、PSPNet、DeeplabV3+，同时综合考虑数据集训练规模、算法种类、训练网络种类及深度、训练损失函数的影响，开展沥青路面裂缝自动化检测模型的对比研究如图2所示.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   语义分割模型的对比方案

Fig.2   Comparative schemes for semantic segmentation models


2.3. 试验参数设置

模型训练的硬件设备是基于实验室的Linux操作系统，采用的是PyTorch-1.9.1深度学习框架、CUDA10.2和python3.8的运行环境，在NVIDIA Tesla V100-SXM2-16GB上完成网络的训练与测试. 优化算法选择随机梯度下降法[27]（stochastic gradient descent, SGD）来最小化目标函数D，批量大小（batch-size）设置为16，迭代训练共400次. 在训练过程中，学习率根据训练情况动态调整，采用Poly指数变换策略[28]，使得学习率不断衰减. 在本试验中，初始学习率为0.001，控制曲线形状的权重值W为0.9.

$ {\rm{lr}}_{\rm{new}} = {\rm{lr}}_{\rm{base}} \times {\left(1 - \frac{E}{{{{E_{{\rm{max}}}}}}}\right)^{W}}. $

式中： $ {\rm{lr_{new}}} $为新的学习率； $ {\rm{lr_{base}}} $为基准学习率；epoch为迭代次数；Emax为最大迭代次数；W值为控制曲线的形状（通常大于1）、人为设定的超参数.

1）模型训练流程及各关键步骤的逻辑关系如图3所示. 对输入的数据集通过统一的预处理，增广数据及特征信息. 2）采用统一数据集格式完成对不同算法的训练，训练迭代完成后. 3）得到的语义分割模型，并在测试集上检验训练效果.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   语义分割模型训练的流程图

Fig.3   Flowchart of semantic segmentation model training


2.4. 评估指标

为了衡量不同语义分割模型的作用及贡献建立混淆矩阵，其中TP为模型预测是裂缝且真实值也是裂缝的像素个数、FP为模型预测是裂缝但是真实值不是裂缝的像素个数、FN为模型未预测是裂缝但是真实值是裂缝的像素个数、TN为模型未预测是裂缝且真实值的确不是裂缝的像素个数. 基于TP、FP、FN、TN，采用模型评价指标包括交并比（intersection over union, IOU）、准确率Acc、召回率Re、F1分数、精确率Pr[5]，其定义及计算公式如表4所示.

表 4   试验评估指标的汇总

Tab.4  Summary of evaluation indicators for experiment

指标全称 指标说明 计算公式
IOU 交并比：真实分割与系统预测分割结果两个几何之间的比值，IOU越大，表明模型预测到的裂缝与实际图片中的裂缝重合度越高. ${\rm{IOU}} = \dfrac{ {{\rm{TP}}} }{ {({\rm{TP}}+{\rm{FP}}+{\rm{FN}})} }.$
Accuracy 准确率：预测正确的像素数量占实际总像素数量的比例，Accuracy值越大，表明模型在像素预测的正确性上效果更好. ${\rm{Acc}} = \dfrac{ {{\rm{TP}}+{\rm{TN}}} }{ {{\rm{TP}}+{\rm{TN}}+{\rm{FP}}+{\rm{FN}}} }.$
Precision 精确率：针对预测结果而言的，用于衡量模型检测的有多准，一类实际像素个数占模型预测为该类像素的比例，值越大，表明模型在该类的所有预测结果中正确预测的可能性越高. ${\rm{Pr}} = \dfrac{ {{\rm{TP}}} }{ {{\rm{TP}}+{\rm{FP}}} }.$
Recall 召回率：针对原样本而言的，用于衡量模型预测结果有多全面的指标；其含义是在实际为正的样本中被预测为正样本的概率. ${\rm{Re}}=\dfrac{{\rm{TP}}}{{\rm{TP}}+{\rm{FN}}}.$
Fscore F1分数：它以两者同样重要的权重将召回率和精确率加权调和平均，该值越大，表明被正确识别的裂缝像素越多，分割结果越精确，效果越好. ${\rm{F}}1 = \dfrac{ {2{\rm{Pr}}\times {\rm{Re}}} }{ {{\rm{Pr}}+{\rm{Re}}} }.$
Loss 损失函数值：损失函数是表现深度学习模型预测和实际数据差距程度的函数，其值越小，说明模型的鲁棒性越好. ——

新窗口打开| 下载CSV


3. 试验结果及分析

在训练结束后，各数据集基本信息如表5所示. 表中加粗部分的模型为较小规模数据集. 由于分割数据集构建成本大，缺乏足够的数据量，而且不同研究所采用的数据集规模不一，需要考虑数据集规模对模型训练的影响. 将训练数据集大于1 000张的CRACK500[17]作为较大规模数据集，小于1 000张的GAPS384[26]作为较小规模数据集，通过分别训练及测试，考虑不同的训练因素（网络结构、损失函数），针对较大规模数据集及较小规模数据集分别提供优选方案及对应模型.

表 5   训练模型的基本参数

Tab.5  Basic parameters of training model

模型序号 算法 网络 损失函数 占用空间/MB 训练时长/h
模型1（M1） U-Net R101 CROSS 423 3.12
模型2（M2） DeepLabV3 R101 CROSS 665 4.56
模型3（M3） PSPNet R101 CROSS 519 3.43
模型4（M4） DeepLabV3+ R101 CROSS 478 3.53
模型5（M5） DeepLabV3 R101 FOCAL 665 3.79
模型6（M6） PSPNet R101 FOCAL 519 2.72
模型7（M7） DeepLabV3 R101 DICE 665 3.78
模型8（M8） PSPNet R101 DICE 519 2.71
模型9（M9） U-Net R101 CROSS 423 11.68
模型10（M10） DeepLabV3 R101 CROSS 665 20.40
模型11（M11） PSPNet R101 CROSS 519 15.80
模型12（M12） DeepLabV3+ R101 CROSS 478 14.21
模型13（M13） DeepLabV3 R101 FOCAL 665 18.29
模型14（M14） PSPNet R101 FOCAL 519 12.98
模型15（M15） DeepLabV3 R101 DICE 665 18.23
模型16（M16） PSPNet R101 DICE 519 15.86
模型17（M17） DeepLabV3 R50 CROSS 518 13.40
模型18（M18） DeepLabV3 R18 CROSS 106 4.80
模型19（M19） DeepLabV3 MV2 CROSS 142 4.10
模型20（M20） PSPNet R50 CROSS 373 8.20
模型21（M21） PSPNet R18 CROSS 97.6 4.90
模型22（M22） PSPNet MV2 CROSS 104 3.90

新窗口打开| 下载CSV


3.1. 训练数据集规模及算法的影响

在不同数据集规模下，不同算法训练得到的模型1~4和9~12的损失函数曲线及准确率曲线，如图4所示. 随着迭代次数增加，模型损失函数值均随迭代次数不断下降，没有出现过拟合、欠拟合的情况，表明试验超参数选择合理. 模型3、4、11、12训练过程稳定，特点在于准确率高，损失函数值低，特征学习能力强. PSPNet和DeepLabV3+算法在模型学习中，调用金字塔模块，兼顾裂缝目标物浅层和深层的特征融合，促进局部信息的上下文的获取.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   不同算法模型的准确率和损失曲线

Fig.4   Accuracy and loss curves of different algorithm models


在训练结束后，模型测试结果对比如表6所示. 模型1~4的交并比、准确率、F1分数远大于模型9~12，说明较大规模的数据有助于模型的表征学习，从而提高裂缝的预测精度. 模型1、9测试交并比最低，分别为57.78%和69.59%，表明裂缝的预测结果图与原标签图重合度最低，这是由于U-Net在获取图像的上下文信息和保证定位准确性上是不兼得的，因此识别效果较差. 模型3、4及11、12的准确率、F1分数均较高且相差不大. 在图像的所有像素点中，准确率最高为86.76%，表明最高有86.76%的像素被正确预测. 在保证精度的前提下，模型3、11的FPS值最大，分别为0.85、0.71 帧/s. PSPNet算法得到的模型在检测精度和效率上有较好的性能.

表 6   不同算法模型的测试结果

Tab.6  Test results of different algorithm models

分类 模型序号 IOU/% Acc/% F1/% FPS（帧/s）
小数据集 M1_U-Net 57.78 59.16 0.62 0.45
M2_Deeplab V3 63.91 65.62 0.71 0.87
M3_PSPNet 65.51 67.18 0.73 0.85
M4_ Deeplab V3+ 65.27 67.29 0.73 0.69
大数据集 M9_ U-Net 69.59 85.09 0.79 0.87
M10_ Deeplab V3 75.60 86.30 0.84 0.56
M11_ PSPNet 75.12 86.76 0.84 0.71
M12_ Deeplab V3+ 75.70 86.66 0.85 0.63

新窗口打开| 下载CSV


在裂缝可视化结果中，将模型9、12分割结果的误识别（FN）、漏识别（FP）面积进行对比，如图5所示，在测试集上准确率最高的模型12 “FN+FP”总面积比准确率最低的模型9小得多，表明DeepLabV3+漏识别、误识别像素点更少，分割结果与人工标签图更吻合，分割效果更好. 图中中间部分FN为被误识别为背景的实际裂缝区域，上下部分FP为被识别在裂缝范围内实际没有裂缝的区域. 模型9~12的裂缝分割结果可视化结果如图6所示，通过对比，模型11、12分割出的裂缝，边缘轮廓更精确，连续性更好，表明DeepLabV3+和PSPNet对沥青路面裂缝的分割确实有更好的效果.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   模型9、12模型分割结果误识别（FN）、漏识别（FP）面积对比

Fig.5   Area comparison of false identification (FN) and missing identification (FP) of model segmentation results


图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   模型9~12裂缝分割结果可视化

Fig.6   Model 9~12 visualization of crack segmentation results


通过批量对比模型9~12在检测集中其余所有的裂缝分割结果图，得到分割结果中产生FP区域（模型预测为裂缝但是真实值不是裂缝的像素个数）的2个主要原因. 1）裂缝周围部分区域存在类似于裂缝的划痕、树枝阴影、标线等特征物被模型误识别. 2）模型对于裂缝目标边缘的分割不够精确，导致识别到的裂缝稍宽于实际裂缝，产生误识别的裂缝像素.

3.2. 不同损失函数的影响

选用交叉熵（cross-entropy loss）、骰子（dice loss）、Focal损失函数（focal loss）[29-30]分别作为模型训练的损失函数，对比训练及测试结果. 选用交叉熵（cross-entropy loss）、骰子（dice loss）、Focal损失函数（focal loss）[29-30]分别作为模型训练的损失函数，对比训练及测试结果。交叉熵损失函数是一种主要用于度量2个概率分布间的损失函数；骰子损失函数由Dice系数衍生而来，是一种区域相关的损失函数；Focal损失函数是一种通过对交叉熵损失增加权重，在一定程度上解决正负样本分布不均衡问题的损失函数.

训练结束后，损失函数、准确率曲线如图7所示，测试结果如表7 所示. 在小数据集上，模型2、3的训练准确率更高，表明运用交叉熵损失函数模型训练效果更好，检测精度更高. 在大数据集上，模型10、11、13、14训练效果相近，运用交叉熵损失函数和Focal损失函数都获得了较好的训练及检测效果. 但模型7、8、15、16训练曲线整体波动幅度大，且准确率较低，表明不论在大数据集上还是小数据集上，使用骰子损失函数训练的模型学习效果较差，训练过程不稳定且学习不充分. 从原理上看，由于交叉熵函数是对所有样本的损失函数值求平均，而骰子损失函数在裂缝检测的应用中（“背景”和“裂缝” 2类像素），小目标“裂缝”作为正样本，一旦有部分像素预测错误，便会导致骰子损失函数值发生大幅度的变动以及梯度的剧烈变化. 由于模型没有得到充分的学习，交并比与其他模型相比低3%~6%，识别结果与标签图重合度低.

图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   不同损失函数模型的准确率曲线

Fig.7   Accuracy curves of different loss function models


表 7   不同损失函数模型测试结果

Tab.7  Test results of different loss function models

分类 模型序号 IOU/% Acc/% F1/% FPS（帧/s）
小数据集 M2_CROSS 63.91 65.62 0.71 0.87
M5_FOCAL 61.70 63.33 0.68 0.87
M7_DICE 58.13 59.63 0.64 0.87
M3_CROSS 65.51 67.18 0.73 0.85
M6_FOCAL 63.29 65.61 0.70 0.82
M8_DICE 58.34 59.75 0.63 0.85
大数据集 M10_CROSS 75.90 86.30 0.85 0.56
M13_FOCAL 77.41 85.38 0.86 0.55
M15_DICE 71.60 84.76 0.81 0.55
M11_CROSS 75.12 86.76 0.84 0.71
M14_FOCAL 74.13 85.31 0.83 0.67
M16_DICE 69.94 84.71 0.79 0.67

新窗口打开| 下载CSV


3.3. 不同网络深度及种类的影响

裂缝检测任务首要满足的应是模型识别精度，选择3.2节中精度更高的交叉熵损失函数作为对不同网络深度及种类影响研究中的不变量，由于较小规模数据集训练所得的模型识别精度低，因此不再进一步开展不同网络深度及种类的影响研究. ResNet[31]是深度学习领域十分常用的特征提取网络，由何凯明团队于2015年提出. 它主要通过构建残差块解决了堆叠式的传统深层网络带来的模型识别准确度“退化”问题. 在裂缝自动化检测的实际应用中，大多数会使用移动或者嵌入式设备，因此对轻量级网络的研究十分必要. Google团队在2018年提出深度可分离卷积网络MobileNet V2[32]，引入线性瓶颈 (linear bottleneck)和逆残差 (inverted residual)来提高网络的表征能力，在计算量与内存占用上远小于标准卷积.

选用ResNet101、ResNet50、ResNet18以及更轻量化的MobileNetV2[32-33] 4种网络结构开展对比研究，训练损失函数、准确率曲线如图8 所示，模型测试结果如表8所示. 在相同的试验条件下，运用不同种类和深度的网络进行模型训练，获得不同的训练效果. 随迭代次数增加，模型18、21分别与模型10、17和模型11、20相比，训练准确率低，损失函数值高，更深的特征提取网络（ResNet50、ResNet101）能够让模型获取更好的训练效果. 原因是网络深度的增加能够增加网络的非线性映射次数，使得网络能够提取具有更好判决信息的特征，从而提升模型性能. 简单地增加网络的深度并不会自动提高模型的精度，例如模型10、17和模型11、20，分别采用50层的ResNet网络和101层ResNet网络，但准确率与损失函数值接近，训练效果相差不大. 因此在数据集数量小且条件有限的情况下，运用浅层网络例如ResNet50、ResNet18，也能达到较好的训练效果. 模型19、22与其他模型相比，训练速度最快，内存占用少. 此外，在对测试集图像的推理中，分别达到了3.50和4.56帧/s速度，远快于其他模型. 表明采用轻量级的深度可分离卷积网络MobileNetV2训练得到的模型，在损失一定精度的同时，训练时间、检测速度以及内存占用等方面均占有较大优势，能够满足实时检测的场景需求.

图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   不同网络结构的准确率和损失曲线

Fig.8   Accuracy and loss curves of different network structures


表 8   不同网络结构模型的测试结果

Tab.8  Test results of different network structure models

模型序号 IOU/% Acc/% F1/% FPS/（帧·s−1）
M10_R101 75.90 86.30 0.85 0.56
M17_R50 77.96 86.72 0.87 0.62
M18_R18 72.72 85.53 0.82 2.67
M19_MV2 75.67 85.59 0.85 3.05
M11_R101 75.12 86.76 0.84 0.71
M20_R50 76.20 85.69 0.85 1.03
M21_R18 74.75 86.23 0.84 2.67
M22_MV2 71.71 82.09 0.81 4.56

新窗口打开| 下载CSV


3.4. 语义分割模型优选方案

基于对比结果，提出分别适用于较大规模数据集及较小规模数据集的优选智能识别方案及对应模型如图9所示，供高速公路等场景下沥青路面裂缝的自动化检测实践提供参考. 在没有计算资源等条件的限制下，检测精度最高的两个优选方案模型分别是DeepLabV3+_R101_CROSS和PSPNet_R101_CROSS.

图 9

新窗口打开| 下载原图ZIP| 生成PPT

图 9   沥青路面裂缝智能检测模型的优选方案

Fig.9   Optimal scheme of intelligent detection model for asphalt pavement cracks


4. 基于语义分割模型的应用检验

基于北京六环高速公路检测车数据，构建裂缝分割数据集R-Crack. 对提出的智能识别解决方案在实际的沥青路面裂缝上开展应用检验. 并基于检验结果及实际检测需求，完成裂缝参数的量化与对比分析.

4.1. 沥青路面裂缝智能识别应用整体方案

沥青路面语义分割的裂缝自动化识别及量化整体解决方案如图10所示. 利用裂缝数据集进行语义分割模型训练，将所得模型应用于已有路面数据的检测中，分析测试结果及裂缝参数的量化结果、精度及效率是否满足实际工程需求. 若是满足，所得模型可以用于生产检测；若是不满足，则需要通过改进算法、数据集质量及规模等方式循环优化模型，直到满足为止.

图 10

新窗口打开| 下载原图ZIP| 生成PPT

图 10   沥青路面裂缝自动化识别及量化整体解决方案的流程图

Fig.10   Flowchart of integrated solution for automatic identification and quantification of asphalt pavement cracks


4.2. 沥青路面裂缝数据集构建

在语义分割模型的训练过程中，模型的训练质量与预测结果的准确率与所选数据集质量息息相关[23]. 公开的路面裂缝分割数据集如CRACK500、GAPS等[17,26]，图像数量少，需要采用旋转、镜像等图像处理操作来增广数据集. 由于不同地区拍摄条件、路面环境不同，同样是沥青路面，但裂缝特征存在明显差异. 因此本文针对现有公开数据集不足的问题，结合北京六环高速公路的实际数据，制作沥青路面裂缝分割数据集R-Crack，数据集构建流程如图11 所示，收集共有路面采集车原始图像有4 479张，通过540 p×640 p（长宽分配根据实际裂缝形态确定）的滑动窗口滑动筛选并裁剪出形态不一、且包含不同特征物的裂缝，得到共 468 张清晰的裂缝图像. 通过图像标注软件Labelme制作人工标签，人工判断并选取较为准确的裂缝区域，对于裂缝的边缘像素，本着“疑有从无”的原则进行添补，得到更为精确的裂缝标签，保证检测精度. 将裂缝像素标记为255，背景像素标记为0，得到自制沥青路面裂缝数据集R-Crack，数据集标注结果如图12所示.

图 11

新窗口打开| 下载原图ZIP| 生成PPT

图 11   沥青路面裂缝分割数据集R-Crack构建的流程图

Fig.11   Flowchart of asphalt pavement crack segmentation dataset R-Crack construction


图 12

新窗口打开| 下载原图ZIP| 生成PPT

图 12   “R-Crack”数据集标注示例

Fig.12   Example of "R-Crack" dataset annotation


4.3. 裂缝参数计算

基于实际应用需求，对识别结果进行参数量化的计算与分析，包括提取裂缝中轴骨架、裂缝长度、宽度的计算.

4.3.1. 裂缝骨架提取

采用Zhang-Suen迭代算法[34]得到裂缝中轴骨架如图13 (a)所示，将连通区域细化成像素的宽度如图13 (b)所示，有利于进行裂缝参数的具体量化.

图 13

新窗口打开| 下载原图ZIP| 生成PPT

图 13   裂缝骨架提取的示意图

Fig.13   Sketch map of crack skeleton extraction


4.3.2. 裂缝长度计算

裂缝长度的计算参考文献[35]中的像素统计法，对于局部曲率大、反复折叠的裂缝，利用骨架线的像素总和计算裂缝长度，要比利用骨架线上某几个点之间的距离之和计算更为准确.

4.3.3. 裂缝宽度计算

裂缝宽度的计算采用“最大内切圆”的计算方法. 当输入裂缝分割二值图像后寻找裂缝边缘，输出图像中按照真实的情况建立等级关系的所有轮廓. 对轮廓内的区域像素化，进而得到裂缝轮廓内每一个像素点与边缘的距离，采用二分法搜索这些距离中符合条件的点作为内切圆圆心，遍历所有像素点中的最大值，其内切圆的直径就是该条裂缝的最大宽度，通过遍历图片中的所有裂缝得到最大裂缝宽度，运用这种方法可以完成对简单裂缝和复杂裂缝的宽度计算. 其中应用二分法搜索内接圆半径的方法如图14，基本步骤是对每一个像素点. 1) 确定小半径SR（OA），其所形成的的圆在轮廓内（含切）；2) 确定大半径BR（OB），其所形成的的圆在轮廓外；3) 不断迭代BR和SR，使得|BR-SR|≤a（a为设定的精度值）；4) 停止迭代，得到轮廓内最大内切圆半径.

图 14

新窗口打开| 下载原图ZIP| 生成PPT

图 14   最大内切圆裂缝宽度计算原理的示意图

Fig.14   Schematic diagram of calculation principle of maximum inscribed circle crack width


4.4. 语义分割模型应用检验

基于图9中所得沥青路面裂缝自动化检测优选模型方案，在R-Crack上进行测试，结果如表9所示. 运用所提的优选模型对沥青路面裂缝的识别可以达到83.45%的准确率，能够相对准确地对实际路面裂缝进行像素级别的检测，其中不同环境及形态的裂缝检测结果结果如图15所示.

表 9   优选模型的应用检验结果

Tab.9  Application test results of optimized model

数据集名称 模型名称 IOU/% Acc/% F1/% FPS（帧/s）
R-Crack DeepLabV3+
_R101_CROSS 		79.56 83.45 0.85 0.65
R-Crack PSPNet_R101_CROSS 78.49 82.14 0.81 0.39

新窗口打开| 下载CSV


图 15

新窗口打开| 下载原图ZIP| 生成PPT

图 15   北京六环沥青路面裂缝检测结果

Fig.15   Crack detection results of sixth ring road in Beijing


基于前述裂缝参数计算方法，自R-Crack的应用检测结果中随机选取裂缝检测结果作整体误差分析如图16所示，m为图像序号，Δ为与人工相比的绝对误差像素值. 结果表明，自动化检测得到的裂缝参数与人工标签图相比，裂缝长度平均相对误差为2.84%，宽度为2.39%，满足实际检测应用需求，表明提出的语义分割优选模型在实际沥青路面检测的应用实践及量化上具有可行性.

图 16

新窗口打开| 下载原图ZIP| 生成PPT

图 16   裂缝参数自动化提取绝对误差

Fig.16   Extraction results of crack skeleton


5. 结　语

综合考虑数据集规模、算法种类、网络种类及深度、损失函数类型的影响，针对较大规模、较小规模数据集分别提供模型训练的优选方案，得到兼顾效率与精确度的语义分割模型，提出适用于沥青路面裂缝、基于语义分割的智能识别及参数量化的整体解决方案. 基于北京六环高速公路沥青路面，构建裂缝分割数据集“R-Crack”，对提出的智能识别方案进行应用检验，并自动量化裂缝参数（裂缝长度、宽度）. 通过对比分析人工及自动化检测方式获得的裂缝参数计算结果，说明利用本研究优选方案可以相对准确地完成实际沥青路面裂缝检测，验证了提出的自动化方法在实际沥青路面裂缝检测工作中应用的可行性.

参考文献

交通运输部

2020年全国收费公路统计公报

[J]. 交通财会, 2021, (11): 93- 96

[本文引用: 1]

Ministry of Transport

2020 national toll road statistics bulletin

[J]. Transportation Finance and Accounting, 2021, (11): 93- 96

[本文引用: 1]

徐鹏, 祝轩, 姚丁, 等

沥青路面养护智能检测与决策综述

[J]. 中南大学学报: 自然科学版, 2021, 52 (7): 2099- 2117

[本文引用: 1]

XU Peng, ZHU Xuan, YAO Ding, et al

Review on intelligent detection and decision-making of asphalt pavement maintenance

[J]. Journal of Central South University: Science and Technology, 2021, 52 (7): 2099- 2117

[本文引用: 1]

马建, 赵祥模, 贺拴海, 等

路面检测技术综述

[J]. 交通运输工程学报, 2017, 17 (5): 121- 137

DOI:10.3969/j.issn.1671-1637.2017.05.012      [本文引用: 1]

MA Jian, ZHAO Xiang-mo, HE Shuan-hai, et al

Review of pavement detection technology

[J]. Journal of Traffic and Transportation Engineering, 2017, 17 (5): 121- 137

DOI:10.3969/j.issn.1671-1637.2017.05.012      [本文引用: 1]

交通运输部公路研究院. 公路技术状况评定标准: JTG 5210-2018 [S]. 北京: 人民交通出版社, 2018: 17-21.

[本文引用: 1]

交通运输部公路研究院. 公路路面技术状况自动化检测规程: JTGT E61-2014 [S]. 北京: 人民交通出版社, 2014: 11-14.

[本文引用: 2]

黎蔚, 朱平哲

沥青路面裂缝图像检测算法研究

[J]. 计算机工程与应用, 2012, 48 (19): 163- 166

DOI:10.3778/j.issn.1002-8331.2012.19.037      [本文引用: 1]

LI Wei, ZHU Ping-zhe

Image detection algorithm research for asphalt pavement crack

[J]. Computer Engineering and Applications, 2012, 48 (19): 163- 166

DOI:10.3778/j.issn.1002-8331.2012.19.037      [本文引用: 1]

翁飘, 陆彦辉, 齐宪标, 等. 基于改进的全卷积神经网络的路面裂缝分割技术[J]. 计算机工程与应用, 2019, 55(16): 235-239.

[本文引用: 2]

WENG Piao, LU Yan-hui, QI Xian-biao, et al. Pavement crack segmentation technology based on improved fully convolutional networks [J]. Computer Engineering and Applications. 2019, 55(16): 235-239.

[本文引用: 2]

赵颖. 基于卷积神经网络的沥青路面裂缝图像筛选与分割[D]. 石家庄: 石家庄铁道大学, 2021: 9-13.

ZHAO Ying. Pavement crack segmentation technology based on improved fully convolutional networks [D]. Shijiazhuang: Shijiazhuang Railway University, 2021: 9-13.

唐由之. 基于卷积神经网络的沥青路面裂缝智能识别算法研究[D]. 成都: 西南交通大学, 2021: 13-22.

[本文引用: 1]

TANG You-zhi. Research on intelligent cracks detection algorithm of asphalt pavement based on convolutional neural network [D]. Chengdu: Southwest Jiaotong University, 2021: 13-22.

[本文引用: 1]

HSIEH Y A, TSAI Y J

Machine learning for crack detection: review and model performance comparison

[J]. Journal of Computing in Civil Engineering, 2021, 34 (5): 04020038

[本文引用: 1]

田萱, 王亮, 丁琪

基于深度学习的图像语义分割方法综述

[J]. 软件学报, 2019, 30 (2): 440- 468

DOI:10.13328/j.cnki.jos.005659      [本文引用: 3]

TIAN Xuan, WANG Liang, DING Qi

Overview of image semantic segmentation methods based on deep learning

[J]. Journal of Software, 2019, 30 (2): 440- 468

DOI:10.13328/j.cnki.jos.005659      [本文引用: 3]

李刚, 高振阳, 张新春, 等

改进的全局卷积网络在路面裂缝检测中的应用

[J]. 激光与光电子学进展, 2020, 57 (8): 111- 119

[本文引用: 1]

LI Gang, GAO Zhen-yang, ZHANG Xin-chun, et al

Application of improved global convolution network in pavement crack detection

[J]. Progress in Laser and Optoelectronics, 2020, 57 (8): 111- 119

[本文引用: 1]

陈泽斌, 罗文婷, 李林. 基于改进U-net模型的路面裂缝智能识别[J]. 数据采集与处理. 2020, 35(2): 260-269.

[本文引用: 1]

CHEN Ze-bin, LUO Wen-ting, LI Lin. Automatic identification of pavement crack using improved U-net model [J]. Journal of Data Acquisition and Processing, 2020, 35(2): 260-269.

[本文引用: 1]

阙云, 季雪, 蒋子平, 等. GAN数据增强下路面裂缝语义分割算法[EB/OL]. (2022-07-08) [2022-12-04]. http://doi.org/10.13229/j.cnki.jdxbgxb20220003.

[本文引用: 1]

QUE Yun, JI Xue, JIANG Zi-ping, et al. Semantic segmentation algorithm of pavement cracks based on GAN data augmentation [EB/OL]. (2022-07-08)[2022-12-04]. http://doi.org/10.13229/j.cnki.jdxbgxb20220003.

[本文引用: 1]

ZHANG A, WANGK C P, FEI Y, et al

Automated pixe mmevel pavement crack detection on 3D asphalt surfaces with a recurrent neural network

[J]. Computer Aided Civil and Infrastruc Ture Engineering, 2018, 34 (3): 213- 229

[本文引用: 1]

XIANG X, ZHANG Y, SADDIK ABDULMOTALEB S

Pavement crack detection network based on pyramid structure and attention mechanism

[J]. IET Image Processing, 2020, 14 (8): 1580- 1586

DOI:10.1049/iet-ipr.2019.0973      [本文引用: 1]

YANG F, LEI Z, SIJIA Y, et al

Feature pyramid and hierarchical boosting network for pavement crack detection

[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, (4): 1525- 1535

[本文引用: 4]

韩晓健, 赵志成

基于计算机视觉技术的结构表面裂缝检测方法研究

[J]. 建筑结构学报, 2018, 39 (增1): 418- 427

DOI:10.14006/j.jzjgxb.2018.S1.055      [本文引用: 1]

HAN Xiao-jian, ZHAO Zhi-cheng

Structural surface crack detection method based on computer vision technology

[J]. Journal of Building Structures, 2018, 39 (增1): 418- 427

DOI:10.14006/j.jzjgxb.2018.S1.055      [本文引用: 1]

周颖, 刘彤

基于计算机视觉的混凝土裂缝识别

[J]. 同济大学学报: 自然科学版, 2019, 47 (9): 1277- 1285

ZHOU Ying, LIU Tong

Computer vision-based crack detection and measurement on concrete structure

[J]. Journal of Tongji University: Natural Science, 2019, 47 (9): 1277- 1285

孟诗乔, 张啸天, 乔甦阳, 等

基于深度学习的网格优化裂缝检测模型研究

[J]. 建筑结构学报, 2020, 41 (增2): 404- 410

DOI:10.14006/j.jzjgxb.2020.S2.0045     

MENG Shi-qiao, ZHAO Xiao-tian, QIAO Su-yang, et al

Research on grid optimized crack detection model based on deep learning

[J]. Journal of Building Structures, 2020, 41 (增2): 404- 410

DOI:10.14006/j.jzjgxb.2020.S2.0045     

丁威, 俞珂, 舒江鹏

基于深度学习和无人机的混凝土结构裂缝检测方法

[J]. 土木工程学报, 2021, 54 (增1): 1- 12

[本文引用: 1]

DING Wei, YU Ke, SHU Jiang-peng

Method for detecting cracks in concrete structures based on deep learning and UAV

[J]. Journal of Civil Engineering, 2021, 54 (增1): 1- 12

[本文引用: 1]

CSURKA G, PERRONNIN F

An efficient approach to semantic segmentation

[J]. International Journal of Computer Vision, 2011, 95 (2): 198- 212

DOI:10.1007/s11263-010-0344-8      [本文引用: 1]

EVERINGHAM M, ESLAMI S M, GOOL L V, et al

The pascal visual object classes challenge: a retrospective

[J]. International Journal of Computer Vision, 2015, 111 (1): 98- 136

DOI:10.1007/s11263-014-0733-5      [本文引用: 2]

LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: common objects in context [C]// Computer Vision–ECCV. Zürich: SIP, 2014: 740-755.

[本文引用: 1]

CORDTS M, OMRAN M, RAMOS S, et al. The cityscapes dataset for semantic urban scene understanding [C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 2039-2047.

[本文引用: 1]

EISENBACH M, STRICKER R, SEICHTER D, et al. How to get pavement distress detection ready for deep learning? a systematic approach [C]// International Joint Conference on Neural Networks. Anchorage: IEEE, 2017: 2039−2047.

[本文引用: 4]

LEON B, FRANK E C, JORGE N

Optimization methods for large-scale machine learning

[J]. Siam Review, 2018, 60 (2): 223- 311

[本文引用: 2]

任凤雷, 何昕, 魏仲慧, 等

基于DeepLabV3+与超像素优化的语义分割

[J]. 光学精密工程, 2019, 27 (12): 2722- 2729

[本文引用: 1]

REN Feng-lei, HE Xin, WEI Zhong-hui

Semantic segmentation based on DeepLabV3+ and super pixel optimization

[J]. Optics and Precision Engineering, 2019, 27 (12): 2722- 2729

[本文引用: 1]

于桐, 吴文瑾, 刘海江, 等

基于改进U-Net网络与联合损失函数的海南自然保护区高分辨率遥感变化检测模型

[J]. 中国环境监测, 2021, 37 (5): 194- 200

[本文引用: 2]

YU Tong, WU Wen-jin, LIU Jiang-hai, et al

Remote sensing change detection model of Hainan nature reserves based on improved U-Net and joint loss function

[J]. Environmental Monitoring in China, 2021, 37 (5): 194- 200

[本文引用: 2]

LIN T Y, GOYAL P, GIRSHICK R, et al

Focal loss for dense object detection

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42 (2): 318- 327

[本文引用: 2]

HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770−778.

[本文引用: 1]

SANDLER M, HOCARD A, ZHU M, et al. MobileNetV2: inverted residuals and linear bottlenecks [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510−4520.

[本文引用: 2]

张晋赫, 秦育罗, 张在岩, 等

复杂场景下农村道路裂缝分割方法

[J]. 测绘通报, 2022, 66 (5): 74- 78

[本文引用: 1]

ZHANG Jin-he, QIN Yu-luo, ZHANG Zai-yan, et al

Rural road crack segmentation method in complex scene

[J]. Bulletin of Surveying and Mapping, 2022, 66 (5): 74- 78

[本文引用: 1]

汪德佳. 基于计算机视觉方法的古建筑变形监测[D]. 北京: 北京交通大学, 2022: 67−68.

[本文引用: 1]

Wang De-jia. Deformation monitoring of ancient buildings based on computer vision methods [D]. Beijing: Beijing Jiaotong University, 2022: 67−68.

[本文引用: 1]

刘宇飞. 基于模型修正与图像处理的多尺度结构损伤识别[D]. 北京: 清华大学, 2015: 188−189.

[本文引用: 1]

LIU Yu-fei. Multi-scale structural damage assessment based on model updating and image processing [D]. Beijing: Tsinghua University, 2015: 188−189.

[本文引用: 1]

/

〈 〉