工程设计学报, 2025, 32(1): 11-22 doi: 10.3785/j.issn.1006-754X.2025.04.109

机械设计理论与方法

3D打印混凝土界面孔隙智能检测方法研究

曾妮,,, 马宗方,,, 宋琳, 段明

西安建筑科技大学 信息与控制工程学院,陕西 西安 710055

Research on intelligent detection method of 3D printed concrete interface pore

ZENG Ni,,, MA Zongfang,,, SONG Lin, DUAN Ming

College of Information and Control Engineering, Xi'an University of Architecture and Technology, Xi'an 710055, China

通讯作者: 马宗方(1980—),男,教授,博士,从事信息融合、智慧城市及机器学习工业应用等研究,E-mail: zongfangma@xauat.edu.cn,https://orcid.org/0000-0002-0942-9052

收稿日期: 2024-01-31   修回日期: 2024-03-25  

基金资助: 国家自然科学基金面上项目.  62276207

First author contact: ZENG N, MA Z F, SONG L, et al. Research on intelligent detection method of 3D printed concrete interface pore[J]. Chinese Journal of Engineering Design, 2025, 32(1): 11-22.

Received: 2024-01-31   Revised: 2024-03-25  

作者简介 About authors

曾 妮(2000—),女,硕士生,从事3D打印混凝土界面孔隙智能检测方法研究,E-mail:1220863996@qq.com,https://orcid.org/0000-0001-5829-7052 , E-mail:1220863996@qq.com

摘要

目前,3D打印混凝土领域仍存在诸多问题,严重制约了其大规模工业化生产与应用。其中,孔隙为最常见缺陷,亟须发展相关检测技术,以提高混凝土的打印质量。针对现有3D打印混凝土界面孔隙检测方法主要依赖人的主观经验,且存在耗时长、成本高和计算资源耗费量大等缺陷,引入基于深度学习的目标检测算法,提出了一种轻量级的孔隙智能检测方法。首先,利用传统图像处理算法对3D打印混凝土界面孔隙图像进行预处理,并构建适用于目标检测算法的孔隙图像数据集;同时,基于所构建数据集的特点对锚框计算方法进行优化,以获取更适合界面孔隙目标的锚框,从而提升检测准确度。然后,在检测方法的主干网络中,利用ShuffleNetv2网络进行多尺度特征提取,并去掉部分网络以降低网络深度和减少计算参数量,从而提高孔隙检测效率。最后,在特征提取网络中融合极化自注意力机制模块,在保持高分辨率的同时增强对孔隙目标的关注度,以提高检测精度。实验结果表明,所提出的方法能够有效完成3D打印混凝土界面孔隙的智能化检测,通过与多种检测算法对比,发现该方法的多个性能指标均有所提升,检测效率提升显著。研究结果可为后续混凝土的质量控制和性能评估提供一定的数据支持。

关键词: 3D打印混凝土 ; 孔隙检测 ; ShuffleNetv2 ; 自注意力机制 ; 多尺度特征融合

Abstract

At present, the 3D printed concrete field is still hampered by numerous issues that impede its large-scale industrial production and application. Among these, pores stand out as the most prevalent defect. Consequently, there is an urgent imperative to develop pertinent detection technologies for enhancing the printing quality of concrete. Aiming at the existing 3D printed concrete interface pore detection methods that mainly rely on subjective experience of individuals, and have disadvantages such as long-time consumption, high cost and large computational resource consumption, a lightweight intelligent pore detection method is proposed by introducing a deep learning-based object detection algorithm. Firstly, the traditional image processing algorithms were employed to preprocess the 3D printed concrete interface pore images, and the pore image dataset suitable for the target detection algorithm was constructed. At the same time, based on the characteristics of the constructed dataset, the anchor-box calculation method was optimized to acquire anchor boxes that were better suited to the interface pore targets, so as to improve the detection accuracy. Then, within the backbone network of the detection method, the ShuffleNetv2 network was utilized for multi-scale feature extraction, and part of the network was removed to reduce the network depth and the number of calculation parameters, thereby enhancing the pore detection efficiency. Finally, in order to improve detection precision, the polarized self-attention mechanism module was incorporated into the feature extraction network to enhance the attention to the pore target while maintaining high resolution. Experimental results demonstrated that the proposed method could effectively complete the intelligent detection of 3D printed concrete interface pores. Through comparing with various detection algorithms, it was found that multiple performance indicators of the method were improved, and the detection efficiency was significantly boosted. The research results can provide some data support for the subsequent quality control and performance evaluation of concrete.

Keywords: 3D printed concrete ; pore detection ; ShuffleNetv2 ; self-attention mechanism ; multi-scale feature fusion

PDF (6320KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

曾妮, 马宗方, 宋琳, 段明. 3D打印混凝土界面孔隙智能检测方法研究[J]. 工程设计学报, 2025, 32(1): 11-22 doi:10.3785/j.issn.1006-754X.2025.04.109

ZENG Ni, MA Zongfang, SONG Lin, DUAN Ming. Research on intelligent detection method of 3D printed concrete interface pore[J]. Chinese Journal of Engineering Design, 2025, 32(1): 11-22 doi:10.3785/j.issn.1006-754X.2025.04.109

本文链接https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2025.04.109

3D打印混凝土技术是一种结合3D打印技术与商品混凝土领域技术的新型混凝土施工技术[1],通过自下而上层层堆积混凝土而成型。在实际建筑施工过程中,混凝土结构在多重因素影响下会出现变形、裂纹和孔隙等缺陷[2],造成宏观和微观上的不连续性,严重制约了其大规模的工业化生产与应用。其中,孔隙为最常见的缺陷,亟须开展相关检测方法研究[3-4]

目前,3D打印混凝土孔隙检测以人工接触式检测为主,利用物理仪器和化学手段进行辅助,但人工检测具有较大的随机性、主观性和一定的安全隐患,且物理仪器及化学材料价格不菲,对混凝土强度和检测时间要求较高,实际操作时易导致检测结果不够准确。为实现混凝土孔隙的智能化检测,国内外学者利用具有“智慧之眼”之称的机器视觉技术开展了大量研究[2]。王超等[5]利用传统图像处理算法实现了对岩石孔隙结构的连续定量分析。马宗方等[6]设计了一种基于层间信息熵和双阈值优化的打印构件精细分割算法,实现了对3D打印混凝土构件的分层检测和精细分割,但在实际检测过程中,该算法需人工计算对应的分割阈值,且检测结果易受外界环境干扰,自动化、智能化程度不足。

针对传统图像处理算法检测时存在泛化性能不强、鲁棒性差且计算资源耗费量大的问题,众多学者通过引入具有多层次特征抽象归纳与知识发现能力的深度学习算法,开展目标检测技术研究并取得了一定成果[7-14]。现阶段,基于深度学习的目标检测算法主要分为以Faster RCNN(region convolutional neural networks,区域卷积神经网络)[15]为代表的两阶段检测算法和以YOLO[16]、SSD(single shot multibox detector,单次多边框检测器)[17]为代表的一阶段检测算法。上述算法均利用自动抽取的方式来提取样本中的隐藏特征,具有速度快、精度高的分类和预测优势。Yan等[18]为解决模糊目标和小目标检测精度低的问题,通过融合跨阶段部分快速空间金字塔池化模块,提出了改进的YOLOv7模型,有效地提高了检测精度和实时性。Gao等[19]利用YOLOv5和DeepSort的混合模型开展目标检测,改善了检测结果易出现假阳性的现象。Jiang等[20]在YOLOv7算法的基础上引入多个CBAM(convolutional block attention module,卷积块注意力模块),用于增强网络的特征提取能力,以实现密集目标的实时检测。Zheng等[21]通过优化锚框算法来生成更合适的目标检测框,并添加了坐标注意力机制和HorBlock模块,在增强有效特征的同时削弱无效特征,并使用SIoU(shape intersection over union,形状交并比)和焦点损失函数来加速模型收敛,以解决正负样本不平衡的问题。Teng等[22]提出了一种基于改进YOLOv3的桥面缺陷检测网络,结合迁移学习和数据增强技术对YOLOv3进行改进,与YOLOv2和Faster RCNN相比,改进后的YOLOv3具有较高的检测效率。Zhang等[23]结合YOLOv3、MobileNets和CBAM来检测桥梁表面损伤。Wu等[24]在YOLOv4的基础上引入了修剪技术和Evo-Norm-S0结构,该改进算法能识别多种类型的混凝土损伤,与SSD300、YOLOv3和YOLO X-L算法相比,其检测精度更高且计算速度更快。综上所述,以YOLO为基础的改进算法在检测精度、速度和实时性方面具有很大优势,且具有较好的检测稳定性,但该类算法在3D打印混凝土界面孔隙检测领域尚未得到深入研究。

为此,本文拟基于YOLO算法提出一种轻量级的3D打印混凝土界面孔隙检测方法。首先,利用传统图像处理算法对3D打印混凝土界面孔隙图像进行预处理,以构建孔隙检测所需的数据集;然后,利用所提出的方法实现3D打印过程中混凝土界面孔隙缺陷的高效准确检测,便于后续修正处理,从而提高混凝土打印结构的稳定性和安全性,旨在进一步促进3D打印混凝土技术的发展与应用。

1 3D打印混凝土界面孔隙检测方法

根据3D打印混凝土界面孔隙检测的特点,在算法的选择及改进过程中均以检测精度和效率为主要考虑因素,本文从以下几个方面展开:1)构建3D打印混凝土界面孔隙图像数据集,针对特征提取阶段易丢失小目标特征信息的问题,对锚框计算方法进行优化,以生成更适合界面孔隙目标检测的锚框,从而降低孔隙漏检率;2)针对主流目标检测网络规模庞大、参数多及硬件要求高的问题,引入轻量化ShuffleNetv2网络[25]来进行特征提取,在减少参数量的同时提升检测速度,以实现在混凝土3D打印设备中的快速部署;3)在特征提取网络中融合极化自注意力(polarized self-attention, PSA)机制[26],通过计算数据样本之间的位置关系来避免大维度空间中出现梯度消失或爆炸的问题,并在保持高分辨率的同时增强对孔隙有效特征的关注度,以提升检测精度。本文所提出的3D打印混凝土界面孔隙检测方法的网络结构如图1所示。

图1

图1   3D打印混凝土界面孔隙检测方法的网络结构

Fig.1   Network structure of 3D printed concrete interface pore detection method


1.1 锚框计算方法优化

3D打印混凝土技术具有独特的成型特点,在打印时易出现界面孔隙分布不均和尺寸大小不一的问题。在目标检测中,常用的锚框计算方法为K-means聚类算法,在COCO(common objects in context)数据集上利用该算法进行聚类来确定锚框大小[27]。COCO数据集以大中型目标为主,故在特征提取阶段易丢失小目标特征信息,而本文建立的3D打印混凝土界面孔隙图像数据集包含大量小目标,若直接使用K-means聚类算法确定锚框大小,则会导致检测方法无法准确检测较小孔隙或漏检。鉴于K-means++聚类算法能够自动确定聚类数量并增强检测框对小目标的关注度,本文使用K-means++聚类算法来确定孔隙图像数据集中目标样本的锚框大小,以确保对小孔隙目标的准确检测,在一定程度上降低检测误差。

首先,从所有的孔隙标注框数据χ中随机选取1个孔隙标注框作为第1个聚类中心,并计算每个孔隙标注框与当前聚类中心之间的最短距离D(x)。然后,计算每个孔隙标注框被选为下一个聚类中心的概率P(x),公式如下:

P(x)=D2(x)xχD2(x)

最后,选择最大概率所对应的孔隙标注框作为下一个聚类中心:孔隙标注框距离当前聚类中心越远,则被选中的概率越高。重复上述过程,直至获得K个聚类中心,即K个孔隙标注框。

1.2 特征提取网络轻量化

现有的基于深度学习的主流目标检测网络的规模一般较为庞大,且涉及参数多,对硬件要求高,难以直接快速部署在3D打印设备上。为了实现快速检测,本文引入轻量级的ShuffleNetv2网络,作为3D打印混凝土界面孔隙特征提取网络,在减少参数量的同时提升检测速度[9]。同时,ShuffleNetv2网络支持多尺度的特征金字塔结构,可以更好地结合多尺度特征融合方法来提升检测小目标的能力,从而提高检测精度。ShuffleNetv2网络的结构如图2所示。孔隙图像经特征提取网络提取后的不同尺寸特征图如图3所示。

图2

图2   ShuffleNetv2网络结构

Fig.2   ShuffleNetv2 network structure


图3

图3   不同尺寸的孔隙特征图

Fig.3   Pore feature maps with different dimensions


1.2.1 通道分离及重排

通道分离操作是指将包含多个通道的特征映射成多个子集或分支,通过在神经网络的不同部分进行不同操作来帮助检测网络学习不同类型的特征,并将不同特征连接以生成更丰富的特征表示。

设输入特征图IRH×W×CR表示实数域,HWC分别表示特征图的高度、宽度和通道数),按通道数的一半对输入特征图进行分割,将通道分为2组,每组包含C/2个通道,将第1组记为A组,提取前一半的通道,第2组记为B组,提取后一半的通道。通道分离后特征图I可表示为:

I=[A1, A2, A3, , AC/2, B1, B2, B3, , BC/2]

式中: AiBii=1, 2,…, C/2)分别表示A组和B组内的第i个通道。

通道重排操作是指通过将每个子特征图的前半部分通道与后半部分通道进行交叉连接来增加通道间的交互和信息传递,从而提高检测性能。在完成通道分离后,提取对应的通道并分别进行逐通道卷积、池化和归一化等操作,并将各组的计算结果按通道重新组合,使得A组与B组的通道交替按顺序连接,以形成新的子特征图OAOB,可表示为:

OA=[A1, AC/4+1, A2, AC/4+2, A3, AC/4+3, , AC/2, AC/4]
OB=[B1, BC/4+1, B2, BC/4+2, B3, BC/4+3, , BC/2, BC/4]

将所有重排后的子特征图按通道维度进行连接,得到最终的输出特征图O,其尺寸与输入特征图I相同,即ORH×W×C

1.2.2 逐通道卷积

逐通道卷积是指使用1×1的卷积核对输入特征图的每个通道进行独立的卷积计算,即每个通道均存在独立的卷积核。在3D打印混凝土界面孔隙检测方法的轻量化设计中,使用逐通道卷积可在有效减少计算量和参数量的同时保持所提取特征的表达能力。

设输入的子特征图尺寸为H1×W1×C1H1W1C1分别表示子特征图的高度、宽度和通道数),卷积核的尺寸为1×1×T。将输入特征图和卷积核展开成二维矩阵,展开后的输入特征图和卷积核的尺寸可分别表示为:

H1×W1×C1(H1×W1)×C1
1×1×TT×1

然后,对展开后的输入特征图矩阵和卷积核矩阵进行逐元素卷积计算。设输出特征图中的某个位置为(h, w, c),其计算式如下:

(h, w, c)=i=0c-1j=0c-1Input(h, w, i)*Kernel(i, c)

式中:Input(h, w, i)表示输入特征图在位置(h, w)处的第i个通道值,Kernel(i, c)表示卷积核的第i个通道与输出特征图的第c个通道之间的权重。

逐元素卷积计算得到的结果为列向量,将列向量重新转换为输入特征图的尺寸,可表示为:

(H1×W1)×1H1×W1×1

最后,按通道维度重组所有子特征图,先将每个子特征图的相同通道位置堆叠在一起,再依次堆叠其他通道位置,以此得到最终的输出特征图,其尺寸为H1×W1×C1

图3可以看出,在特征提取过程中,通过加深网络层数的方式对输入数据进行排列、组合和卷积等操作,可使孔隙图像信息得到有效处理。与经典YOLOv5s模型相比,使用轻量化ShuffleNetv2网络后,模型的总计算量可降低至YOLOv5s的1/3左右,有效地提高了检测效率。

1.3 PSA机制模块融合

为提高本文所提出方法的孔隙检测能力,在特征提取网络中融合PSA机制模块,即针对不同重要程度的特征采用不同的加权方式,以实现对孔隙目标的聚焦。同时,采用PSA机制,可在处理混凝土界面孔隙图像数据时引入位置信息来改进检测模型的建模能力,以更好地捕获数据点之间的关系。PSA机制模块的结构如图4所示。

图4

图4   PSA机制模块结构

Fig.4   PSA mechanism module structure


在利用轻量化特征提取网络提取不同尺度的特征后,通过添加位置嵌入的方式将位置信息编码到输入数据中,使得每个数据点同时包含数据特征和位置信息。设输入序列的长度为N,每个位置的特征表示为 xi,生成查询向量 Qi 、键向量 Ki 和值向量 Vi,其计算式如下:

Qi=Wq×xi+bq
Ki=Wk×xi+bk
Vi=Wv×xi+bv

式中:Wq表示查询权重矩阵,bq表示查询偏置向量,Wk表示键权重矩阵,bk表示键偏置向量,Wv表示值权重矩阵,bv表示值偏置向量。

然后,引入位置注意力分数,通过计算每个数据点与其他数据点之间的注意力分数来衡量数据点之间的相关性。其中,注意力权重计算包含位置权重计算,通过将查询向量和键向量进行点积并适当缩放点积,以避免在大维度空间中出现梯度消失或爆炸的问题,随后加上注意力偏置,并使用Softmax函数计算得到注意力权重,计算式如下:

aij=Softmax(QiKiT)/dk+ba

式中:aij表示位置i对位置j的注意力权重,dk表示键向量的维度,ba表示注意力偏置向量。

对注意力权重与值向量进行加权求和,得到最终的自注意力表示,公式如下:

ci=iaijVi

式中:ci表示位置i的权重加权和。

最后,计算最终的输出特征向量,将位置权重的加权和与输出权重矩阵相乘后再与输出偏置向量相加,公式如下:

yi=Wo×ci+bo

式中: yi 表示位置i的输出特征, Wo表示输出权重矩阵, bo表示输出偏置向量。

融合PSA机制模块前后所提取的孔隙特征图对比如图5所示。由图5可以看出,在融合PSA机制模块后,特征提取网络对孔隙图像中的无关背景信息和待测目标信息作不同关注度处理。对比图5(b)与图5(a)可知,添加1层PSA机制模块后,在增强图像目标区域的同时弱化了不相关的背景区域,进一步提升了对孔隙目标的特征表达能力,并增加了对融合PSA机制模块前未注意到的孔隙目标特征的关注度,有效地提高了网络的特征提取能力。对比图5(c)与图5(a)和图5(b)可知,添加2层PSA机制模块后,网络的特征提取能力进一步加强,能够关注到添加1层PSA机制模块后所忽略的孔隙目标并对其进行信息增强,实现了在检测精度得到有效提升的同时降低漏检率。

图5

图5   融合PSA机制模块前后的孔隙特征图对比

Fig.5   Comparison of pore feature maps before and after fusing PSA mechanism module


1.4 多尺度特征融合检测

为使检测网络更加灵活地应对不同大小和比例的孔隙目标,在特征提取网络与检测网络头部之间引入一种自底向上和自顶向下的特征融合方法——PANet(path aggregation network,路径聚合网络)[28],用于融合多尺度的特征图,以确保每个特征图都包含不同尺寸目标的信息。结合YOLOv5s模型中的C3模块来增加网络的深度和感受野,以提高特征提取的能力。C3模块由多个Conv(convolution,卷积)模块组成,Conv模块用于对特征图进行升维或降维处理,包括卷积、归一化和非线性等操作,其采用残差结构,可将输入与输出相加,有效避免了梯度消失的问题。最终C3模块的两路结果联合后输入卷积核大小为1×1的Conv模块,以将通道数调整为输入时的通道数。多尺度特征融合检测的网络结构如图6所示。

图6

图6   多尺度特征融合检测的网络结构

Fig.6   Network structure for multi-scale feature fusion detection


图6可知,该检测网络中的Neck部分先通过多个卷积层提取底层特征,并将其转换为高维特征表示,然后从高层特征图开始通过上采样来提高分辨率,并将其转换为相同维度的特征表示,最后采用多种路径聚合操作将不同层次的特征图(包括自底向上的特征和自顶向下的特征)聚合在一起,生成具有多尺度信息的特征金字塔。

假设有p条路径,路径聚合公式可表示为:

Ri, j=z=1pSi, j(z)Hi, j(z), Vi, j(z)

其中:

Si, j(z)=σWs(z)*Hi, j(z), Vi, j(z)
Hi, j(z)=Wh(z)*Xi, jVi, j(z)=Wv(z)*Xi, j

式中:Ri, j表示最终的路径聚合输出特征,Hi, j(z)Vi, j(z)分别表示水平路径和垂直路径上位置(i, j)处的输出特征,Wh(z)Wv(z)Ws(z)分别表示各个路径上的权重,Xi, j表示输入特征图上位置(i, j)处的特征,σ表示激活函数。

将多尺度特征融合结果输入检测头,并输出最终检测结果,包括界面孔隙的边界框坐标、类别置信度和类别标签。3种尺寸的特征图对应3个检测头,每个检测头分别负责不同尺寸的孔隙目标检测。

2 实验与分析

在3D打印混凝土界面孔隙检测实验中,使用精确率P、召回率R、平均精度均值(mean average precision, mAP)和F1得分等指标对算法进行性能评估。本文所提出方法的检测流程如图7所示。首先,将实际采集到的3D打印混凝土界面孔隙图像的分辨率调整为(512×512)像素,并针对孔隙目标优化锚框;然后,将制作好的部分数据集输入所设计的检测模型进行训练,完成训练后输出训练权重;最后,利用测试集对训练好的模型进行验证。

图7

图7   3D打印混凝土界面孔隙检测流程

Fig.7   3D printed concrete interface pore detection process


2.1 孔隙图像数据集

采用双目相机拍摄实际3D打印混凝土构件获得孔隙图像。为了确保孔隙图像数据集在模型训练时具有较好的适应性,在采集孔隙图像时多次改变拍摄角度,以从多个不同形状的3D打印混凝土构件上采集数据,并通过人工筛选去除重复率高的数据以及因打印设备遮挡而未完整采集的冗余数据。然后,对筛选后的孔隙图像进行数据增强,包括旋转、裁剪及分割等操作,并对图像进行人工标注,将标注后的孔隙图像数据随机划分为训练集和测试集,分别用于训练和测试3D打印混凝土界面孔隙检测模型。最终获得的数据集包含1 500张孔隙图像,按7∶3的比例划分训练集与测试集,图像分辨率均为(512×512)像素。部分孔隙图像数据如图8所示。

图8

图8   3D打印混凝土构件界面孔隙图像

Fig.8   Interface pore images of 3D printed concrete component


2.2 实验环境

本文实验在Ubuntu的操作平台中开展,具体实验环境配置如表1所示。参数设定如下:训练总轮数为300,每一轮分为125个批次,每个批次所选取的孔隙图像数量为8张;置信度阈值为0.001;孔隙预测框与真实框的交并比为0.6。

表1   实验环境配置

Table 1  Experimental environment configuration

环境参数具体配置
内存128.00 GB
CPUIntel(R) Xeon(R) Gold 5218 CPU @ 2.30GHz
GPUTesla T4:16GB*2+cuda:11.8
操作平台Ubuntu
试验平台Python3.8+PyTorch2.0

新窗口打开| 下载CSV


2.3 实验结果与分析

2.3.1 锚框优化对比实验

为分析使用K-means++聚类算法优化锚框对3D打印混凝土界面孔隙检测方法性能的影响,将K-means聚类算法与K-means++聚类算法分别应用到3D打印混凝土界面孔隙检测模型中进行对比,结果如表2所示。表中:mAP@.5表示交并比设为0.50时的mAP;mAP@.5:.95表示交并比取不同阈值时(0.50~0.95,步长为0.05)的平均mAP。从表2中可以发现,与K-means聚类算法相比,采用K-means++聚类算法重新计算锚框大小后检测模型的精度和效率均有所提升,其中P值增长最为显著,增长了5.1%。由此说明,通过K-means++聚类算法可得到更合适样本目标的锚框大小,使得检测模型能够识别出更多的目标,整体性能得到提升。锚框优化前后检测模型的mPA可视化结果以及孔隙检测结果分别如图9图10所示。由图10可直观看出,在实际检测过程中,孔隙的漏检现象得到了一定程度的改善。

表2   锚框优化的结果对比

Table 2  Comparison of anchor box optimization results

对比项PRmAP@.5mAP@.5:.95F1
优化前0.5160.6670.6050.3320.582
优化后0.5670.6720.6300.3420.615

新窗口打开| 下载CSV


图9

图9   锚框优化前后的mAP对比

Fig.9   Comparison of mPA before and after anchor box optimization


图10

图10   锚框优化前后的孔隙检测结果对比

Fig.10   Comparison of pore detection results before and after anchor box optimization


2.3.2 注意力机制对比实验

为验证所引入的PSA机制的优越性,在实验过程中将PSA与CBAM[29]、SENet(squeeze and excitation networks,挤压激励网络)[30]、CA(coordinate attention,坐标注意力)[31]和GAM(global attention mechanism,全局注意力机制)[32]等目前热门的注意力机制应用于3D打印混凝土界面孔隙检测模型后进行训练与测试,并对比融合不同注意力机制后检测模型的精度、召回率、mAP和F1得分等指标,结果如表3所示,其中mAP的可视化结果如图11所示。融合不同注意力机制的孔隙检测结果如图12所示。

表3   融合不同注意力机制的结果对比

Table 3  Comparison of results with integrating different attention mechanisms

注意力机制PRmAP@.5mAP@.5:.95F1
PSA0.5810.6680.6440.3510.621
CBAM0.5500.6680.6300.3370.603
SENet0.5840.6680.6660.3480.623
CA0.5590.6610.6400.3520.606
GAM0.5440.6290.5850.3210.583

新窗口打开| 下载CSV


图11

图11   融合不同注意力机制的mAP对比

Fig.11   Comparison of mPA with integrating different attention mechanisms


图12

图12   融合不同注意力机制的孔隙检测结果对比

Fig.12   Comparison of pore detection results with integrating different attention mechanisms


表3中可以看出,融合PSA与SENet的检测模型的F1得分远高于融合其他注意力机制的模型,但SENet网络很深,会额外增加大量参数,影响检测速度,这与本文所需的轻量化相悖。由图11可以看出,融合PSA的检测模型在经过多轮训练后,其多个性能指标的数值略高于融合其他注意力机制的模型,而融合SENet的检测模型的性能指标远低于融合其他注意力机制的模型,且存在振幅较大的现象。由图12可直观看出,相较于融合其他注意力机制的检测结果,融合PSA的孔隙检测准确率最高,且在孔隙分布密集区域检测中具有最佳表现。通过对比可知,PSA机制更适用于本文所提出的检测方法。

2.3.3 消融实验

为了更加直观地验证各个模块对检测结果的影响,本文进行了消融实验,共6组,每组实验对应一种模块组合,实验结果如表4所示。其中:“√”表示使用这种模块,“×”表示不使用这种模块。

表4   消融实验结果对比

Table 4  Comparison of ablation experiment results

组别模块mAP@.5mAP@.5:.95F1
K-means++聚类算法ShuffleNetv2PSA机制
1×××0.6050.3320.582
2××0.6300.3420.615
3××0.6790.3540.630
4××0.6440.3510.621
5×0.7060.3720.648
60.7190.3790.658

新窗口打开| 下载CSV


表4可知,第2组仅使用了锚框优化方法,使得检测模型的各项性能指标均明显提高,其中mAP@.5提高了2.5%,F1得分提高了3.3%;第3组使用轻量化ShuffleNetv2网络代替原有的C3模块进行特征提取,使得检测效率及精度大幅提升,其中F1得分提高了4.8%;第4组是在特征提取网络中融合了PSA机制模块,在增加孔隙关注度的同时提升了检测精度;第5组同时使用锚框优化方法和ShuffleNetv2网络,使得检测精度得到显著提升;第6组使用了所有模块,使得检测模型的性能达到最优,相比于原始模型,mAP@.5提高了11.4%,mAP@.5:.95提高了4.7%,F1得分提高了7.6%。综上所述,本文所提出的孔隙检测方法的精度和稳定性均较高。

为了进一步验证消融实验结果的可信度及本文所提出的孔隙检测方法的可行性,选取部分未参与过训练及测试的孔隙图像进行验证。各组对应的孔隙检测结果如图13所示。从图13中可以看出,只有第6组检测出右上角的裂缝,其余5组均存在不同程度的漏检。

图13

图13   各组消融实验对应的孔隙检测结果对比

Fig.13   Comparison of pore detection results corresponding to ablation experiments in each group


2.3.4 综合对比实验

为进一步验证本文所提出的检测方法(为方便比较和说明,下文简称Lite-3DPC)的优势,选取多种经典的目标检测算法进行综合对比实验,同时为了验证用轻量化ShuffleNetv2网络提取特征的有效性,还与其他轻量化网络GhostNet[33]、MobileNetv3[34]进行了对比,结果如表5所示。由表5可知,与经典的YOLOv5s算法相比,Lite-3DPC的多项性能指标均有所提升,尽管检测速度有所下降,但其检测精度远超前者;相较于YOLOv7与其他算法,Lite-3DPC的检测速度和精度均有较好表现,ShuffleNetv2网络在保证一定检测精度的同时可使检测速度达到最佳。

表5   综合对比实验结果

Table 5  Comprehensive comparison experiment results

算法mAP@.5mAP@.5:.95F1FPS
YOLOv5s0.6050.3320.58279.365
YOLOv70.6090.3290.58030.211
GhostNet0.6570.3380.62980.645
MobileNetv30.6520.3410.61182.645
ShuffleNetv20.6790.3540.630102.041
Lite-3DPC0.7190.3790.65860.976

① FPS(frames per second)表示每秒处理的帧数。

新窗口打开| 下载CSV


为验证本文所提出的检测方法的轻量化效果,采用参数量和浮点运算次数进行对比,可视化结果如图14所示。由图14可知,YOLOv7所需的计算资源最多,与本文轻量化要求不符;ShuffleNetv2具有最少的参数量和计算量,轻量化程度最佳,其次是Lite-3DPC,但Lite-3DPC的参数量仅高1.7×105个,浮点运算数仅多2.0×108次。同时,Lite-3DPC与其他算法相比,YOLOv5s的浮点运算次数多了约3倍,YOLOv7甚至多了18倍,但其检测精度远不如Lite-3DPC。由此可知,Lite-3DPC可在保证检测精度的同时不会因引入过多参数而影响检测速度,使得检测模型的规模较小,所需的计算资源较少,适合快速部署于嵌入式设备,以实现实际3D打印过程中的混凝土界面孔隙检测。综上,本文方法的检测效果优于多种经典的目标检测算法,在保持高效检测的情况下,可有效减少3D打印混凝土界面孔隙检测过程中的漏检情况。

图14

图14   不同算法的计算资源对比

Fig.14   Comparison of computing resources for different algorithms


3 结束语

1)本文提出了一种轻量级的3D打印混凝土界面孔隙智能检测方法。该方法基于现有YOLO算法的优势,结合轻量化ShuffleNetv2网络进行特征提取并融合了PSA机制,在减少模型参数量的同时增加了对小尺寸孔隙目标的关注度。同时,针对小尺寸孔隙检测效果不够理想的问题,对锚框计算方法进行了优化。经实验验证,本文所提出的方法具有较好的检测性能。

2)受实验样本数量的限制,本文方法的检测精度有限。随着后期打印实验及样本的扩增,本文方法的检测精度将得到进一步提高。未来,将针对所提出的检测方法进行深入研究与优化,并通过将其部署于混凝土3D打印设备来验证其在实际应用中的检测效果和可行性,旨在为提高3D打印混凝土建筑的力学性能提供参考。

参考文献

张大旺王栋民.

3D打印混凝土材料及混凝土建筑技术进展

[J]. 硅酸盐通报, 2015346): 1583-1588.

[本文引用: 1]

ZHANG D WWANG D M.

Progress of 3D print of concrete materials and concrete construction technology

[J]. Bulletin of the Chinese Ceramic Society, 2015346): 1583-1588.

[本文引用: 1]

陈权要周燕周诚.

混凝土3D打印的机器视觉检测研究现状与展望

[J]. 土木建筑工程信息技术, 2023155): 1-8.

[本文引用: 2]

CHEN Q YZHOU YZHOU C.

The research status and prospect of machine vision inspection for 3D concrete printing

[J]. Journal of Information Technology in Civil Engineering and Architecture, 2023155): 1-8.

[本文引用: 2]

杨敏来猛刚窦艳宁.

混凝土3D打印质量影响因素及控制方法

[J]. 混凝土与水泥制品, 20214): 11-16.

[本文引用: 1]

YANG MLAI M GDOU Y Net al.

Influencing factors and control measures of concrete 3D printing quality

[J]. China Concrete and Cement Products, 20214): 11-16.

[本文引用: 1]

刘化威刘超白国良.

基于孔结构缺陷的3D打印粗骨料混凝土力学性能试验研究

[J]. 土木工程学报, 20225512): 54-64. doi:10.1016/j.addma.2022.102843

[本文引用: 1]

LIU H WLIU CBAI G Let al.

Experimental study on mechanical properties of 3D printed coarse aggregate concrete based on the pore structure defects

[J]. China Civil Engineering Journal, 20225512): 54-64.

DOI:10.1016/j.addma.2022.102843      [本文引用: 1]

王超王川婴王益腾.

基于孔壁光学图像的岩石孔隙结构识别与分析方法研究

[J]. 岩石力学与工程学报, 2021409): 1894-1901.

[本文引用: 1]

WANG CWANG C YWANG Y Tet al.

Research on identification and analysis method of rock pore structure based on optical images of borehole walls

[J]. Chinese Journal of Rock Mechanics and Engineering, 2021409): 1894-1901.

[本文引用: 1]

马宗方杨兴伟宋琳.

基于层间信息熵的混凝土3D打印构件精细分割

[J]. 激光与光电子学进展, 2022594): 101-108.

[本文引用: 1]

MA Z FYANG X WSONG Let al.

Fine segmentation of concrete 3D-printed elements based on information entropy between layers

[J]. Laser & Optoelectronics Progress, 2022594): 101-108.

[本文引用: 1]

陈雁李祉呈程超.

FLU-net: 用于表征页岩储层微观孔隙的深度全卷积网络

[J]. 海洋地质前沿, 2021378): 34-43.

[本文引用: 1]

CHEN YLI Z CCHENG Cet al.

FLU-net: a deep fully convolutional neural network for shale reservoir micro-pore characterization

[J]. Marine Geology Frontiers, 2021378): 34-43.

[本文引用: 1]

REN Y PHUANG J SHONG Z Yet al.

Image-based concrete crack detection in tunnels using deep fully convolutional networks

[J]. Construction and Building Materials, 2020234117367.

LIANG HLEE S CSEO S.

UAV-based low altitude remote sensing for concrete bridge multi-category damage automatic detection system

[J]. Drones, 202376): 386.

[本文引用: 1]

苗新法刘宝莲李晓琴.

改进YOLOv5s的铁轨裂纹目标检测算法

[J]. 计算机工程与应用, 20246012): 216-224.

MIAO X FLIU B LLI X Qet al.

Improved YOLOv5s railway crack target detection algorithm

[J]. Computer Engineering and Applications, 20246012): 216-224.

ZHANG S HYANG H KYANG C Het al.

Edge device detection of tea leaves with one bud and two leaves based on ShuffleNetv2-YOLOv5-lite-E

[J]. Agronomy, 2023132): 577.

WANG X FWU Z WJIA Met al.

Lightweight SM-YOLOv5 tomato fruit detection algorithm for plant factory

[J]. Sensors, 2023236): 3336.

CAO M LFU HZHU J Yet al.

Lightweight tea bud recognition network integrating GhostNet and YOLOv5

[J]. Mathematical Biosciences and Engineering, 20221912): 12897-12914.

ZHANG YSUN Y PWANG Zet al.

YOLOv7-RAR for urban vehicle detection

[J]. Sensors, 2023234): 1801.

[本文引用: 1]

REN S QHE K MGIRSHICK Ret al.

Faster R-CNN: towards real-time object detection with region proposal networks

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017396): 1137-1149.

[本文引用: 1]

REDMON JDIVVALA SGIRSHICK Ret al.

You only look once: unified, real-time object detection

[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, Jun. 27-302016.

[本文引用: 1]

LIU WANGUELOV DERHAN Det al.

SSD: single shot MultiBox detector

[M]//Lecture Notes in Computer Science. ChamSpringer201621-37.

[本文引用: 1]

YAN J HZHOU ZZHOU D Jet al.

Underwater object detection algorithm based on attention mechanism and cross-stage partial fast spatial pyramidal pooling

[J]. Frontiers in Marine Science, 202291056300.

[本文引用: 1]

GAO GLEE S H.

Design and implementation of fire detection system using new model mixing

[J]. International Journal of Advanced Culture Technology, 202194): 260-267.

[本文引用: 1]

JIANG K LXIE T YYAN Ret al.

An attention mechanism-improved YOLOv7 object detection algorithm for hemp duck count estimation

[J]. Agriculture, 20221210): 1659.

[本文引用: 1]

ZHENG J FWU HZHANG Het al.

Insulator-defect detection algorithm based on improved YOLOv7

[J]. Sensors, 20222222): 8801.

[本文引用: 1]

TENG SLIU Z CLI X D.

Improved YOLOv3-based bridge surface defect detection by combining high-and low-resolution feature images

[J]. Buildings, 2022128): 1225.

[本文引用: 1]

ZHANG Y XHUANG JCAI F H.

On bridge surface crack detection based on an improved YOLOv3 algorithm

[J]. IFAC-PapersOnLine, 2020532): 8205-8210.

[本文引用: 1]

WU P RLIU A RFU J Yet al.

Autonomous surface crack identification of concrete structures based on an improved one-stage object detection algorithm

[J]. Engineering Structures, 2022272114962.

[本文引用: 1]

MA N NZHANG X YZHENG H Tet al.

ShuffleNet V2: practical guidelines for efficient CNN architecture design

[C]//European Conference on Computer Vision. Munich, Sep. 8-142018.

[本文引用: 1]

LIU H JLIU F QFAN X Yet al.

Polarized self-attention: towards high-quality pixel-wise regression

[EB/OL]. (2021-07-08) [2024-01-20]. .

URL     [本文引用: 1]

YANG R JLI W FSHANG X Net al.

KPE-YOLOv5: an improved small target detection algorithm based on YOLOv5

[J]. Electronics, 2023124): 817.

[本文引用: 1]

LIU SQI LQIN H Fet al.

Path aggregation network for instance segmentation

[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, Jun. 18-232018.

[本文引用: 1]

WOO SPARK JLEE J Yet al.

CBAM: convolutional block attention module

[C]//European Conference on Computer Vision. Munich, Sep. 8-142018.

[本文引用: 1]

HU JSHEN LSUN G.

Squeeze-and-excitation networks

[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, Jun. 18-232018.

[本文引用: 1]

HOU Q BZHOU D QFENG J S.

Coordinate attention for efficient mobile network design

[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, Jun. 20-252021.

[本文引用: 1]

LIU Y CSHAO Z RHOFFMANN N.

Global attention mechanism: retain information to enhance channel-spatial interactions

[EB/OL]. (2021-12-10) [2024-01-20]. .

URL     [本文引用: 1]

HAN KWANG Y HTIAN Qet al.

GhostNet: more features from cheap operations

[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, Jun. 13-192020.

[本文引用: 1]

HOWARD ASANDLER MCHEN Bet al.

Searching for MobileNetv3

[C]//2019 IEEE/CVF International Conference on Computer Vision. Seoul, Oct. 27-Nov. 22019.

[本文引用: 1]

/