<img src="https://www.zjujournals.com/eng/images/1008-973X/images/logo.png" class="img-responsive">

图 1 YOLOv5s网络结构

Fig.1 YOLOv5s frame structure

公路隧道烟火检测模型YOLOv5s分为烟火特征提取层和烟火特征检测层. 特征提取层的第1层是Focus模块，可以减少参数量和提高速度. 第2层是CBL模块，作为标准卷积层，可以获取火焰和烟雾图像特征. 第3层是Bottleneck CSP模块，能够提取火焰和烟雾图像的深度特征. 第9层是SPP模块，可以将输入的大小不限的烟火特征图进行量化，得到指定大小的烟火特征图像，以此来提高网络的接受域. 特征检测层Neck模块为FPN+PAN的结构，输出3组不同分辨率的融合特征. 预测端将特征检测层输出的3组融合特征图进行卷积，得到不同分辨率特征图所对应的预测边界框，实现火灾的烟火检测.

2. YOLOv5s模型优化与改进

2.1. 火焰或烟雾深层特征提取

基于YOLOv5s骨干网络增强烟火深层特征提取，优化火灾烟火特征的深度学习，在减少网络权重参数数量和体积的前提下，保证检测精度，实现改进的公路隧道火灾烟火检测模型. 因火焰和烟雾的形状和颜色是不同于背景中的对象，采用Zhu等^[22]提出的CBAM，称为“卷积块注意模块”. 在原特征提取网络的BottleneckCSP结构后引入，能够更好地提取火灾的特征信息，提高表征能力，且CBAM是设计了轻量级的模块，新增参数的计算量对模型复杂度不会造成太大的影响. CBAM的网络结构如图2所示.

图 2

图 2 CBAM网络的结构图

Fig.2 Structure diagram of CBAM frame

图2中，CBAM模块通过跨通道和空间信息，提取烟雾和火焰特征的语义信息. 通道注意力模块可以学习通道轴中的内容信息，关注火灾烟火特征信息，忽视非火灾特征信息，其中计算过程如下：

$ \begin{split} {M_{\rm{c}}}({\boldsymbol{F}}) &= \sigma ({{\boldsymbol{P}}_{\rm{M}}}({{\boldsymbol{A}}_{\rm{p}}}({\boldsymbol{F}}))+{{\boldsymbol{P}}_{\rm{M}}}({{\boldsymbol{M}}_{\rm{p}}}({\boldsymbol{F}}))) = \\ & {\sigma ({{\boldsymbol{W}}_1}({{\boldsymbol{W}}_0}({\boldsymbol{F}}_{{\rm{avg}}}^{\rm{c}}))+{{\boldsymbol{W}}_1}({{\boldsymbol{W}}_0}({\boldsymbol{F}}_{\max }^{\rm{c}}))).} \end{split} $

(1)

式中：F为原始特征图；M_c(F) 为输出的通道注意力值； $ \sigma $为sigmoid函数；A_p和 $ {\boldsymbol{F}}_{{\rm{avg}}}^{\rm{c}} $为平均池化特征；M_p和 $ {\boldsymbol{F}}_{\max }^{\rm{c}} $为最大池化特征；P_M为多层感知器；W₀和W₁为2层全连接层的权重， ${{\boldsymbol{W}}_0} \in {{\bf{R}}^{{(C / {r) \times C}}}}$， ${{\boldsymbol{W}}_1} \in {{\bf{R}}^{{{C \times( C} / r)}}}$，其中r为压缩率，C为通道数.

将通道注意力模块的输出值输入到空间注意力模块，可以分别学习空间轴中的位置信息，保证烟火特征信息在网络中得到真正学习. 空间注意力的计算过程如下：

$ \begin{split} {M_{\rm{s}}}({\boldsymbol{F}}) &= \sigma ({f^{7 \times 7}}(\left[ {{{\boldsymbol{A}}_{\rm{p}}}({\boldsymbol{F}});{{\boldsymbol{M}}_{\rm{p}}}({\boldsymbol{F}})} \right])) =\\ & { \sigma \left({f^{7 \times 7}}\left(\left[ {{\boldsymbol{F}}_{{\rm{avg}}}^{\rm{s}};{\boldsymbol{F}}_{\max }^{\rm{s}}} \right]\right)\right).} \end{split} $

(2)

式中：M_s(F) 为输出的空间注意力值； ${\boldsymbol{F}}_{{\rm{avg}}}^{\rm{s}}$为平均池化特征； ${\boldsymbol{F}}_{\max }^{\rm{s}}$为最大池化特征； ${f^{7 \times 7}}$为卷积核为7的卷积层.

当输入给定的一个中间烟火特征映射F∈R^C×H×W（其中H和W为特征映射的长度和宽度）时，CBAM依次推断出一维通道注意图M_c∈R^C×1×1和二维空间注意图M_s∈R^1×H×W. 整体注意过程如下：

$ \left. {\begin{array}{*{20}{c}} {{\boldsymbol{F}}' = {M_{\rm{c}}}({\boldsymbol{F}}) \otimes {\boldsymbol{F}}}. \\ {{\boldsymbol{F}}'' = {{\boldsymbol{M}}_{\rm{s}}}({\boldsymbol{F}}') \otimes {\boldsymbol{F}}'}. \end{array}} \right\}$

(3)

式中： $ {\boldsymbol{F}}' $为通道权重特征， $ {\boldsymbol{F}}'' $为注意力特征映射， $ \otimes $为元素相乘运算.

2.2. 火灾特征提取网络改进

公路隧道烟火检测模型识别算法在满足准确识别烟火的同时，对模型的尺寸进行压缩，以便其在硬件设备上的部署. 采用卷积核为6、步长为2的Conv卷积替换骨干网络中的Focus结构，提高网络的检测速度和精度，如图3所示.

图 3

图 3 替换结构的示意图

Fig.3 Schematic diagram of replacement structure

YOLOv5s架构的骨干网络共4个BottleneckCSP模块，其包含多个卷积运算，有利于提取烟火特征信息，但参数量较多，导致计算量增大，训练时间增加，权重变大. 改进设计BottleneckCSP模块，去掉原模块桥接分支上的卷积层，将BottleneckCSP模块的输入特征映射与另一个分支的输出特征映射进行深度直接连接，有效减少模块的参数数量. 改进的BottleneckCSP模块的体系结构如图4所示，名为BottleneckCSP-2.

图 4

图 4 BottleneckCSP-2模块

Fig.4 BottleneckCSP-2 modular

使用SPPF代替SPP层，提升网络计算效率. 在SPPF中用卷积核5×5代替之前的大卷积核，置于骨干网络的末端，将骨干网络第2个BottleneckCSP-2中的卷积网络个数从9减少至6，将骨干网络最后1个BottleneckCSP-2中采用残差. 改进后的YOLOv5s网络结构如图5所示.

图 5

图 5 改进后的YOLOv5s网络

Fig.5 Improved YOLOv5s network

图5中，Backbone中虚线框框选部分为骨干网络改进部分. 可以看出，改进后的网络层数有所增加，由9层变为13层，改进后的模型命名为YOLOv5s-PRO. 改进前、后YOLOv5s模型的参数量及计算量变化情况如表1所示.

表 1 原YOLOv5s与YOLOv5s-PRO参数量及计算量的对比

Tab.1 Comparison of parameter quantity and calculation quantity of original YOLOv5s and YOLOv5s-PRO structure

序号	M₁	P₁/10⁴	Q₁/ GLOPs	M₁	P₂/10⁴	Q₂/ GLOPs	(P₁—P₂)/ 10⁴	(Q₁—Q₂)/ GLOPs
0	Focus	0.3520	0.3539	Conv	0.0640	0.0590	0.2880	0.2949
1	CBL	1.8560	0.4719	CBL	1.8560	0.4719	0.0000	0.0000
2	BottleneckCSP	1.9904	0.4981	BottleneckCSP-2	1.7792	0.4456	0.2112	0.0524
3	CBL	7.3984	0.4719	CBAM	0.0610	0.0156	−0.0610	−0.0156
4	BottleneckCSP	16.1152	1.0224	CBL	7.3984	0.4719	0.0000	0.0000
5	CBL	29.5424	0.4719	BottleneckCSP-2	10.7392	0.6816	5.3760	0.3408
6	BottleneckCSP	64.1792	1.0224	CBAM	0.2146	0.0137	−0.2146	−0.0137
7	SPP	65.6896	0.2621	CBL	29.5424	0.4719	0.0000	0.0000
8	BottleneckCSP	124.8768	0.4981	BottleneckCSP-2	60.8768	0.9699	3.3024	0.0524
9	CBL	118.0672	0.4719	CBAM	0.8290	0.0133	−0.8290	−0.0133
10	—	—	—	CBL	118.0672	0.4719	0.0000	0.0000
11	—	—	—	BottleneckCSP-2	111.7184	0.4456	13.1584	0.0524
12	—	—	—	CBAM	3.2866	0.0131	−3.2866	−0.0131
13	—	—	—	SPPF	65.6896	0.2621	0.0000	0.0000
总量	—	430.0672	5.5443	—	412.1224	4.8071	17.9448	0.7372

表1中，M₁、M₂分别为YOLOv5s与YOLOv5s-PRO骨干网络中的各个模块，P₁、P₂分别为YOLOv5s与YOLOv5s-PRO的模块参数量，Q₁、Q₂分别为YOLOv5s与YOLOv5s-PRO的模块计算量，P₁−P₂、Q₁−Q₂分别为模块的参数量变化和计算量变化. 从表1可知，在引入轻量型CBAM注意力模块后，网络的计算量有一定的增加，但总体上影响不大，改进后的YOLOv5s-PRO模型的参数量为412.1224 ×10⁴，比YOLOv5s模型减少了17.9448 × 10⁴，计算量达到4.8071 GLOPs，比YOLOv5s模型减少了0.7372 GLOPs，提升了YOLOv5s-PRO模型的检测速度.

2.3. 损失函数和学习率调优

YOLOv5s算法采用GIoU函数，作为火灾检测边界框的损失函数^[23]. 损失计算根据预测边界框，损失函数如下：

$\begin{split} {L_{{\rm{box}}}} = & {\displaystyle\sum\limits_{l = 1}^L {[1 - {\rm{mean}}({f_{x{\rm{IoU}}}}({\rm{box}}_{{\rm{pre}}}^{l,1},{\rm{box}}_{{\rm{gt}}}^{l,1}),} } \\ & { \cdots ,{f_{x{\rm{IoU}}}}({\rm{box}}_{{\rm{pre}}}^{l,M},{\rm{box}}_{{\rm{gt}}}^{l,M}))].} \end{split} $

(4)

基于IoU及变体，计算各层预测边界框与真实边界框之间的边框回归损失，如下所示：

$ \begin{gathered} {f_{x{\rm{IoU}}}} = \\ \left\{ \begin{gathered} \frac{{{\rm{box}}_{{\rm{pre}}}^{l,m} \cap {\rm{box}}_{{\rm{gt}}}^{l,m}}}{{{\rm{box}}_{{\rm{pre}}}^{n,m} \cup {\rm{box}}_{{\rm{gt}}}^{n,m}}},x{\text{IoU}} = {\text{IoU}}； \\ {f_{{\rm{IoU}}}} - \frac{{\left| {{C / {{\rm{box}}_{{\rm{pre}}}^{l,m} \cup {\rm{box}}_{{\rm{gt}}}^{l,m}}}} \right|}}{{\left| C \right|}},\quad x{\text{IoU}} = {\text{GIoU}}; \\ {f_{{\rm{IoU}}}} - \frac{{{\rho ^2}({\rm{box}}_{{\rm{pre}}}^{l,m},{\rm{box}}_{{\rm{gt}}}^{l,m})}}{{{c^2}}},\quad x{\text{IoU}} = {\text{DIoU}}； \\ {f_{{\rm{IoU}}}} - \left[\frac{{{\rho ^2}({\rm{box}}_{{\rm{pre}}}^{l,m},{\rm{box}}_{{\rm{gt}}}^{l,m})}}{{{c^2}}}+\frac{v}{{(1 - {\text{IoU}})+v}} \times \right. \\ \\ \left. \frac{4}{{{\text{π} ^2}}} {\left(\arctan \frac{{{w^{{\rm{gt}}}}}}{{{h^{{\rm{gt}}}}}} - \arctan \frac{w}{h}\right)^2}\right],\quad x{\text{IoU}} = {\text{CIoU}}. \\ \end{gathered} \right. \\ \end{gathered} $

(5)

式中：l为金字塔层数，l∈[1, L]；M为金字塔第l层对应的边界框数，m∈[1, M]；box为边界框位置信息；pre、gt为预测值和真实值；C为pre和gt的最小区域面积； $ \rho$为预测框与目标框2个中心点的欧式距离；c为最小包围预测框和目标框的对角线长度； $v = ({4}/{{{{\text{π}} ^2}}}){[\arctan \;({{{w^{{\rm{gt}}}}}}/{{{h^{{\rm{gt}}}}}}) - \arctan\; ({w}/{h})]^2}$用来衡量预测框和目标框之间长宽比的相似性；β为权重函数， $\; \beta = {v}/[{{(1 - {\rm{IoU}})+v}}]$.

GIoU解决了梯度的问题，但存在不稳定、收敛慢的缺点. DIoU解决了GIoU中检测框和真实框出现包含时收敛慢的问题，未考虑box纵横比. CIoU在DIoU的基础上增加了检测框尺度，使得预测框更加符合真实框，因此将CIoU作为火灾烟火检测的损失函数. 它包括烟火检测框损失L_cu、烟火置信度损失L_cf和烟火分类损失L_cs，如下所示.

$ \left. \begin{gathered} {L_{{\rm{cu}}}} = \sum\limits_{i = 0}^{{S^2}} {\sum\limits_{j = 0}^B {I_{i,j}^0\left\{ {1 - {\text{IoU}}+\frac{{{\rho ^2}(b,{b^{{\rm{gt}}}})}}{{{c^2}}}} \right.} }+ {{\frac{{16}}{{{\text{π} ^4}}}{{\left(\arctan \frac{{{w^{{\rm{gt}}}}}}{{{h^{{\rm{gt}}}}}} - \arctan \frac{w}{h}\right)}^4}} \Bigg/ {}} \left. {\left[ {1 - {\text{IoU}}+\frac{4}{{{\text{π} ^2}}}{{\left(\arctan \frac{{{w^{{\rm{gt}}}}}}{{{h^{{\rm{gt}}}}}} - \arctan \frac{w}{h}\right)}^2}} \right]} \right\} ， \\ {L_{{\rm{cf}}}} = - \sum\limits_{i = 0}^{{S^2}} {\sum\limits_{j = 0}^B {I_{i,j}^0\left[ {\hat C_i^j\ln\; C_i^j+(1 - \hat C_i^j)\ln \;(1 - \hat C_i^j)} \right]} } - {\lambda _{\rm{n}}}\sum\limits_{i = 0}^{{S^2}} {\sum\limits_{j = 0}^B {I_{i,j}^n\left[ {\hat C_i^j\ln \;C_i^j+(1 - \hat C_i^j)\ln\; (1 - \hat C_i^j)} \right]} } ， \\ {L_{{\rm{cs}}}} = - \sum\limits_{i = 0}^{{S^2}} {I_{i,j}^0\sum\limits_{c \in {\rm{classes}}} {\left[ {\hat P_i^j\ln\; P_i^j+(1 - \hat P_i^j)\ln \;(1 - \hat P_i^j)} \right]} }， {\rm{Loss}} = {L_{{\rm{cu}}}}+{L_{{\rm{cf}}}}+{L_{{\rm{cs}}}}. \\ \end{gathered} \right\} $

(6)

式中：S²为特征图尺度；B为先验框； ${\lambda _{\rm{n}}}$为权重系数；若第i网格的第j先验框处有目标，则 $ I_{i,j}^0 $、 $ I_{i,j}^n $分别取1与0（其中n为训练轮次），若没有目标，则 $ I_{i,j}^0 $、 $I_{i,j}^n $分别取0与1；b、w、h分别为预测框的中心坐标及宽、高； $ {b^{{\rm{gt}}}} $、 $ {w^{{\rm{gt}}}} $、 $ {h^{{\rm{gt}}}} $分别为实际框的中心坐标及宽、高； $ \hat C_i^j $、 $ C_i^j $分别为预测框与标注框的置信度； $ \hat P_i^j $、 $ P_i^j $分别为预测框与标注框的类别概率. 若边界框无目标，则不计算L_cu和L_cs.

为了提高烟雾图像数据集和火焰图像数据集之间的平衡，置信度函数采用Focal Loss，引入权重因子 $ \gamma $和平衡因子 $ \alpha $，如下所示：

$ {L_{{\rm{fl}}}} = \left\{ \begin{gathered} - \alpha {(1 - y')^\gamma }\ln y',\;y = 1 ； \\ - (1 - \alpha )y{'^\gamma }\ln\; (1 - y'),\;y = 0 . \\ \end{gathered} \right. $

(7)

式中： $ y' $为经过激活函数的输出，为[0,1.0]；y为标注标签数据； $ \gamma $和 $ \alpha $分别取2.0和0.5，使得正、负样本的损失权重相同^[24]. 调节后的L_cf计算如下所示：

$ \begin{split} {L_{{\rm{cf}}}} = & - {\lambda _0}\sum\limits_{i = 0}^{{S^2}} {\sum\limits_{j = 0}^B {I_{i,j}^0\left[ \begin{gathered} \hat C_i^j{(1 - \hat C_i^j)^\gamma }\ln\;C_i^j + {(\hat C_i^j)^\gamma }(1 - \hat C_i^j)\ln\; (1 - \hat C_i^j) \\ \end{gathered} \right]} } - \\ & {\lambda _{\rm{n}}}\sum\limits_{i = 0}^{{S^2}} {\sum\limits_{j = 0}^B {I_{i,j}^{{n}}\left[ \begin{gathered} \hat C_i^j{(1 - \hat C_i^j)^\gamma }\ln\; C_i^j+ {(\hat C_i^j)^\gamma }(1 - \hat C_i^j)\ln\; (1 - \hat C_i^j) \\ \end{gathered} \right].} } \end{split} $

(8)

式中： $ {\lambda _0} $、 $ {\lambda _{\rm{n}}} $取0.5.

在对损失函数进行优化后，对YOLOv5s的整个置信度有一定的优化.

学习率调优采用warm-up对学习率进行预热，在YOLOv5s烟火检测模型数据训练前60次的每次结束后，用一维线性插值更新下一轮迭代训练的学习率. 60次以后，利用余弦退火算法更新下一轮迭代训练的学习率，计算原理为

$ {L_n} = {L_{\min }}+({L_1} - {L_{\min }}) \left[\left(1+\cos \left(\frac{{{E_{\rm{c}}}}}{{{T_{\max }}}}\text{π} \right)\right)/2\right]. $

(9)

式中：L_n为新得到的学习率，L_min为最小的学习率，L₁为初始学习率，E_c为当前训练到某个轮次对应的值，T_max为训练的总轮次数量.

3. 实验及结果分析

3.1. 数据集

模型训练在Intel Core I5-10200H处理器、16 GB内存、NVIDIA GeForce RTX 2060、6 GB独立显存的硬件环境下，采用Python3.8编程语言，结合PyTorch深度学习框架，实现对原模型和改进后的YOLOv5s-PRO公路隧道烟火检测模型的训练.

火灾烟火检测的训练样本数据集的构建是通过养护公司收集的现场数据资料和在线搜索公开的火灾图像或视频. 使用辅助标注工具对数据集进行初步标注，利用开源工具LabelImg进行可视化. 构建5 000张模拟隧道火灾实验数据集（适应隧道场景）、1 000张重组数据集（降低类火物体干扰）和4 000张其他烟火数据集（烟火数据集均衡化），共10 000张火灾数据集及几十段火灾的视频库.

3.2. 模型训练

实验使用自建的烟火数据集图像，样本为火焰（fire）、烟雾（smoke）2类. 实际测试时，验证集图像为1 000张，测试集图像为1 500张（含烟火）. 测试集分为3大类：模拟隧道火灾数据集 Ⅰ、真实隧道火灾数据集 Ⅱ 和其他类型火灾数据集 Ⅲ.

采用端到端随机梯度下降方法，对YOLOv5s-PRO网络进行训练，输入图像大小为640×640. 设置参数值如下：批尺寸为4，动量值为0.937，衰变值为0.000 5，总轮次为120，初始学习率为0.01. 学习率调优采用式（9）. 当一个轮次结束时，利用验证集对模型训练情况进行测试，生成验证集和测试集的CIoU损失曲线如图6所示，测试集的性能曲线如图7所示. 图中，mAP是精确率P_r和召回率R_e作为两坐标轴作图后所围成的面积，mAP-U、mAP-H分别为一般阈值、高阈值下的平均检测精度. 当曲线上所对应的值逐渐趋于稳定时，可以确定最佳的训练模型.

图 6

图 6 YOLOv5s-PRO损失曲线

Fig.6 YOLOv5s-PRO loss curve

图 7

图 7 YOLOv5s-PRO的平均精度曲线

Fig.7 Average accuracy curve of YOLOv5s-PRO

图6中，左、右2栏分别为训练集和验证集. 可以看出，3类损失函数在模型训练的0~50次时下降幅度很大，但相对平滑. 50~100次时，变化趋势减小. 100次以后基本平稳，保持稳定的状态，说明训练使得模型的检测效果更好.

图7中，P_r、R_e及mAP曲线在训练开始的0~50次时起伏较大，表明模型训练前期的收敛速度快，满足模型训练的要求. 50次以后较稳定，变化较小，表明模型训练良好，没有出现过度拟合. 100次后曲线基本趋于稳定，表明此时的公路隧道火灾烟火检测模型训练基本完成. 最优模型的选择是根据mAP-U占10%、mAP-H占90%计算推出的. 对mAP精度最好的20次模型训练进行统计，如表2所示.

表 2 YOLOv5s-PRO训练数据的统计表

Tab.2 Statistical table of YOLOv5s-PRO training data

n	P_r	R_e	mAP-U	mAP-H
103	0.9612	0.8552	0.9376	0.5240
105	0.9466	0.8656	0.9193	0.5245
104	0.9576	0.8830	0.9287	0.5233
106	0.9634	0.8824	0.9314	0.5224
100	0.9619	0.8763	0.9258	0.5216
88	0.9754	0.9000	0.9279	0.5195
118	0.9685	0.8590	0.9144	0.5206
109	0.9362	0.8603	0.9226	0.5157
82	0.9258	0.8850	0.9307	0.5133
97	0.9270	0.8835	0.9301	0.5127
108	0.9541	0.8679	0.9184	0.5132
114	0.9320	0.8758	0.9257	0.5121
119	0.9458	0.8516	0.9047	0.5144
92	0.9594	0.8445	0.9145	0.5129
107	0.9613	0.8485	0.9205	0.5118
98	0.9140	0.8568	0.9173	0.5112
112	0.9613	0.8254	0.9074	0.5118
96	0.9299	0.8733	0.9225	0.5100
87	0.9509	0.8831	0.9176	0.5104
94	0.9605	0.8530	0.9167	0.5097

表2中，在103次结束后得到了最优模型，精确率和召回率分别为96.12%、85.52%，mAP-U达到93.76%，mAP-H达到52.40%. 对该训练模型采用验证集进行测试，精度和召回率曲线如图8所示. 图中，C_o为置信度.

图 8

图 8 验证集的测试结果

Fig.8 Test results of verification set

图8（a）、（b）中，训练模型的火焰和烟雾的精确率和召回率相对较低，表现不佳. 图8（c）中，火焰和烟雾的平均检测精度分别达到93.70%、87.30%. F1为精度和召回率的调和平均数值，最理想的状态为1，最差为0. 图8（d）中，Fl为0.90，因此YOLOv5s-PRO公路隧道烟火检测模型在验证集上有良好的表现.

3.3. 对比分析

为了分析YOLOv5s的公路隧道烟火检测模型改进前、后对火灾烟火深度特征检测的差异，使用YOLOv5s和YOLOv5s-PRO模型，对真实隧道火灾视频中边界轮廓不是很明显的烟火图像或图像清晰度不高的烟火图像进行特征检测，验证深层特征检测的提升效果，检测结果如图9、10所示.

图 9

图 9 YOLOv5s深层火灾特征检测图样

Fig.9 YOLOv5s deep fire feature detection drawing

图 10

图 10 YOLOv5s-PRO深层火灾特征检测图样

Fig.10 YOLOv5s-PRO deep fire feature detection drawing

图9、10中，fire为火焰检测，smoke为烟雾检测，虚线框为漏检火灾图像. 与图10相比，图9的YOLOv5s模型检测漏掉了特征不是很明显的烟雾图像，对图中1处火焰的边界检测不够准确. 利用图10的YOLOv5s-PRO模型，精准地框选出4处火焰和3处烟雾，烟火特征的检测深度有一定的提高. 为了分析改进后模型在卷积过程中的变化情况，对网络卷积过程的特征提取进行比较，如图11所示.

图 11

图 11 骨干网络中间特征层的分析

Fig.11 Analysis of middle characteristic layer of backbone network

如图11（a）、（b）所示分别为原始隧道火灾图像和标记后的火灾图像. 如图11（c）、（d）所示分别为改进前、后的P/2特征图，在卷积初始阶段，火焰轮廓在改进前、后都比较清晰，但图11（c）的烟雾轮廓基本看不清楚，图11（d）有一定的烟雾边界轮廓. 如图11（e）、（f）所示分别为改进前、后的P/4特征图，图11（f）的烟火特征明显强于图11（e），获取了更多的特征信息. 如图11（g）、（h）所示分别为改进前、后的P/8特征图，图11（h）的信息比图11（g）更丰富. 如图11（i）、（j）所示分别为改进前、后的P/16特征图，图11（j）较图11（i）具有更深层的特征信息. 如图11（k）、（l）所示分别为改进前、后P/32的特征图，图11（l）有明显的烟火信息. 综上所述，改进后的公路隧道烟火检测特征提取网络能够获取更深层的烟火信息.

为了更好地体现优化后的网络模型，将改进前、后的模型在相同的环境和参数配置下，采用相同的隧道烟火图像数据集进行对比测试，训练过程的验证集检测框损失、分类损失和置信度损失变化如图12所示.

图 12

图 12 训练过程的损失曲线

Fig.12 Loss curve during training

图12（a）中，在70次轮次后2个模型开始收敛，在120次轮次时YOLOv5s-PRO模型的检测框损失值低于YOLOv5s模型. 从图12（b）可以看出，YOLOv5s-PRO模型在19次轮次后分类损失值下降颇多，收敛速度快，最终的分类损失值为0.001 577. 图12（c）中，YOLOv5s-PRO和YOLOv5s模型的置信度损失值分别为0.006 171、0.007 012，改进后模型的置信度损失值较小. 检测框损失、分类损失和置信度损失的理想值都为0，说明改进后的YOLOv5s-PRO模型效果较好，能够适用于公路隧道火灾的烟火检测.

验证YOLOv5s-PRO模型在模拟测试集 Ⅰ、隧道火灾测试集 Ⅱ 和其他环境火灾测试集 Ⅲ 上的检测效果，部分检测结果如图13所示. 对改进前、后的YOLOv5s模型的烟火检测精度、平均检测精度、单张检测速度3个性能评价指标进行统计和对比，最终结果如表3所示.

图 13

图 13 烟火检测的验证结果

Fig.13 Verification results of smoke and flame detection

表 3 原YOLOv5s与YOLOv5s-PRO的测试性能

Tab.3 Test performance of original YOLOv5s and YOLOv5s-PRO structure %

数据集	F₁	F₂	F₁− F₂	S₁	S₂	S₁− S₂	mAP₁	mAP₂	mAP₁− mAP₂	t₁/ms	t₂/ms	(t₁− t₂)/ms
Ⅰ	95.28	96.74	−1.46	90.81	92.63	−1.82	93.12	94.69	−1.57	6.53	6.09	0.44
Ⅱ	90.33	91.61	−1.28	83.38	89.78	−6.40	87.41	90.70	−3.29	6.51	6.11	0.40
Ⅲ	88.78	90.89	−2.11	81.61	87.52	−5.91	84.42	89.21	−4.79	6.57	6.17	0.40
均值	91.46	93.08	−1.62	85.27	89.98	−4.71	88.32	91.53	−3.21	6.54	6.12	0.42

图13中，fire为火焰，smoke为烟雾，共有13处火焰和7处烟雾被检测到. 如图13（a）所示为重庆交通大学1号地下人行通道分别从不同视角和距离拍摄的烟火图像，烟火均被检测，说明增加CBAM模块提升了烟火检测效果. 如图13（b）所示为公路隧道真实火灾或隧道消防演练图像，其中图像的烟火特征较明显，检测难度不大，烟火目标均全部被检测. 如图13（c）所示为非公路隧道火灾，受周边环境干扰的影响较小，烟火均被检测. 隧道烟火检测算法具有很强的泛化性和可移植性，不仅适用于公路隧道火灾烟火检测，而且适用于其他场景下的火灾烟火检测.

表3中，F₁、F₂分别为改进前、后模型的火焰检测率，S₁、S₂分别为改进前、后模型的烟雾检测率，mAP₁、mAP₂分别为改进前、后模型的平均检测精度，t₁、t₂分别为改进前、后模型的平均单张检测时间. 从表3可知，在3类数据集中，因数据集 Ⅰ 的背景干扰已在训练中排除，模型表现较好；数据集 Ⅱ 和数据集 Ⅲ 受干扰物和背景的影响，检测精度有所下降，YOLOv5s-PRO模型加强了烟火的深度特征提取，烟火检测精度明显高于YOLOv5s模型，平均检测精度为91.53%. YOLOv5s-PRO的检测速度高于YOLOv5s. 从表1可知，检测速度的提升主要在于替换Focus模块及改进BottleneckCSP模块，使得网络的参数量及计算量减少，网络检测时间减少了0.42 ms. 总的来说，YOLOv5s-PRO模型具有良好的检测精度和检测速度.

对比不同改进方法的mAP值，验证烟火检测效果，结果如图14所示. 其中，YOLOv5s-C是嵌入了CBAM卷积块注意模块的模型，YOLOv5s-NS是对特征提取网络进行优化的模型，YOLOv5s-PRO是融合特征层优化的模型.

图 14

图 14 不同改进方案与YOLOv5s-PRO性能评价

Fig.14 Performance evaluation of improved schemes and YOLOv5s-PRO

从图14（a）、（b）可以看出，经过多种融合改进的YOLOv5s-PRO的平均检测精度比其他单一的优化改进模型高，检测烟火效果良好，尤其是提高阈值后模型的平均检测精度曲线趋于平稳且提升效果更加明显. 图14（a）中，除YOLOv5s-C模型外，其他基于YOLOv5s网络的改进模型的平均检测精度均有明显的提升. 图14（b）中，通过提高阈值，YOLOv5s-C 网络的平均检测精度有了明显的提升，其他改进模型也有较大程度的提升.

裁剪一段发生在重庆真武山隧道的真实隧道火灾视频，对YOLOv5-PRO公路隧道烟火检测模型的检测效果进行测试，部分测试结果如图15所示.

图 15

图 15 重庆真武山隧道的火灾测试

Fig.15 Fire test of Zhenwu Mountain Tunnel in Chongqing

从图15可以看出，隧道中出现的烟雾和火焰基本都能被检测发现，总体检测性能良好，但存在少数误检的现象，结果如图16所示.

图 16

图 16 重庆真武山隧道的火灾误检

Fig.16 Fire misdiagnosis of Zhenwu Mountain Tunnel in Chongqing

图16（a）中，车身火光反射造成火焰误检；图16（b）中，火焰被重复检测；图16（c）中，烟雾的边界轮廓极不清晰造成烟雾漏检. 具体的检测结果统计信息如表4所示. 表中，n_d为检测数量，n_n为漏检数量，n_f为误检数量，P_d为检测率，P_a为准确率.

表 4 真武山隧道火灾视频测试结果的统计

Tab.4 Statistics of Zhenwu Mountain Tunnel fire video test results

类别	n_d	n_n	n_f	P_d/%	P_a/%
火焰	381	11	7	97.11	98.16
烟雾	357	17	0	95.24	100.00

DOI:10.3969/j.issn.1001-7372.2020.11.019 [本文引用: 1]

表4中，真武山隧道火灾视频数据中火灾视角在不停地变换，使得火焰检测出现了误检和漏检现象，火焰检测率为97.11%，准确率为98.16%. 视频中火灾的烟雾特征非常浅，轮廓不清晰，检测比较困难，出现漏检现象，烟雾检测率为95.24%，准确率为100.00%. 综上所述，YOLOv5s-PRO公路隧道烟火检测模型在真武山隧道的火灾检测中取得了不错的效果.

4. 结　语

针对目前对火灾烟火检测算法中存在烟火漏检、误检，造成检测率低的情况，改进YOLOv5s模型深层特征提取网络，引入CBAM模块提高烟火表征能力，提升模型对无具体形状烟火检测及多重干扰物下的烟火检测能力. 采用Conv卷积网络替换骨干网络中的Focus结构，在BottleneckCSP模块中减少卷积计算量，提升烟火检测模型的效率. 在损失函数引入Focal Loss函数，解决了样本不均衡的问题，增强了模型的收敛速度. YOLOv5s-PRO算法模型与原YOLOv5s算法相比，不仅提高了检测精度，而且兼顾了模型的检测速度，平均检测精度达到91.53%，单张图像检测仅需6.12 ms，实现公路隧道的烟火实时检测.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

胡嘉伟, 毛军, 刘斌, 等

隧道内横向偏置火源火灾烟气温度特性全尺寸试验研究

[J]. 中国公路学报, 2020, 33 (11): 205- 214

HU Jia-wei, MAO Jun, LIU Bin, et al

Full-scale experimental study on smoke temperature and fire characteristics occurred at deflected positions in tunnels

[J]. China Journal of Highway and Transport, 2020, 33 (11): 205- 214

DOI:10.3969/j.issn.1001-7372.2020.11.019 [本文引用: 1]

[2]

王浩远, 梁煜, 张为

融合多分辨率表征的实时烟雾分割算法

[J]. 浙江大学学报: 工学版, 2021, 55 (12): 2334- 2341

WANG Hao-yuan, LIANG Yu, ZHANG Wei

Real-time smoke segmentation algorithm fused with multi-resolution representation

[J]. Journal of Zhejiang University: Engineering Science, 2021, 55 (12): 2334- 2341

DOI:10.3969/j.issn.1001-7372.2018.11.013 [本文引用: 1]

[3]

王琳, 姚新, 雷丹

公路隧道火灾初期视频火焰检测

[J]. 中国公路学报, 2018, 31 (11): 121- 129

WANG Lin, YAO Xin, LEI Dan

Video-based recognition of early fire flame in road tunnel

[J]. China Journal of Highway and Transport, 2018, 31 (11): 121- 129

DOI:10.3969/j.issn.1001-7372.2018.11.013 [本文引用: 1]

[4]

梅建军, 张为

基于ViBe与机器学习的早期火灾检测算法

[J]. 光学学报, 2018, 38 (7): 60- 67

MEI Jian-jun, ZHANG Wei

Early fire detection algorithm based on ViBe and machine learning

[J]. Acta Optica Sinica, 2018, 38 (7): 60- 67

[5]

WANG T, BU L P, YANG Z K, et al

A new fire detection method using a multi-expert system based on color dispersion, similarity and centroid motion in indoor environment

[J]. IEEE/CAA Journal of Automatica Sinica, 2020, 7 (1): 263- 275

DOI:10.3969/j.issn.1004-1699.2019.02.014

[6]

肖潇, 孔凡芝, 刘金华

基于动静态特征的监控视频火灾检测算法

[J]. 计算机科学, 2019, 46 (Supple.1): 284- 286

XIAO Xiao, KONG Fan-zhi, LIU Jin-hua

Monitoring video fire detection algorithm based on dynamic characteristics and static characteristics

[J]. Computer Science, 2019, 46 (Supple.1): 284- 286

[7]

LI Z L, MIHAYLOVA L S, ISUPOVA O, et al

Autonomous flame detection in videos with a Dirichlet process Gaussian mixture color model

[J]. IEEE Transactions on Industrial Informatics, 2018, 14 (3): 1146- 1154

DOI:10.1109/TII.2017.2768530 [本文引用: 1]

[8]

赵敏, 张为, 王鑫, 等

时空背景模型下结合多种纹理特征的烟雾检测

[J]. 西安交通大学学报, 2018, 52 (8): 67- 73

DOI:10.7652/xjtuxb201808011 [本文引用: 1]

ZHAO Min, ZHANG Wei, WANG Xin, et al

A smoke detection algorithm with multi-texture feature exploration under a spatio temporal background model

[J]. Journal of Xi'an Jiaotong University, 2018, 52 (8): 67- 73

DOI:10.7652/xjtuxb201808011 [本文引用: 1]

[9]

刘恺, 刘湘, 常丽萍, 等

基于YUV颜色空间和多特征融合的视频烟雾检测

[J]. 传感技术学报, 2019, 32 (2): 237- 243

LIU Kai, LIU Xiang, CHANG Li-ping, et al

Video smoke detection based on YUV color space and multiple feature fusion

[J]. Chinese Journal of Sensors and Actuators, 2019, 32 (2): 237- 243

DOI:10.3969/j.issn.1004-1699.2019.02.014

[10]

李洪昌, 安明伟

基于总有界变分的森林火灾烟雾图像检测方法

[J]. 电子测量与仪器学报, 2020, 34 (11): 211- 217

DOI:10.13382/j.jemi.B2003042 [本文引用: 1]

LI Hong-chang, AN Ming-wei

Smoke image detection method of the forest fire based on total bounded variation

[J]. Journal of Electronic Measurement and Instrumentation, 2020, 34 (11): 211- 217

DOI:10.13382/j.jemi.B2003042 [本文引用: 1]

[11]

程旭, 宋晨, 史金钢, 等

基于深度学习的通用目标检测研究综述

[J]. 电子学报, 2021, 49 (7): 1428- 1438

DOI:10.12263/DZXB.20200570 [本文引用: 1]

CHENG Xu, SONG Chen, SHI Jin-gang, et al

A survey of generic object detection methods based on deep learning

[J]. Acta Electronica Sinica, 2021, 49 (7): 1428- 1438

DOI:10.12263/DZXB.20200570 [本文引用: 1]

[12]

HOU Y C, WANG H Q, WANG K

Improved multi-scale flame detection method

[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36 (5): 751- 759

DOI:10.37188/CJLCD.2020-0221 [本文引用: 1]

[13]

HU Y C, LU X B

Real-time video fire smoke detection by utilizing spatial-temporal ConvNet features

[J]. Multimedia Tools Appl, 2018, 77 (22): 29283- 29301

DOI:10.1007/s11042-018-5978-5 [本文引用: 1]

[14]

CHEN Z, ZHONG C, SHAO Y, et al

Video fire recognition based on multi-channel convolutional neural network

[J]. Journal of Physics: Conference Series, 2020, 1634 (1): 12020- 12027

DOI:10.1088/1742-6596/1634/1/012020

[15]

HOSSEINI A, HASHEMZADEH M, FARAJZADEH N

UFS-Net: a unified flame and smoke detection method for early detection of fire in video surveillance applications using CNNs

[J]. Journal of Computational Science, 2022, 61: 101638

DOI:10.1016/j.jocs.2022.101638 [本文引用: 1]

[16]

石磊, 张海刚, 杨金锋

基于改进型SSD的视频烟火检测算法

[J]. 计算机应用与软件, 2021, 38 (12): 161- 167

DOI:10.3969/j.issn.1000-386x.2021.12.027 [本文引用: 1]

SHI Lei, ZHANG Hai-gang, YANG Jin-feng

Video-based fire and smoke detection based on improved SSD

[J]. Computer Applications and Software, 2021, 38 (12): 161- 167

DOI:10.3969/j.issn.1000-386x.2021.12.027 [本文引用: 1]

[17]

赵媛媛, 朱军, 谢亚坤, 等

改进Yolo-v3的视频图像火焰实时检测算法

[J]. 武汉大学学报: 信息科学版, 2021, 46 (3): 326- 334

ZHAO Yuan-yuan, ZHU Jun, XIE Ya-kun, et al

A real-time video flame detection algorithm based on improved Yolo-v3

[J]. Geomatics and Information Science of Wuhan University, 2021, 46 (3): 326- 334

DOI:10.3969/j.issn.1006-8023.2022.01.011 [本文引用: 1]

[18]

缪伟志, 陆兆纳, 王俊龙, 等

基于视觉的火灾检测研究

[J]. 森林工程, 2022, 38 (1): 86- 92

MIAO Wei-zhi, LU Zhao-na, WANG Jun-long, et al

Fire detection research based on vision

[J]. Forest Engineering, 2022, 38 (1): 86- 92

DOI:10.3969/j.issn.1006-8023.2022.01.011 [本文引用: 1]

[19]

YAN P C, SUN Q S, YIN N N, et al

Detection of coal and gangue based on improved YOLOv5.1 which embedded scSE module

[J]. Measurement, 2022, 188: 110530

DOI:10.1016/j.measurement.2021.110530

[20]

GE Z, LIU S, WANG F, et al. Yolox: exceeding yolo series in 2021 [EB/OL]. [2022-03-20]. https://arxiv.org/abs/2107.08430.