浙江大学学报(工学版)

浙江大学学报(工学版), 2022, 56(10): 1891-1899 doi: 10.3785/j.issn.1008-973X.2022.10.001

自动化技术、信息工程

基于改进GhostNet-FCOS的火灾检测算法

张融,, 张为,

天津大学 微电子学院，天津 300072

Fire detection algorithm based on improved GhostNet-FCOS

ZHANG Rong,, ZHANG Wei,

School of Microelectronics, Tianjin University, Tianjin 300072, China

通讯作者: 张为，男，教授. orcid.org/0000-0002-2601-3198. E-mail： tjuzhangwei@tju.edu.cn

收稿日期: 2021-11-3  

基金资助: 新一代人工智能科技重大专项资助项目(19ZXZNGX00030)

Received: 2021-11-3  

Fund supported: 新一代人工智能科技重大专项资助项目(19ZXZNGX00030)

作者简介 About authors

张融（1997—），男，硕士生，从事数字图像处理、模式识别的研究.orcid.org/0000-0002-9092-6426.E-mail：rongzhang@tju.edu.cn , E-mail：rongzhang@tju.edu.cn

摘要

针对现有火灾检测算法检测精度不佳和算法模型复杂度过高的问题，提出基于改进GhostNet-FCOS的火灾检测算法. 该算法以目标检测网络FCOS为基础，降低通道维数并选用GhostNet作为特征提取网络，以实现轻量化火灾检测算法. 引入动态卷积，在不增加网络宽度和深度的情况下优化主干网络的基础模块，提高对形态多变的火焰图像的特征提取能力. 增加空间注意力模块，优化网络空间特征的表达. 改进正负样本定义和回归损失函数，优化训练过程中算法模型对标注框内不同区域的关注程度. 在自建火灾数据集和公开数据集中的实验结果表明，该算法在检测精度和模型复杂度方面具有优势. 该算法在自建火灾数据集中的检测精度为90.9%，参数量为4.58×106，浮点计算量为31.45×109.

关键词： 火灾检测 ; 目标检测 ; FCOS ; GhostNet ; 动态卷积 ; 注意力模块

Abstract

A fire detection algorithm based on improved GhostNet-FCOS was proposed in view of the low detection accuracy and high complexity of existing fire detection algorithms. The algorithm was based on FCOS with reduced channel dimensions, and GhostNet was selected as the feature extraction network to implement a lightweight fire detection algorithm. Dynamic convolution was introduced to optimize the basic modules of the backbone without increasing width and depth, resulting in improved feature extraction ability for variable flames. A spatial attention module was introduced into the backbone network in order to optimize the expression of network spatial features. The definition of positive and negative samples and the regression loss function were improved to optimize the network’s attention to different areas in the ground truth box during the training process. The experimental results in self-built fire dataset and public dataset show that the algorithm has advantages in detection accuracy and model complexity. The detection accuracy of the algorithm in the self-built fire dataset was 90.9%, the amount of parameter was 4.58×106, and the floating point operation was 31.45×109.

Keywords： fire detection ; object detection ; FCOS ; GhostNet ; dynamic convolution ; attention module

PDF (2209KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张融, 张为. 基于改进GhostNet-FCOS的火灾检测算法. 浙江大学学报(工学版)[J], 2022, 56(10): 1891-1899 doi:10.3785/j.issn.1008-973X.2022.10.001

ZHANG Rong, ZHANG Wei. Fire detection algorithm based on improved GhostNet-FCOS. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(10): 1891-1899 doi:10.3785/j.issn.1008-973X.2022.10.001

火灾是极具破坏力的灾害，早期预警具有重要意义. 与基于传感器的火灾检测方法相比，基于视觉的火灾检测方法具有灵敏度高、检测范围广、报警信息丰富等优点.

基于视觉的火灾检测方法通常利用火焰的颜色、纹理、形状、运动等手工特征，结合分类器进行判别. Foggia等[1]提出基于多专家系统的火灾检测方法，该方法利用了火焰的颜色、形状和运动特征. 严云洋等[2]提出融合颜色、纹理和动态特征的火焰检测方法. Hashemzadeh等[3]利用基于K-medoids聚类的颜色模型和运动信息提取疑似火灾区域，通过支持向量机对时空特征进行分类. 随着深度学习技术的发展，研究人员将注意力转向使用卷积神经网络(convolutional neural networks, CNN)提取火焰的特征. Muhammad等[4-7]利用AlexNet、GoogLeNet、SqueezeNet和MobileNetV2等经典网络进行火灾检测. Li等[8]通过多尺度特征融合、跳跃连接和注意力机制，改进AlexNet. Jeon等[9]提出基于CNN的多尺度火灾预测模型. 将火灾检测视为分类任务，无法获得火焰在图像中的位置，因此目标检测网络被广泛研究. Chaoxia等[10]使用颜色引导锚框和全局信息策略改进 Faster R-CNN，以提高计算效率和准确率. 晋耀等[11]提出基于无锚框结构的火灾检测算法，平衡检测精度和速度. 李欣健等[12]利用深度可分离卷积优化YOLO网络结构，通过数据增强和改进损失函数来提高精度. Kim等[13]使用长短期记忆网络提取连续帧的火焰特征，对多帧的检测结果作出综合判断，但复杂度过高的模型难以部署.

鉴于上述各方法存在的局限性，综合考虑火灾定位、检测精度和模型复杂度，将无锚框、单阶段的目标检测网络FCOS[14]作为基础网络展开研究. 本文提出基于改进GhostNet-FCOS的火灾检测方法，选用轻量化网络GhostNet[15]作为主干网络，降低特征金字塔网络(feature pyramid networks，FPN)[16]和检测头网络的通道维数. 针对火焰这类非刚性物体，采用动态卷积改进GhostNet，在不增加网络宽度和深度的情况下提高特征提取能力. 在GhostNet中增加空间注意力模块，提高主干网络对火焰的空间特征提取能力. 利用中心采样和中心度分支分别改进正负样本定义和回归损失权重，优化训练过程中检测网络对不同区域的关注程度.

1. 算法设计

1.1. 整体结构

FCOS算法是由Tian等[14]提出的全卷积、无锚框的单阶段目标检测网络. 该算法的基本思想是通过对图像内的每个位置进行分类和回归，达到目标检测的目的. 无锚框结构避免了锚框的超参数问题，减少了内存占用. FCOS网络的结构灵活，检测精度高，是具有代表性的无锚框目标检测网络，因此将其作为本文火灾检测算法的基础网络. 如图1所示为基于改进GhostNet-FCOS的火灾检测算法的整体结构图. FPN可以结合强语义特征与高分辨率特征，提高对不同尺度火焰的检测效果. FPN 的特征层为P3、P4、P5、P6和P7，对应的下采样率分别为8、16、32、64和128. 如图1所示，P3、P4和P5由GhostNet的特征层C3、C4和C5生成. P6和P7分别为P5和P6经过3×3卷积生成. 检测头网络由3个分支组成，分别用于分类预测、回归预测和中心度预测. 分类分支前4个特征图的尺寸为H×W×128，最后一个特征图的通道数表示类别数，火焰检测的类别数为1，故尺寸为H×W×1. 中心度分支与分类分支共享前4个特征图，最后一个特征图的尺寸为H×W×1. 回归分支的前4个特征图尺寸为H×W×128，最后一个特征图的尺寸为H×W×4，表示每个采样点的位置信息.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   基于改进GhostNet-FCOS的火灾检测算法的整体结构

Fig.1   Overall architecture of fire detection algorithm based on improved GhostNet-FCOS


较高的模型复杂度阻碍了FCOS在监控系统中的广泛应用.GhostNet是Han等[15]提出的在多个计算机视觉任务中具有出色表现的轻量化分类网络. 引入GhostNet作为FCOS的主干网络，可以大幅度地降低模型复杂度. 为了应对真实环境中复杂多变的火焰，特征提取和表示能力需要进一步的提升. 引入动态卷积和空间注意力模块，改进GhostNet的Ghost模块与Ghost瓶颈层，提高网络对火焰图像的特征提取能力. 如图1所示，主干网络的特征层包含若干Ghost瓶颈层，所有Ghost瓶颈层均包含2个改进的Ghost模块，步长为2的Ghost瓶颈层利用深度卷积进行下采样，部分Ghost瓶颈层包含通道注意力和空间注意力模块. 主干网络的参数细节如表1所示. 为了与轻量化的主干网络相匹配，将FPN和检测头网络分支的特征通道维数均由256调整至128.

表 1   改进GhostNet的网络结构

Tab.1  Network structure of improved GhostNet

输入 操作 扩张系数 输出 注意力 步长
3 3×3 conv — 16 — 2
16 Ghost bottleneck 16 16 — 1
16 Ghost bottleneck 48 24 — 2
24 Ghost bottleneck 72 24 — 1
24 Ghost bottleneck 72 40 √ 2
40 Ghost bottleneck 120 40 √ 1
40 Ghost bottleneck 240 80 — 2
80 Ghost bottleneck 200 80 — 1
80 Ghost bottleneck 184 80 — 1
80 Ghost bottleneck 184 80 — 1
80 Ghost bottleneck 480 112 √ 1
112 Ghost bottleneck 672 112 √ 1
112 Ghost bottleneck 672 160 √ 2
160 Ghost bottleneck 960 160 — 1
160 Ghost bottleneck 960 160 √ 1
160 Ghost bottleneck 960 160 — 1
160 Ghost bottleneck 960 160 √ 1
160 1×1 conv — 960 — 1

新窗口打开| 下载CSV


1.2. 动态卷积

GhostNet作为轻量级神经网络，取得了优异的性能. 它依赖于Ghost基础模块，使用较少的参数生成丰富的特征图. 虽然GhostNet在常规物体分类和检测方面取得了出色表现，但是为了应对真实环境中复杂多变的火焰，特征提取和表示能力需要进一步的提升. 为了提高GhostNet对火焰这类非刚性物体的特征提取能力，引入动态卷积，对GhostNet的基础模块进行改进.

动态卷积的基本思想是根据输入图像，自适应地调整卷积核参数，在实现方式上参考了文献[17]. 对于动态卷积，卷积核参数是由4个具有相同大小和维度的卷积核加权计算得到的，4个卷积核的权重是通过输入特征计算得到的，如图2所示. 对于输入特征图 $ {\boldsymbol{x}} $，动态卷积的过程可以描述为

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   结合动态卷积的Ghost模块

Fig.2   Ghost module combined with dynamic convolution


$ \begin{split} {\rm{Output}}\;({\boldsymbol{x}}) = &\sigma (({\alpha _1} {{\boldsymbol{K}}_1}+{\alpha _2} {{\boldsymbol{K}}_2}+ {\alpha _3} {{\boldsymbol{K}}_3}+ {\alpha _4} {{\boldsymbol{K}}_4}) * {\boldsymbol{x}}). \end{split} $

式中： $ \sigma $为激活函数， $ {\alpha _i} $为输入样本依赖的加权参数， $ {{\boldsymbol{K}}_{{i}}} $表示每个卷积核， $* $表示卷积操作. $ {\alpha _i} $分为4步计算得到，分别是全局平均池化层(global average pooling, GAP)、Dropout层、全连接层和Sigmoid 激活层. 如图2所示，GAP用于压缩特征层，获取全局空间信息. Dropout层随机失活部分神经元，提高动态卷积的泛化性能. 全连接层将维度减少到4，以匹配卷积核的数量. Sigmoid非线性激活层用于生成4个卷积核的权重. $ {\alpha _i} $的计算过程可以描述为

$ {\alpha _i}({\boldsymbol{x}}){\text{ = Sigmoid}}\;({\text{GAP}}({\boldsymbol{x}}){\boldsymbol{R}}). $

式中： $ {\boldsymbol{R}} $为将输入特征维数映射到卷积核个数的矩阵. 动态卷积不增加神经网络的宽度和深度，结合多个卷积核的信息，提高模型的特征表达能力.

Ghost模块是构建GhostNet的基础模块. 为了减少冗余特征图，Ghost模块将普通卷积分为以下2步实现. 1）使用1×1逐点卷积，生成半数的输出特征图. 2）对1）步的输出特征图使用3×3逐深度卷积，生成其余的输出特征图. 将2部分输出特征图拼接，作为Ghost模块的输出特征图. 如图2所示，将2）步原有的逐深度卷积改为逐深度动态卷积，1）步生成的特征图用于计算动态卷积核的参数. 动态卷积只应用于参数较少的逐深度卷积中，因此Ghost模块和动态卷积通过该方式结合产生的附加参数较少. 将结合动态卷积的Ghost模块替换原始Ghost模块，构建改进的GhostNet，作为火灾检测算法的主干网络.

1.3. 空间注意力模块

为了选择对目标任务具有显著贡献的特征，GhostNet引入通道注意力[18]来衡量不同通道特征的重要程度. 随着卷积层的叠加，语义信息不断丰富，不同空间位置的特征信息与火焰的关联程度不同，但仅依靠通道注意力的GhostNet难以筛选出贡献显著的空间位置. 为了丰富特征的空间表达，筛选出对火焰识别贡献较大的特征空间位置，在GhostNet的瓶颈层中增加空间注意力模块.

空间注意力模块如图3所示，实现方式如下. 对于高、宽和通道数分别为H×W×C的输入特征，参考CBAM[19]分别进行通道维度的平均池化操作和最大池化操作，得到2个H×W×1的特征，并将其拼接在一起. 经过3×3普通卷积和3×3空洞卷积，特征图相加后通过Sigmoid激活函数，得到特征空间维度的权重系数.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   空间注意力模块

Fig.3   Spatial attention module


空间注意力权重系数 ${\boldsymbol{M}}$的计算方式为

$ \begin{split} {\boldsymbol{M}}= \sigma ({f^{3 \times 3}}({f_{\text{c}}}({{\boldsymbol{F}}_{{\text{avg}}}},{{\boldsymbol{F}}_{\max }})){\text+} f_{\rm{D}}^{3 \times 3}({f_{\text{c}}}({{\boldsymbol{F}}_{{\text{avg}}}},{{\boldsymbol{F}}_{\max }}))). \end{split} $

式中： $ {\boldsymbol{F}} $为输入特征， $ {f^{3 \times 3}} $为3×3普通卷积操作， $ f_{\rm{D}}^{3 \times 3} $为3×3空洞卷积操作， $ {f_{\text{c}}} $为特征拼接操作， $ \sigma $为Sigmoid激活函数， $ {{\boldsymbol{F}}_{{\text{avg}}}} $和 $ {{\boldsymbol{F}}_{\max }} $分别为特征 $ {\boldsymbol{F}} $经过平均池化和最大池化运算后的特征. 空洞卷积的膨胀系数设定为3，感受野的大小与7×7普通卷积相等. 将3×3普通卷积与感受野为7×7的空洞卷积结合，可以在额外计算量有限的情况下，融合多尺度信息，丰富空间特征表达. 将权重系数与原输入特征相乘，可得空间注意力模块校正后的新特征：

$ {\boldsymbol{F}}' = {\boldsymbol{M}} \otimes {\boldsymbol{F}}. $

式中： $ {\boldsymbol{F}}' $为 $ {\boldsymbol{F}} $经过空间注意力模块加权的特征， $ \otimes $表示逐元素相乘. GhostNet主干网络通过增加与通道注意力互补的空间注意力模块，增大有效特征的权重，提高主干网络的性能.

1.4. 监督信号与损失函数

1.4.1. 监督信号

基础FCOS检测网络将任何落在标注框内的采样点视为正样本，不同位置的正样本权重相等. 对于形态多变的火焰图像，标注框边缘部分的火焰像素点较少，与火焰无关的背景点较多. 在模型训练过程中，标注框边缘的背景点会被当作火焰样本进行学习，对模型的训练造成一定的影响.

为了减小标注框边缘部分背景点对分类分支的影响，采用中心采样策略，优化模型对正、负样本的定义. 中心采样策略的实现方式如下：以标注框中心为圆心，取一个小于标注框的圆形区域，区域内的采样点为有效正样本. 圆形区域半径的计算公式为

$ r = {\text{radius}} \times s. $

式中： $ {\text{radius}} $为中心采样半径，设定为1.5； $ s $为FPN各层下采样步长. 在训练过程中，仅保留中心区域的采样点作为正样本，边缘部分的大多背景点被定义为负样本，如图4所示，中心正方形区域为有效正样本. 利用中心采样策略，可以在一定程度上减少标注框边缘的非火焰背景点对模型性能的影响.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   中心采样策略

Fig.4   Central sampling strategy


1.4.2. 损失函数

为了优化回归损失函数对标注框内不同区域的关注程度，将FCOS的中心度作为计算回归损失的权重系数，提高中心区域采样点的回归损失权重. 中心度 $ c_{x,y}^* $的计算方式如下：

$ c_{x,y}^* = \sqrt {\frac{{\min \;({l^*},{r^*})}}{{\max\; ({l^*},{r^*})}} \times \frac{{\min\; ({t^*},{b^*})}}{{\max\; ({t^*},{b^*})}}} . $

式中： $ {l^*} $、 $ {r^*} $、 $ {t^*} $、 $ {b^*} $分别为采样点到标注框左、右、上、下的距离. 中心度为0~1.0，从标注框的中心到边缘逐渐衰减. 正样本的回归损失需要乘以对应位置的中心度得分，计算公式为

$ {L_{{\text{reg}}}} = \sum\limits_{x,y} {c_{x,y}^*{L_{{\text{GIoU}}}}({t_{x,y}},t_{x,y}^*)} . $

式中： $ {L_{{\text{reg}}}} $为回归损失函数， $ {L_{{\text{GIoU}}}} $为GIoU[20]回归损失， $ {t_{x,y}} $为回归预测， $ t_{x,y}^* $为回归标签. 中心区域特征丰富，降低边缘区域对回归损失的权重，有利于提高模型的检测精度.

2. 实验结果与分析

2.1. 数据集及实验环境

由于目前尚无公开的具有标注框的火灾检测数据集，根据MS COCO数据集[21]格式创建具有标注框的火灾检测数据集. 数据集共有13 655张图像，其中训练集有10 070张，测试集有3 585张. 数据源自42个真实火灾视频和95个实验火灾视频，包括工厂、学校、地铁站、停车场、超市和寺庙等数百个场景，涵盖室内、室外、日间、夜间和光线干扰等复杂情况，以尽可能地模拟真实应用环境. 自建火灾数据集上进行的实验使用AP50和AR作为主要的评价指标.

Bilkent大学的VisiFire( http://signal.ee.bilkent.edu.tr/VisiFire/)是被广泛使用的火灾公共数据集. 它包含若干火灾视频片段和易误报的干扰视频片段. 为了与传统的图像型火灾检测方法进行比较，从该数据集中选择5个视频片段. 如图5所示，V1~V3是3个火灾视频，V4和V5是2个易误报的干扰视频. 公开数据集上进行的实验使用真正类率(true positive rate, TPR)和真负类率(true negative rate, TNR)作为评价指标.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   火灾检测公共数据集

Fig.5   Fire detection public dataset


实验平台的计算机配置如下：CPU为Intel Xeon W-2102，GPU为NVIDIA GeForce RTX 2080 Ti，操作系统为Ubuntu 16.0.7. 实验通过Python编程语言和PyTorch 深度学习框架实现. 在训练阶段，采用随机梯度下降优化器训练24个周期，初始学习率为 0.001，批处理数为4. 在第16和第22个训练周期，学习率衰减为当前学习率的10%. 权重衰减和动量分别设置为 0.000 1和0.9. 为了提高模型的泛化能力，在训练阶段采取随机翻转、裁剪图像和亮度变换等数据增强方式.

2.2. 轻量级主干网络对比

将轻量级主干网络ShuffleNetV2[22]、MobileNetV2[23]、MobileNetV3[24]、GhostNet替换FCOS原主干网络ResNet50，在自建火灾数据集上进行对比实验，结果如表2所示. 表中，AP50为平均精确率，AR为平均召回率，FLOPS为浮点计算量，g为分组数量，P为参数量，v为速度. FCOS在主干网络替换为轻量级网络并降低通道数后，参数量和浮点计算量明显降低，速度提升，其中ShuffleNetV2速度快于MobileNet系列和GhostNet. 鉴于引入轻量级网络后的速度均满足实时火灾检测的需求，综合考虑检测精度、参数量和计算量，GhostNet较其他轻量级网络具有一定的优势.

表 2   轻量级主干网络的对比

Tab.2  Comparison of lightweight backbones

检测网络-通道数 主干网络 AP50/% AR/% P/106 FLOPs/109 v/(帧·s−1)
FCOS-256 ResNet50 91.4 56.2 74.13 200.5 18.0
FCOS-128 ShuffleNetV2 1.0× (g=3) 83.9 51.7 3.06 31.99 33.5
FCOS-128 ShuffleNetV2 2.0× 85.6 53.9 7.34 41.68 32.3
FCOS-128 MobileNetV2 86.2 53.2 4.04 35.22 29.1
FCOS-128 MobileNetV3 86.6 52.5 4.74 33.35 29.6
FCOS-128 GhostNet 86.5 52.4 4.45 30.45 28.6

新窗口打开| 下载CSV


2.3. 消融实验

为了验证动态卷积模块、空间注意力模块、改进的监督信号和损失函数的贡献，设计对比实验，结果如表3所示.

表 3   消融实验的结果

Tab.3  Results of ablation study

算法 动态卷积模块 空间注意力模块 监督信号和损失函数 AP50/% AR/% P/106 v/(帧·s−1)
FCOS — — — 91.4 56.2 74.13 18.0
GhostNet-FCOS — — — 86.5 52.4 4.45 28.6
本文算法 √ — — 88.7 53.8 4.58 25.1
本文算法 √ √ — 90.1 54.2 4.58 24.1
本文算法 √ √ √ 90.9 55.1 4.58 24.1

新窗口打开| 下载CSV


为了验证采用动态卷积模块改进GhostNet基础模块对算法性能的提升，开展消融实验，结果如表3所示. 在采用逐深度动态卷积改进Ghost模块后，AP50从86.5%提升到88.7%，AR从52.4%提升到53.8%. 实验结果表明，动态卷积模块带来了显著的精度提升，算法模型的参数量只增加了0.13×106，速度略有下降. 将动态卷积引入GhostNet基础模块，可以在模型复杂度增加有限的情况下，改善模型的特征表达，提高火灾检测的精度.

空间注意力模块用于改善网络模型的空间特征表达，融合多尺度信息，优化网络模型对重点位置特征的关注度. 在增加空间注意力模块后，AP50从88.7%提高到90.1%，AR从53.8%提高到54.2%，参数量的增加可以忽略不计，检测速度降为24.1帧/s.

在上述改进的基础上，继续优化网络在训练过程中的正负样本定义和回归损失函数. 如表3所示，AP50从90.1%提高到90.9%，AR从54.2%提高到55.1%. 如图6所示为改进正负样本的定义和回归损失函数前、后的检测效果对比. 可以看出，改进后的边界预测框更准确，检测结果的置信度更高.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   改进监督信号和损失函数前、后的检测效果对比

Fig.6   Comparison of detection results before and after improving supervision signal and loss function


对GhostNet-FCOS进行动态卷积、空间注意力、监督信号和损失函数的改进后，检测精度接近原始FCOS，模型复杂度较FCOS明显降低. 与GhostNet-FCOS相比，改进后算法的检测精度明显提升，参数量仅有小幅度增加. 由于监控系统的视频帧率通常设置为20~25帧/s，改进后的算法基本满足火灾实时检测的需求. 将改进前、后的算法在公开数据集上进行对比实验，结果如表4所示. 表中，本文算法1为GhostNet-FCOS改进前算法，本文算法2为改进后算法，TPR和TNR均有所提升. 检测效果的对比如图7所示. 可知，改进后的算法检测精度提高，定位更准，干扰图像的误报减少. 综合考虑检测精度和模型复杂度可知，改进后的算法较原始FCOS和GhostNet-FCOS有优势.

表 4   与基于传统图像特征的火灾检测算法对比

Tab.4  Comparison with fire detection algorithms based on traditional image features

算法 TPR/% TNR/%
V1 V2 V3 V4 V5
文献[25] 92.50 94.21 — 95.45 —
文献[26] 92.25 94.59 — 96.15 —
文献[27] 93.00 94.98 — 96.50 —
文献[28] 93.10 95.70 — 100 —
文献[2] 96.15 100.0 94.29 100 95.20
文献[29] — 91.20 — 95.80 —
文献[3] 93.30 — — — 94.70
文献[30] 91.00 93.00 — 100 —
本文算法1 96.66 96.53 99.59 95.41 96.10
本文算法2 98.75 100 100 99.23 99.35

新窗口打开| 下载CSV


图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   Ghost-FCOS在改进前、后的检测效果对比

Fig.7   Comparison of detection effect of Ghost-FCOS before and after improvement


2.4. 算法对比与分析

为了探究本文火灾检测算法的性能，将本文算法与基于传统图像特征的火灾检测方法进行对比实验. 表4中，“—”表示文献中没有相关数据. 可以看出，改进后的本文算法2在4个视频上的实验结果最优，对于存在移动车灯干扰的视频V4，检测精度略低于利用运动特征的火灾检测算法[28,2,30]. 如图7所示为部分误报案例，由于夜间光源在图像中存在光晕和星芒现象，导致夜间车灯与火焰的静态特征非常相似，这对仅凭单张图像判定的轻量级火灾检测网络存在挑战.

为了进一步验证算法的有效性，与3种用于火灾检测算法的轻量级目标检测网络进行对比实验. 使用Pytorch框架复现相应的算法，采用相同的数据集和实验设置进行对比评估，所有算法均未使用预训练权重，实验结果如表5所示. 在自建火灾数据集上，本文算法的AP50达到90.9%，AR达到55.1%，检测精度明显高于其他算法. 本文算法模型的参数量仅为4.58×106，浮点计算量为31.45×109，模型复杂度适中；因此，本文火灾检测算法相对其他用于火灾检测的轻量级目标检测网络具有优势. 如图8所示为本文算法对实验和真实火灾的检测效果. 可以看出，本文算法对多种场景、多种尺度、多种燃烧状态的火灾都具有较好的检测效果.

表 5   与用于火灾检测的轻量级目标检测网络对比

Tab.5  Comparison with lightweight object detection network used in fire detection

算法 AP50/% AR/% P/106 FLOPs/109
YOLOV3 Tiny [31] 76.5 43.2 8.67 16.24
YOLOV3-MobileNet[32] 82.6 46.8 22.67 53.46
SSD-MobileNetV2 [33] 76.6 46.9 5.45 8.08
本文算法 90.9 55.1 4.58 31.45

新窗口打开| 下载CSV


图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   实验与真实火灾的检测效果图

Fig.8   Detection results of experimental fire and real fire


3. 结　语

本文提出基于改进GhostNet-FCOS网络的火灾检测算法. 通过降低通道维数，选用GhostNet作为特征提取网络，实现网络轻量化. 引入动态卷积改进GhostNet的基础模块，提高对形态多变的火焰图像的特征提取能力. 增加与通道注意力形成互补的空间注意力模块，优化检测网络的空间特征表达. 改进分类分支的正负样本定义和回归分支的损失函数权重，优化网络在训练过程中对不同区域的关注程度，提高检测和定位精度. 实验结果表明，与基于传统图像特征的火灾检测方法和用于火灾检测的轻量级目标检测网络相比，本文算法具有较高的检测精度和较低的模型复杂度，具有一定的应用优势. 未来的研究内容将重点考虑能够结合时序信息的轻量级神经网络模型，充分利用火焰的动态特征.

参考文献

FOGGIA P, SAGGESE A, VENTO M

Real-time fire detection for video-surveillance applications using a combination of experts based on color, shape, and motion

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25 (9): 1545- 1556

DOI:10.1109/TCSVT.2015.2392531      [本文引用: 1]

严云洋, 杜静, 高尚兵, 等

融合多特征的视频火焰检测

[J]. 计算机辅助设计与图形学学报, 2015, 27 (3): 433- 440

[本文引用: 3]

YAN Yun-yang, DU Jing, GAO Shang-bing, et al

Video flame detection based on fusion of multi-feature

[J]. Journal of Computer-Aided Design and Computer Graphics, 2015, 27 (3): 433- 440

[本文引用: 3]

HASHEMZADEH M, ZADEMEHDI A

Fire detection for video surveillance applications using ICA k-medoids-based color model and efficient spatio-temporal visual features

[J]. Expert Systems with Applications, 2019, 130: 60- 78

DOI:10.1016/j.eswa.2019.04.019      [本文引用: 2]

MUHAMMAD K, AHMAD J, BAIK S W

Early fire detection using convolutional neural networks during surveillance for effective disaster management

[J]. Neurocomputing, 2018, 288: 30- 42

DOI:10.1016/j.neucom.2017.04.083      [本文引用: 1]

MUHAMMAD K, AHMAD J, MEHMOOD I, et al

Convolutional neural networks based fire detection in surveillance videos

[J]. IEEE Access, 2018, 6: 18174- 18183

DOI:10.1109/ACCESS.2018.2812835     

MUHAMMAD K, AHMAD J, LV Z, et al

Efficient deep CNN-based fire detection and localization in video surveillance applications

[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, 49 (7): 1419- 1434

MUHAMMAD K, KHAN S, ELHOSENY M, et al

Efficient fire detection for uncertain surveillance environment

[J]. IEEE Transactions on Industrial Informatics, 2019, 15 (5): 3113- 3122

DOI:10.1109/TII.2019.2897594      [本文引用: 1]

LI S, YAN Q, LIU P

An efficient fire detection method based on multiscale feature extraction, implicit deep supervision and channel attention mechanism

[J]. IEEE Transactions on Image Processing, 2020, 29: 8467- 8475

DOI:10.1109/TIP.2020.3016431      [本文引用: 1]

JEON M, CHOI H S, LEE J, et al

Multi-scale prediction for fire detection using convolutional neural network

[J]. Fire Technology, 2021, 57 (5): 1- 19

[本文引用: 1]

CHAOXIA C Y, SHANG W W, ZHANG F

Information-guided flame detection based on faster R-CNN

[J]. IEEE Access, 2020, 8: 58923- 58932

DOI:10.1109/ACCESS.2020.2982994      [本文引用: 1]

晋耀, 张为

采用Anchor-Free网络结构的实时火灾检测算法

[J]. 浙江大学学报: 工学版, 2020, 54 (12): 2430- 2436

[本文引用: 1]

JIN Yao, ZHANG Wei

Real-time fire detection algorithm with anchor-free network architecture

[J]. Journal of Zhejiang University: Engineering Science, 2020, 54 (12): 2430- 2436

[本文引用: 1]

李欣健, 张大胜, 孙利雷, 等

复杂场景下基于CNN的轻量火焰检测方法

[J]. 模式识别与人工智能, 2021, 34 (5): 415- 422

DOI:10.16451/j.cnki.issn1003-6059.202105004      [本文引用: 1]

LI Xin-jian, ZHANG Da-sheng, SUN Li-lei, et al

CNN-based lightweight fire detection method in complex scenes

[J]. Pattern Recognition and Artificial Intelligence, 2021, 34 (5): 415- 422

DOI:10.16451/j.cnki.issn1003-6059.202105004      [本文引用: 1]

KIM B, LEE J

A video-based fire detection using deep learning models

[J]. Applied Sciences, 2019, 9 (14): 2862

DOI:10.3390/app9142862      [本文引用: 1]

TIAN Z, SHEN C, CHEN H, et al. FCOS: fully convolutional one-stage object detection [C]// Proceedings of the IEEE International Conference on Computer Vision. Seoul: IEEE, 2019: 9627–9636.

[本文引用: 2]

HAN K, WANG Y, TIAN Q, et al. Ghostnet: more features from cheap operations [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 1580-1589.

[本文引用: 2]

LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2117–2125.

[本文引用: 1]

YANG B, BENDER G, LE Q V, et al

CondConv: conditionally parameterized convolutions for efficient inference

[J]. Advances in Neural Information Processing Systems, 2019, 32: 1307- 1318

[本文引用: 1]

HU J, SHEN L, ALBANIE S, et al

Squeeze-and-excitation networks

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42 (8): 2011- 2023

DOI:10.1109/TPAMI.2019.2913372      [本文引用: 1]

WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module [C]// European Conference on Computer Vision. Munich: Springer, 2018: 1-19.

[本文引用: 1]

REZATOFIGHI H, TSOI N, GWAK J, et al. Generalized intersection over union: a metric and a loss for bounding box regression [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 658-666.

[本文引用: 1]

LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: common objects in context [C]// European Conference on Computer Vision. Zurich: Springer, 2014: 740-755.

[本文引用: 1]

MA N, ZHANG X, ZHENG H T, et al. Shufflenet v2: practical guidelines for efficient CNN architecture design [C]// Proceedings of the European Conference on Computer Vision. Munich: Springer, 2018: 116-131.

[本文引用: 1]

SANDLER M, HOWARD A, ZHU M, et al. Mobilenetv2: inverted residuals and linear bottlenecks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520.

[本文引用: 1]

HOWARD A, SANDLER M, CHEN B, et al. Searching for mobilenetv3 [C]// International Conference on Computer Vision. Seoul: IEEE, 2019: 1314-1324.

[本文引用: 1]

KO B C, CHEONG K H, NAM J Y

Fire detection based on vision sensor and support vector machines

[J]. Fire Safety Journal, 2009, 44 (3): 322- 329

DOI:10.1016/j.firesaf.2008.07.006      [本文引用: 1]

BORGES P V K, IZQUIERDO E

A probabilistic approach for vision-based fire detection in videos

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20 (5): 721- 731

DOI:10.1109/TCSVT.2010.2045813      [本文引用: 1]

TRUONG T X, KIM J M

Fire flame detection in video sequences using multi-stage pattern recognition techniques

[J]. Engineering Applications of Artificial Intelligence, 2012, 25 (7): 1365- 1372

DOI:10.1016/j.engappai.2012.05.007      [本文引用: 1]

KONG S G, JIN D, LI S

Fast fire flame detection in surveillance video using logistic regression and temporal smoothing

[J]. Fire Safety Journal, 2016, 79: 37- 43

DOI:10.1016/j.firesaf.2015.11.015      [本文引用: 2]

吴茜茵, 严云洋, 杜静, 等

多特征融合的火焰检测算法

[J]. 智能系统学报, 2015, 10 (2): 240- 247

DOI:10.3969/j.issn.1673-4785.201406022      [本文引用: 1]

WU Xi-yin, YAN Yun-yang, DU Jing, et al

Fire detection based on fusion of multiple features

[J]. CAAI Transactions on Intelligent Systems, 2015, 10 (2): 240- 247

DOI:10.3969/j.issn.1673-4785.201406022      [本文引用: 1]

梅建军, 张为

基于ViBe与机器学习的早期火灾监测算法

[J]. 光学学报, 2018, 38 (7): 60- 67

[本文引用: 2]

MEI Jian-jun, ZHANG Wei

Early fire detection algorithm based on ViBe and machine learning

[J]. Acta Optica Sinica, 2018, 38 (7): 60- 67

[本文引用: 2]

KANG L W, WANG I S, CHOU K L, et al. Image-based real-time fire detection using deep learning with data augmentation for vision-based surveillance applications [C]// 16th IEEE International Conference on Advanced Video and Signal Based Surveillance. Taipei: IEEE, 2019: 1-4.

[本文引用: 1]

DAI Z. Image flame detection method based on improved yolov3 [C]// IOP Conference Series: Earth and Environmental Science. Xi’an: IOP Publishing, 2021, 693(1): 012012.

[本文引用: 1]

AHMED H, JIE Z, USMAN M. Lightweight fire detection system using hybrid edge-cloud computing [C]// 4th IEEE International Conference on Computer and Communication Engineering Technology. Beijing: IEEE, 2021: 153-157.

[本文引用: 1]

/

〈 〉