采用Anchor-Free网络结构的实时火灾检测算法

doi:10.3785/j.issn.1008-973X.2020.12.018

采用Anchor-Free网络结构的实时火灾检测算法

晋耀^,, 张为^,

Real-time fire detection algorithm with Anchor-Free network architecture

JIN Yao^,, ZHANG Wei^,

通讯作者: 张为，男，教授. orcid.org/0000-0002-2601-3198. E-mail： tjuzhangwei@tju.edu.cn

收稿日期: 2019-12-18

Received: 2019-12-18

作者简介 About authors

晋耀（1996—），男，硕士生，从事数字图像处理、模式识别研究.orcid.org/0000-0002-2586-2921.E-mail：jin_yao@tju.edu.cn , E-mail：jin_yao@tju.edu.cn

摘要

为了解决现有的火灾检测算法中模型复杂，实时性差，检测精度较低的问题，提出快速高效的火灾检测算法. 该算法采用Anchor-Free网络结构，克服了Anchor方法中超参数过多、网络结构复杂的缺点；选用MobileNetV2作为基础特征提取网络，满足了检测的高实时性需求；针对火焰目标的形状、尺度多变的特点，设计适合于火焰检测的分类与边框预测子网络；引入特征选择模块，在特征金字塔网络中自动选择更合适的金字塔特征层. 算法在自建数据集上的检测精度达到90.1%；在公开数据集上取得了较好的检测结果，其检测速度可达24.6 帧/s. 实验结果表明，算法的网络模型简单，检测精度较高，检测速度较快；综合性能优于现有的其他火灾检测算法.

关键词： 计算机视觉 ; 目标检测 ; 火灾检测 ; Anchor-Free ; 可形变卷积 ; 特征选择模块

Abstract

The existing fire detection algorithms had problems such as too complicated model structure, poor real-time ability, and low detection rate. A fast and efficient fire detection algorithm based on convolutional neural network was proposed, in order to solve those problems. The Anchor-Free network structure was adoped as the whole architecture, which avoided the shortcomings of too many hyper-parameters and complex network structure in the Anchor-based detector. MobileNetV2 was selected as the feature extraction backbone network in order to meet the requirements of high real-time ability. A classification and a box prediction task-specific subnet suitable for fire detection were designed considering that the size and shape of the flame were different from other objects. A feature selective module was introduced to help the feature pyramid network automatically selected a more suitable pyramid feature layer. The algorithm achieves 90.1% accuracy on the self-built dataset, and has good performance on the public fire dataset. The speed of the network achieves 24.6 frames per second. The experimental results show that the detection precision of the proposed algorithm is high and the speed is fast while being simpler. The comprehensive performance of the algorithm is better than other existing fire detection algorithms.

Keywords： computer vision ; object detection ; fire detection ; Anchor-Free ; deformable convolution ; feature selective module

PDF (1682KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

晋耀, 张为. 采用Anchor-Free网络结构的实时火灾检测算法. 浙江大学学报(工学版)[J], 2020, 54(12): 2430-2436 doi:10.3785/j.issn.1008-973X.2020.12.018

JIN Yao, ZHANG Wei. Real-time fire detection algorithm with Anchor-Free network architecture. Journal of Zhejiang University(Engineering Science)[J], 2020, 54(12): 2430-2436 doi:10.3785/j.issn.1008-973X.2020.12.018

火灾是日常生活中主要灾害之一，严重威胁着人们的生命与财产安全，因此及时准确地发现火灾并预警具有十分重要的研究意义. 目前的火灾检测方法一般通过采用感烟、感温和感光探测器实现，但这种方法存在着探测距离有限、响应时间过长、精确度低的缺点. 近年来，随着视频监控技术和计算机视觉技术的不断发展，图像型火灾探测器也取得了巨大的进步. 与传统的基于传感器的火灾探测系统相比，图像型火灾检测算法具有响应速度快、覆盖范围广、可视化等优点.

基于视频图像检测火灾的研究已有数年，早期，研究者主要依据相应的场景手工提取火焰的静态、动态等特征来对火焰进行描述，或者结合机器学习的方法设计合适的分类器来作进一步的判别. 比如Seebamrungsat等^[1]基于火焰的颜色特征分析，以HSV颜色模型和YCbCr颜色模型为基础，设计火的分类规则，这种方法明显优于在RGB颜色空间下的模型. Mahdi等^[2]利用基于颜色信息的K聚类方法提取出了候选区域，结合火焰的运动信息和时空特征设计准确识别火焰的方法. 这些方法大都是基于对火的浅层特征的提取，属于启发式的方法，鲁棒性较差，很难适应于复杂场景下的火灾检测. 随着深度学习技术的不断发展，人们渐渐转向利用卷积神经网络来进行图像型火灾检测. Kim等^[3]提出结合R-CNN和LSTM神经网络的火灾检测方法，其中R-CNN网络用于判别疑似区域和非火区域，LSTM网络通过提取视频连续帧的特征，对R-CNN的结果作进一步的筛选. Wu等^[4]尝试使用Faster RCNN、Yolo、SSD等经典目标检测算法进行火灾检测. 上述基于深度学习的火灾检测算法主要存在以下3个问题.

1）网络模型过于复杂，难以同时满足高检测率和高实时性的检测需求；

2）网络中大量使用锚框(anchor)，造成网络的超参数过多，而且固定尺寸、形状anchor的使用也限制了对火焰目标的检测，尤其是一些狭长和较小尺寸的火焰；

3）网络对于火焰目标的定位不准，甚至有些算法没有定位功能.

针对当前利用神经网络进行火灾检测算法中的不足，借鉴目前目标检测领域中CornerNet^[5]、FSAF^[6]、FCOS^[7]、FoveaBox^[8]等网络采用的Anchor-Free(无锚框)网络结构，即舍弃网络中anchor，直接预测物体所属类别和位置的一种网络形式；本文提出采用Anchor-Free网络结构形式的火灾检测算法. 该算法采用MobileNetV2^[9]作为特征提取网络，通过逐点预测的方式取代了在图像上遍历大量anchor的方式；在分类子网络中引入形变卷积模块来解决特征不对齐问题，使用特征选择模块选择更合适的金字塔特征层进行学习、预测.

1. 采用Anchor-Free网络结构的火灾检测算法

1.1. 整体结构

采用Anchor-Free网络结构的火灾检测算法网络模型结构如图1所示. 该网络模型采用和RetinaNet^[10]类似的结构，包含1个负责提取特征的主干网络和2个分别负责分类和边框预测的子网络. MobileNetV2轻量网络作为基础特征提取网络，对经预处理的图片进行初步特征提取. 火焰形状大小多变，早期尺寸较小，如果仅仅基于特征提取网络单个高层特征对信息进行分类与判别，将无法准确提取火焰特征. 为解决这个问题，在MobileNetV2网络后引入特征金字塔结构（feature pyramid networks，FPN）^[11]. FPN采用自顶向下以及横向连接的结构，既能利用高层的强语义特征，又能利用低层的高分辨率信息，利于初期小火的检测. FPN的每个特征金字塔层都可以用来预测不同尺度的目标，图1中，FPN共利用P₃到P₇ 5个特征层，其中P_l (l = 3, 4, 5, 6, 7)代表该层分辨率是原图的1/2^l，所有的金字塔特征层通道数都为128. 全卷积结构的分类与边框预测子网络从FPN结构中接收相同的特征图，经过卷积步骤进一步提取火焰目标的特征，分别负责预测目标的类别和在图像中的具体位置.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1 采用Anchor-Free网络结构的火灾检测算法网络模型

Fig.1 Network architecture of real-time fire detection algorithm with Anchor-Free network architecture

图1虚线框中上半部分是负责火焰分类的子网络. 分类子网络从FPN结构中接收特征图之后，通过可形变卷积^[12]解决特征不对齐^[13]和标准卷积形状固定的问题. 在可形变卷积后使用2个3×3的卷积核，生成大小为W×H×128的特征图，卷积层使用ReLU^[14]作为激活函数. 使用1个3×3大小的卷积核，生成大小为W×H×1的特征图，特征图中每个点表示被归为火焰的概率. 图1虚线框中下半部分是负责边框预测的子网络. 边框预测子网络与分类子网络并行，用来预测目标点与火焰真实框之间的偏移量. 边框预测子网络共有5层，与RetinaNet中边框预测网络一致，均使用3×3大小的卷积核，激活函数使用ReLU，前4层大小为W×H×128，最后一层的大小为W×H×4，为每个点生成一个表示位置信息[x₁, y₁, x₂, y₂]的四维向量.

1.2. 监督信号和损失函数

监督信号的定义与FoveaBox和FSAF网络中的类似. 在原始图像，火焰真实框用b表示，b = （x₁, y₁, x₂, y₂），（x₁, y₁）与（x₂, y₂）分别表示图像中火焰区域左上角点与右下角点的坐标. 在网络训练的过程中，火焰区域b会被分配到不同的金字塔特征层P_l (l = 3, 4, 5, 6, 7)中进行监督学习. b投影到金字塔特征图P_l上的区域 $b_p^l$为 $\left( {x_{{p_1}}^l,y_{{p_1}}^l,x_{{p_2}}^l,y_{{p_2}}^l} \right)$， $b_p^l = b/2_{}^l$. 定义有效区域 $b_{\rm{e}}^l = \left( {x_{{{\rm{e}}_1}}^l,y_{{{\rm{e}}_1}}^l,x_{{{\rm{e}}_2}}^l,y_{{{\rm{e}}_2}}^l} \right)$，有效区域中的点作为训练时的正样本进行监督学习. 在实际的场景中火焰一般呈三角形，火焰重心会稍稍偏下，因此图片的有效区域可以定义在火焰的中下部分. 先将 $b_p^l$按其中心点缩放一个常数σ后，再向下偏移一个常数δ，如图2所示. 最终有效区域的坐标计算公式为

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2 特征金字塔层中的有效区域

Fig.2 Effective area of feature pyramid level

(1) $\left. {\begin{split} & {x_{{{\rm{e}}_1}}^l = c_{{p_x}}^l - 0.5(x_{{p_2}}^l - x_{{p_1}}^l)\sigma ,} \\ & {y_{{{\rm{e}}_1}}^l = c_{{p_y}}^l - 0.5(y_{{p_2}}^l - y_{{p_1}}^l)\sigma + 0.5(y_{{p_2}}^l - y_{{p_1}}^l)\delta ,} \\ & {x_{{{\rm{e}}_2}}^l = c_{{p_x}}^l + 0.5(x_{{p_2}}^l - x_{{p_1}}^l)\sigma ,} \\ & {y_{{{\rm{e}}_2}}^l = c_{{p_y}}^l + 0.5(y_{{p_2}}^l - y_{{p_1}}^l)\sigma + 0.5(y_{{p_2}}^l - y_{{p_1}}^l)\delta .} \end{split}} \right\}$

式中： $c_{{p_x}}^l{\text{、}}c_{{p_y}}^l$为 $b_p^l$区域的中心点坐标。

(2) $\left. {\begin{aligned} & {c_{{p_x}}^l = x_{{p_1}}^l + 0.5(x_{{p_2}}^l - x_{{p_1}}^l),} \\ & {c_{{p_y}}^l = y_{{p_1}}^l + 0.5(y_{{p_2}}^l - y_{{p_1}}^l).} \end{aligned}} \right\}$

在网络训练阶段，实验发现，当σ与δ分别设置为0.4与0.05时，模型的效果最好，能够达到更高的精确率，而且模型的收敛速度更快，不会出现过拟合的现象. 在后续实验中，σ=0.4与δ=0.05的设置将被固定.

1.2.1. 分类子网络

在分类网络的训练过程中，位于有效区域内的像素点标签设为1，表示火这类物体，有效区域外的像素点均设为0，表示负样本. 一般来说，有效区域的面积仅占特征图的很小一部分，如果在训练过程中设置有效区域内点的权重与有效区域外点的权重相同，将出现正负样本比例严重失衡的问题. 使用focal loss^[10]作为分子网络训练时的损失函数.

1.2.2. 边框预测子网络

在进行目标边框预测时，对于落在有效区域内的点(x, y)，定义监督信号 ${d_t} = ({t_{{x_1}}},\;{t_{{y_1}}},\;{t_{{x_2}}},\;{t_{{y_2}}})$. 其中 ${t_{{x_1}}}{\text{、}}\;{t_{{y_1}}}{\text{、}}\;{t_{{x_2}}}{\text{、}}\;{t_{{y_2}}}$表示(x, y)点到 $b_p^l$上下左右4个边的距离. 为了简化模型，采用Smooth L1^[15]作为边框预测子网络训练时的损失函数.

1.3. 尺度分配

为了解决火焰目标尺寸变换问题，在网络中引入FPN结构. 目前FPN网络中尺度是完全按照目标大小与每层尺度适配程度进行分配的. 这是因为在FPN结构的特征金字塔网络中，浅层的网络层有更高的分辨率，适合检测较大的物体，深层的网络层有更多的语义信息，适合对小目标进行检测. 这种手工选取特征的分配方式有一个很大的弊端——不能有效地利用目标物体的语义信息. 如图3所示，大小为60×60和大小为50×50的火焰目标可能被分配到2个不同的金字塔层进行学习，大小为40×40的火焰目标可能会和50×50的火焰目标被分配到同一层进行学习. 引入FSAF网络中的特征选择模块进行特征的在线选择.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3 FPN结构中特征选择过程

Fig.3 Feature selection process in FPN

为了找到最合适的金字塔特征层，特征选择模块利用了火焰目标语义信息进行在线选择. 在网络训练阶段，给定一张含有火焰目标的图片，定义在第P_l金字塔层的分类与边框预测损失分别为 ${L_{{\rm{FL}}}}(l)$与 ${L_{{\rm{SL}}}}(l)$，

(3) $\left. {\begin{aligned} & {{L_{{\rm{FL}}}}(l) = \frac{1}{{N(b_{\rm{e}}^l)}}\sum\limits_{i,j \in b_{\rm{e}}^l} {{\rm{FL}}(l,i,j),} } \\ & {{L_{{\rm{SL}}}}(l) = \frac{1}{{N(b_{\rm{e}}^l)}}\sum\limits_{i,j \in b_{\rm{e}}^l} {{\rm{SL}}(l,i,j).} } \end{aligned}} \right\}$

式中： $N(b_{\rm{e}}^l)$为有效区域 $b_{\rm{e}}^l$内像素个数， ${L_{{\rm{FL}}}}(l)$和 ${L_{{\rm{SL}}}}(l)$分别为目标点(i, j)在第P_l金字塔特征层的focal loss与Smooth L1损失.

如图4所示，给定一个火焰目标，计算目标在每个特征层的分类与边框预测损失，选择损失和最小的特征层l^*进行梯度反传：

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4 特征选择模块

Fig.4 Feature selective module

(4) ${l^*} = \arg \min \;{L_{{\rm{FL}}}}(l) + {L_{{\rm{SL}}}}(l).$

在推理阶段时，网络会根据目标的置信度选择最合适的层.

2. 实验结果与分析

2.1. 实验数据集及网络参数设定

针对火灾检测任务，目前尚未有公开的专用数据集，因此，按照MS COCO数据集^[16]格式标准建立场景丰富的火焰目标检测数据集. 数据集图片来源于42段实际火灾现场视频和95段模拟火灾视频，包括工厂、超市、学校、地铁站、停车场等上百个场景，涉及室内、室外、白天、夜晚、运动物体干扰、颜色干扰、灯光干扰等多种情况，共计13 655张图像，其中训练集10 070张，测试集3 585张，训练集与测试集图片来自于不同视频片段. 为了防止过拟合情况的发生，训练阶段时对图片进行了随机翻转、缩放、随机裁剪等数据增强操作.

本文网络采用随机梯度下降法进行训练，使用Tesla P40 GPU进行加速，批处理个数为4，动量为0.9，权重衰减为0.000 1，基础学习率设置为0.001 25，共训练24个数据集循环. 其中学习率根据循环轮数分段衰减，前16个循环中采用基础学习率，16~22循环中学习率下降为前一阶段学习率的10%，最后的2个循环使用相同的方式递减. 表示有效区域的常数σ与δ分别设置为0.4与0.05. 本文使用在ImageNet数据集上预训练的MobileNetV2作为基础特征提取网络.

2.2. 消融实验

为了了解本文搭建网络中各个部分的贡献，进行消融实验. 在消融实验中，使用COCO评价标准中的AP₅₀作为主要评价指标，消融实验的对象包括可形变卷积模块、特征选择模块、Anchor-Free网络结构等部分.

2.2.1. 可形变卷积模块和特征选择模块

为了证明可形变卷积模块对网络性能的提升，设计对比实验. 使用2个3×3，通道数为128的标准卷积来代替可形变卷积模块，即将分类子网络设置成与RetinaNet分类子网络类似的结构，结果见表1. 可以看出，去除可形变卷积模块后，AP₅₀从90.1%下降到86.3%，降低了接近4个百分点.

表 1 消融实验结果

Tab.1 Ablation study results

算法	可形变卷积模块	特征选择模块	AP₅₀ /%	单张图片检测时间/ms
RetinaNet- MobileNet	−	−	87.3	41.5
本文算法	−	√	86.3	35.7
	√	−	87.9	37.1
	√	√	90.1	40.7

新窗口打开| 下载CSV

利用特征选择模块可以更好地进行特征层尺度分配，让网络自动地寻找到最适合的特征层进行学习. 去除特征选择模块，使用FPN中手工选择方式后，精准度从90.1%降到87.9%.

2.2.2. Anchor-Free网络结构

为了证明Anchor-Free形式的网络结构对火灾检测效果的提升，设计本文网络和RetinaNet网络的消融对比实验. 公平起见，将RetinaNet的主干网络替换成为了MobileNetV2，分类与边框预测子网络中的通道数设置成128. 可以看出，采用Anchor-Free网络结构后，AP50从87.3%提升到90.1%，缩短了检测单张图片所需的时间，网络的前向推理速度更快.

如图5(a)所示为采用anchor结构的RetinaNet-MobileNetV2在部分测试集上的结果，如图5(b)所示为采用Anchor-Free网络结构的本文算法测试结果. 对比可知，本文算法对狭长、尺度较小的火焰检测效果更好，而且在光照复杂的环境下不会发生误报，鲁棒性更强.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5 RetinaNet-MobileNetV2与Anchor-Free网络结构检测结果对比

Fig.5 Comparison of fire detection results of RetinaNet-MobileNetV2 and Anchor-Free network architecture

2.3. 算法对比与分析

为了验证本文算法的有效性，与现有的经典目标检测算法模型在本文数据集上进行对比实验，目标检测模型包含YoloV3^[17]、SSD^[18]等主流模型. 由于网络计算量过大，无法满足火灾检测实时性要求，对比实验中没有选取以ResNet^[19]、Hourglass^[20]等为主干网络的网络模型，比如Faster RCNN^[15]、CornerNet^[5]等. 相关测试结果见表2.

表 2 经典目标检测算法与本文算法的检测结果对比

Tab.2 Comparison of fire detection results of the representative object detection algorithms and proposed algorith

算法	主干网络	AP₅₀ /%	单张图片检测时间/ms
YoloV3	DarkNet-53	89.2	38.4
SSD300	Vgg^[21]	85.0	27.6
ReinaNet-MobileNet	MobileNetV2	87.3	41.5
本文	MobileNetV2	90.1	40.7

新窗口打开| 下载CSV

为了进一步验证本文算法对火灾检测的有效性，笔者在Bilkent大学的VisiFire公开数据集（ http://signal.ee.bilkent.edu.tr/VisiFire/）上对比了文献[2]，[22~26]及本文所提算法的检测效果. 受篇幅限制，只选取其中的8段使用频率较高的视频进行对比分析，如图6所示.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6 火灾检测公共数据集

Fig.6 Fire detection public dataset

如图6（a）~（d）所示为火灾视频，包括森林火焰、桶内燃烧物火焰等常见火焰；如图（e）~（f）所示为非火干扰测试视频，包括灯光干扰、汽车干扰、红色物体干扰、人员干扰等多种干扰情况，用来测试算法抗干扰能力. 对于火灾视频与干扰视频集，分别使用真正类率（true positive rate，TPR）与真负类率（true negative rate，TNR）作为评判标准. 结果如表3所示，文献中未给出的数据用“−”表示.

表 3 现有火灾检测算法与本文算法的检测结果对比

Tab.3 Comparison of fire detection results of existing fire detection algorithms and proposed algorith

算法	TPR/%				TNR/%
算法	图6（a）	图6（b）	图6（c）	图6（d）	图6（e）	图6（f）	图6（g）	图6（h）
文献[22]	94.59	−	92.25	−	95.45	−	−	−
文献[23]	94.98	−	93.00	−	96.50	−	−	−
文献[24]	91.20	−	−	88.60	95.80	−	−	−
文献[25]	95.70	−	93.10	−	100	−	−	−
文献[26]	93.00	−	91.00	−	100	−	−	100
文献[2]	100	94.29	96.15	−	100	95.20	−	−
本文	100	96.15	94.75	97.95	99.49	97.41	100	100

新窗口打开| 下载CSV

从与经典目标检测算法和现有火灾检测算法的对比可以看出，本文算法检测率和误报率的综合性能更好. 相比于其他算法，本文提出的算法不仅检测精度高，能够检测出多种情景下的火焰，而且抗干扰能力强，不易受灯光、人员、车辆等物体影响. 除此之外，本文算法运行速度可以达到24.6帧/s，能够满足实时检测的需求，而且经过实际测试，本文提出的算法模型大小仅为34.01MB，可以很方便的应用到实际火灾检测中来，是一个十分有效的火灾检测算法.

3. 结　语

本文采用Anchor-Free网络结构的火灾检测算法，突破了现有目标检测算法中大量使用anchor的限制，使用逐像素点的检测方式取代了在特征图上密集设置anchor的方式；结合轻量化网络思想，引入MobileNetV2作为主干网络，提高火灾检测的速度. 实验结果表明，相较于其他算法，本文算法有着更高的准确率和更快的处理速度，尤其在处理狭长、小目标火焰时性能更优. 今后研究内容重点考虑进一步丰富火灾数据集，加入图片之间时序信息等，使算法可以更好地应用于更复杂的环境中.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

SEEBAMRUNGSAT J, PRAISING S, RIYAMONGKOL P. Fire detection in the buildings using image processing [C]// 2014 3rd ICT International Student Project Conference. Thailand: IEEE, 2014: 95-98.