行人检测是目标检测领域的一个重要分支，作为汽车安全^[1]、视频监控^[2-3]等现实应用的关键部分，行人检测技术受到了大量关注. 当前行人检测主要存在两类算法：基于机器学习的传统行人检测算法，基于深度学习的行人检测算法.

基于机器学习的传统行人检测算法^[4-9]使用方向梯度直方图（histogram of oriented gradient，HOG）、局部二值模式（local binary pattern，LBP）、Haar-like等人工设计的特征训练SVM或者Adaboost算法^[10]的级联分类器实现. 这类算法在一些场景简单的行人检测任务中有较好的检测准确率，然而在商场、街道等复杂场景中，由于存在姿态变化、遮挡、背景复杂等因素，人工难以设计一种具有极高鲁棒性的特征，检测效果往往不理想.

基于深度学习的行人检测算法的特征由计算机学习得到，这类特征同时具备轮廓、颜色、纹理等多种信息，具有极高的语义特征表达能力和鲁棒性. 近几年，许多基于深度学习的通用目标检测算法被提出. Girshick等^[11]在RCNN算法^[12]的基础上提出Fast R-CNN算法，实现了准确率和效率的大幅提升，该算法将每个用于特征提取的候选区域映射到卷积特征上而不是从原图直接获取，大幅减少了卷积运算，有效提升了候选区域特征的提取速度. 然而，Fast R-CNN仍没有解决Selective Search算法^[13]选取候选区域慢的问题. 针对这个问题，Ren等^[14]提出了Faster-RCNN算法，设计了区域生成网络（region proposal network，RPN）快速选取候选区域，实现了检测速度和精度的进一步提升，在Pascal VOC数据集的测试中准确率达到了76.4%，速度达到了2 帧/s。为了实现具备较高准确率和实时检测效率的通用目标检测，候选区域特征提取部分的计算量必须减少。Liu等^[15]提出了SSD算法，Joseph等^[16]提出了YOLOv2算法，实现了较高准确率下的实时目标检测。这2种算法的相同之处在于：都取消了区域生成网络，通过计算特征图滑动窗区域与真实区域的交并比寻找候选区域，并且候选区域直接作用于检测网络进行分类和定位。不同之处在于：SSD算法的滑动窗尺寸由人工确定，而YOLOv2算法的滑动窗尺寸由样本集边框标签进行K-means聚类得到；SSD算法使用不同层特征图生成候选区域，而YOLOv2算法只使用一层特征图生成候选区域。在Pascal VOC数据集测试中，SSD算法获得速度为46帧/s、平均准确率为74.3%的检测结果，YOLOv2算法获得速度为67帧/s、平均准确率为76.8%的检测结果。

行人检测属于目标检测的一种特殊情况，本文对目标检测SSD算法进行改进，提出一种高效的特征图聚集多尺度行人检测算法，通过提高SSD算法中用于检测部分特征的空间分辨和语义能力，实现高效和准确的行人检测. 当前，已有许多优秀的特征图聚集算法，其中Inception module算法^[17-19]对不同感受野特征图进行融合，构造出的特征具有较高的空间信息，但是未使用具有较好语义信息的高层特征；交叉输入邻域差异化算法^[20]通过单一较低层特征图互相减的运算可构造出具有差异化显著的类内与类间特征，但是所含语义信息较少. 本文进一步结合HpyerNet^[21]算法，提出一种将高层次特征与低层次特征图进行聚集的网络，构造出具有较好空间分辨和语义能力的特征图，以提高检测准确性. 同时，为获得更好的行人定位准确性，本文构造多尺度行人检测网络，对SSD算法的候选区域根据行人长宽比例进行重新设计，使预测区域更加逼近真实区域.

特征图聚集多尺度行人检测高效算法其网络结构主要有2个部分.

第一部分为特征提取网络，由特征图聚集网络和特征延伸网络组成. 特征图聚集网络是针对SSD算法中特征提取网络视觉几何组（visual geometry group，VGG）^[22]的一种改进，对其多个低层特征使用不同尺寸的池化层进行下采样，之后使用卷积核尺寸为3×3的卷积层处理加强语义能力，并对一个高层特征使用反卷积层^[23]进行上采样，以此将不同层输出的特征图尺寸统一到38×38. 为防止数据过拟合使用局部响应归一化层（local response normalization，LRN）对这些特征图进行处理，并使用拼接层Concat进行通道拼接，形成具有较好空间分辨能力和语义能力的聚集特征图. 特征延伸网络是对特征图聚集网络卷积层组5的扩展，以形成多尺度特征图，用于预测不同尺度的行人位置.

第二部分为多尺度行人检测网络，该网络是SSD算法中检测网络部分在行人检测应用上的一种改进. 由于实际场景中行人多为站立、行走和跑步等状态，图片或视频中矩形行人区域的高宽比多为2.5∶1和3∶1. 对SSD算法的检测网络部分的候选区域进行重新设计，把高宽比小于1的候选区域全部去掉，同时增加高宽比为2.5∶1和3∶1的候选区域，以此来提高行人定位的准确性.

选取特征提取网络的卷积层组5、卷积层1、卷积层2、卷积层3、卷积层4和特征图聚集网络的输出作为多尺度行人检测网络的输入，构建基于特征图聚集的多尺度行人检测网络.

卷积神经网络的低层特征图具有较高的空间分辨能力，而高层特征图具有较高的语义能力，为了构造兼具这2种能力的特征图，对VGG网络中感受野差异较大的特征图进行聚集处理。由于使用池化层下采样处理后的特征图的感受野会产生较大变化，所以选择池化层2、池化层3、池化层4和池化层5之前的特征图进行聚集。同时，为了高效的行人检测将用于聚集的特征图下采样或上采样到统一尺寸38×38。网络结构如图1所示：对池化层2和池化层3之前的特征图分别使用1个滤波器尺寸为4×4步长为4和2×2步长为2的池化层对特征图进行下采样，之后使用1个卷积核尺寸为3×3步长为1的卷积层加强特征图语义能力。对池化层4之前的特征图使用1个卷积核尺寸为3×3步长为1的卷积层加强特征图语义能力。对池化层5的输出使用1个滤波器尺寸为4×4步长为2的反卷积层进行上采样。使用LRN层对通道拼接前的特征图进行处理，降低特征图中大尺寸行人区域对小尺寸行人区域的压制。

使用多个卷积层进行下采样生成多尺度特征图，网络结构如图2所示：输入为图1卷积层组5的输出，虚线处表示1个卷积层，其卷积核尺寸为1×1步长为1通道数为下一个卷积层1/2。

SSD算法的检测网络部分存在高宽比为1∶2和1∶3的候选区域，而这些候选区域不适用于行人检测，因此本文构造的多尺度行人检测网络对候选区域进行重新设计，将候选区域的高宽比设为1∶1、2∶1、2.5∶1和3∶1. 选取卷积层组5、卷积层1、卷积层2、卷积层3、卷积层4和特征图聚集网络的输出作为多尺度行人检测网络的输入，这一部分网络结构如图3所示.

对输入多尺度行人检测网络的特征图提取候选区域，并将其与目标的真实区域进行匹配. 匹配策略如下：

(1) $S{\rm{=}}\frac{{\left| {A \cap B} \right|}}{{\left| {A \cup B} \right|}}.$

式中：S为Jaccard相似度，A为目标真实区域的区域，B为候选区域的区域. 当S >50%时，认为候选区域中存在目标；否则，没有目标.

使用Softmax loss与Smooth L1 loss作为联合优化损失函数：

(2) $L=\frac{1}{N}\left( {{L_1} + {L_2}} \right).$

式中：N为存在目标的候选区域的数量；L₂为位置损失， 使用Smooth L1 loss对预测区域进行位置回归. L₁为Softmax loss用于计算预测区域置信度损失；L₂为Smooth L1 loss用于计算预测区域的位置损失。若N = 0，则L = 0. 使用Softmax loss计算每个与真实区域进行匹配的候选区域置信度.

(3) ${L_1}= - \sum\nolimits_{i=1}^N {\log\; \frac{{\exp \left( {{{W}}_i^{\rm{T}}{{{x}}^{\left( i \right)}} + {{{b}}_i}} \right)}}{{\sum\nolimits_{l=1}^k {\exp \left( {{{W}}_l^{\rm{T}}{{{x}}^{\left( i \right)}} + {{{b}}_l}} \right)} }}} .$

式中：k为检测类别数，k=2.

(4) ${L_2}=\sum\nolimits_i^N {\sum\nolimits_{{{m}} \in \left\{ {{{{x}}_{\rm{c}}}{\rm{,}}{{{y}}_{\rm{c}}}{{,w,h}}} \right\}} {{L_3}\left( {v_i^{{m}} - u_i^{{m}}} \right)} } .$

(5) $ {L_3}\left( x \right) = \left\{ \begin{array}{l} 0.5{x^2},\quad\quad\left| x \right| < 1;\\ \left| x \right| - 0.5,\quad{\text{其他}}. \end{array} \right. $

(6) $u_i^{{m}}{\rm{=}}\left\{ \begin{gathered} u_i^{{{{x}}_{\rm{c}}}}{\rm{=}}{{\left( {{{g}}_j^{{{{x}}_{\rm{c}}}} - {{d}}_i^{{{{x}}_{\rm{c}}}}} \right)} / {d_i^{{w}}}}, \\ u_i^{{{{y}}_{\rm{c}}}}{\rm{=}}{{\left( {{{g}}_j^{{{{y}}_{\rm{c}}}} - {{d}}_i^{{{{y}}_{\rm{c}}}}} \right)} / {d_i^{{h}}}}, \\ u_i^{{w}}=\log\; \left( {{{{{g}}_j^{{w}}} / {d_i^{{w}}}}} \right), \\ u_i^{{h}}=\log \;\left( {{{{{g}}_j^{{h}}} / {d_i^{{h}}}}} \right) . \end{gathered} \right.$

式中：m为区域属性集合，x_c和y_c分别为候选区域d和真实区域g的中心坐标，w和h分别为区域宽度和高度，v为预测区域相对真实区域的偏移，u为候选区域相对真实区域的偏移，j为与候选区域匹配的真实区域.

训练部分配置：Intel i3-4130 CPU（3.40 GHz×4）、8 GB内存、GTX980ti显卡、ubuntu14.04操作系统、Caffe深度学习开源框架. 测试部分配置：Intel i3-4130 CPU（3.40 GHz×4）、8 GB内存、GTX980ti显卡、ubuntu14.04操作系统、Caffe深度学习开源框架.

INRIA行人检测数据集^[8]：由法国国家信息与自动化研究所公开，该数据集训练样本包括614个正样本（包含2 416个行人）和1 218个负样本，测试样本包括288个正样本（包含1 126个行人）和453个负样本，如图4所示。该数据集训练样本包括614个正样本（包含2 416个行人）和1 218个负样本，测试样本包括288个正样本（包含1 126个行人）和453个负样本. 图片中人体大部分为站立姿势且高度大于100个像素.

ETH行人检测数据集^[24]：由苏黎世联邦理工大学公开，该数据集的帧率和分辨率分别为13~14 帧/s 和640×480，由3种不同光线的街道场景组成，其中强光照场景包含354张图片，阴天场景包含999张图片，正常光照场景包含446张图片，如图5所示. 该数据集由3个具有不同光线的街道场景的子数据集构成，帧率和分辨率分别为13~14帧/s和640×480，其中左侧为强光照场景包含354张图片，中间为阴天场景包含999张图片，右侧为正常光照场景包含446张图片.

采用目标检测Pascal竞赛评估标准，当预测区域与真实区域的Jaccard相似度大于50%时，判定为正确匹配.

行人检测的准确性采用漏检率M_r与平均每幅图像误检率f_p构成的曲线图作为评价标准，曲线越低检测准确率越高。主要比较2个关键指标M_r1（平均每幅图像误检率为0.1时的漏检率）值和M_r2（平均每幅图像误检率为0.01时的漏检率值。

(7) ${M_{\rm{r}}}=1 - \frac{{{N_{\rm{p}}}}}{{{N_{\rm{p}}} + {N_{\rm{n}}}}}.$

式中：N_p为样本中行人区域被正确检出的，N_n为样本中行人区域未被正确检出的数量.

(8) ${f_{\rm{p}}}={{{N_{\rm{f}}}}}/{n}.$

式中：N_f为样本中背景区域被误检测为行人区域的数量，n为测试样本总数.

行人定位准确性的评价数据为检测召回率R和预测区域与真实区域的Jaccard相似度.

(9) $R=\frac{{{N_{\rm{p}}}}}{{{N_{\rm{p}}} + {N_{\rm{n}}}}}.$

（1）关于INRIA行人数据集实验分析，选择INRIA行人数据训练集中的614个正样本作为网络训练样本，288个正样本作为网络测试样本. 当网络输出的预测区域与测试样本的真实区域的Jaccard相似度大于0.5时，判为正确检测；否则为错误检测，实验结果如图6所示.

本文算法的M_r1=12.1%，相比SSD算法降低了2.8%，M_r2=33.8%，相比SSD算法降低了1.8%；并且准确性评价曲线低于SSD.

在关键指标Mr1值的评估上，本文算法检测准确率优于使用手工提取特征的算法^[25-28]，并且优于取消区域生成网络的深度学习算法YOLOv2^[16]和SSD，与使用区域生成网络的SAF R-CNN^[29]相比存在一定差距。具体指标如表1所示。这表明在行人检测应用中，本文对SSD算法的改进是有效的且行人检测准确性更好。

（2）关于ETH行人数据集实验分析，本文使用由INRIA行人数据集训练得到的检测模型，分别对ETH行人数据集的3个子数据集进行测试，实验结果如图7所示.

本文算法在强光场景的测试中，M_r1为58.2%，相比SSD算法降低了21%，M_r2为78%，相比SSD算法降低了13.5%，并且在f_p值相等的条件下M_r值大幅度低于SSD.

本文算法在阴天场景的测试中，M_r1为76.9%，相比SSD算法降低了2.2%，M_r2为90.5%相比SSD算法降低了2.1%. 在f_p为0.01~1.00时，即检测器常用阈值范围内，本文算法M_r值优于SSD算法.

本文算法在正常光线场景的测试中，M_r1为76.1，相比SSD算法降低了1.8%，M_r2为92%，相比SSD算法增加0.9%. 在f_p为0.01~0.04时，本文算法M_r值略高于SSD算法. 在f_p为0.04~1.00时，本文算法M_r值相比SSD算法下降的更快.

这表明，在这三种场景中，本文算法相比SSD具有更好的行人检测准确性以及泛化能力.

本文算法在INRIA行人数据集上的定位准确性评估如表2所示. 预测区域与真实区域的Jaccard 相似度J为0.5~0.9，本文算法召回率P相比SSD算法召回率Q平均高于对方1.34%. 这表明本文算法的定位准确性要优于SSD算法.

本文算法效率评估方式为每秒检测大小为640×480图片的数量. 由于有些算法使用CPU实现，有些使用GPU实现，因此，本实验不区分各个算法的硬件环境. 本文算法与当前一些优秀行人检测算法每秒可检测图片数量N_per-sec的比较，如表3所示. 本文算法在检测单张图片的时间上相比基于手工提取特征的行人检测算法LDCF^[25]、SketchTokens^[26]、Roerei^[27]和RandForest^[28]大幅度减少，相比深度学习的SSD算法略有增加，与YOLOv2^[16]算法有一定的差距，与基于RCNN^[12]多尺度特征融合的SAF R-CNN^[29]算法大幅度减少. 这表明本文算法相比人工提取特征训练的行人检测算法效率明显提升，并且满足实时检测的要求.

本文提出了特征图聚集多尺度行人检测高效算法，通过将高、低层次的特征图进行聚集，使网络提取到的特征具有更好的空间分辨能力和语义能力；并根据行人数据集的特点，改进SSD算法的候选区域设计，将高宽比小于1的候选区域去除，增加高宽比大于1的候选区域，有效提升行人定位准确性. 与一些优秀的传统算法相比，本文算法具有更高的行人检测与定位准确率；相比YOLOv2算法具有更高的检测准确性，相比SAF R-CNN算法具有更高的检测效率；并可在一般设备上达到实时性应用的要求. 进一步研究可以结合模型压缩算法在保持准确性有限下降的情况下大幅度提高效率.