光学遥感图像感测范围广、信息量巨大，在军用和民用方面有着重要的价值^[1-3]. 光学遥感图像中小目标居多且排列密集、前背景信息复杂，导致小目标难以检测. 随着光学遥感图像应用场景日益丰富，如何提高小目标的检测精度、减少小目标误检漏检，已成为亟须解决的难题.

近年来，随着深度学习的发展，遥感图像目标检测发展迅速. 基于深度学习的目标检测算法主要分为双阶段检测和单阶段检测. 双阶段检测算法具有优秀的性能表现，但计算复杂度较高，不便部署在资源有限的实时检测任务中,代表算法有R-CNN (recurrent convolutional neural network)^[4]系列. 而单阶段检测直接生成密集的预测框，一次获得检测结果，使检测变得更加高效，代表算法有YOLO(you only look once)^[5]系列.

光学遥感图像小目标密集、背景复杂多变导致目标特征难以提取，因此采用YOLO模型检测易造成小目标在深层特征中消失. 近年来，针对以上问题，国内外研究学者给出了许多改进方法. Liu等^[6]提出特征增强模块FEBlock (feature enhancement block)，对每个最大池化层的结果进行特征增强，充分提取了小目标的特征. Qiu等^[7]提出改进卷积核结构的新模型DKA-YOLO，利用广泛的感受野来增强特征提取. 许思源等^[8]提出三极综合性融合模块，充分融合主干网络所提取的特征图，兼顾了浅层纹理信息和深层语义信息. 以上几种方法均通过增大感受野来捕捉到更为丰富的上下文信息，提高模型的检测性能，但并未考虑到背景和目标混淆的问题.

为了更好地区分背景和小目标，Cai等^[9]引入上下文锚点注意力机制以捕获长距离的上下文信息，通过结合局部和全局的上下文信息，提高检测性能. 吴建成等^[10]在双向特征金字塔网络(bi-directional feature pyramid network, BiFPN)的基础上，将空间到深度思想与注意力特征融合模块相结合，增强对小目标的检测能力. 汪西莉等^[11]使用通道注意力机制对不同尺度特征进行重新标定，实现对不同尺度目标的检测. 这些方法通过引入不同的注意力机制来区分背景和小目标，防止前背景混淆，但由于增加了模型的复杂度，导致模型拟合速度变慢，甚至出现过拟合的情况.

为了提高小目标检测精度、减少小目标误检漏检，本研究提出基于特征增强和融合注意力机制的光学遥感图像小目标检测算法FMCM-YOLO，主要贡献如下. 1)设计了四头检测模型，添加一层适合于小目标尺寸的小目标检测层以及对应尺寸的检测头，提高算法对小目标的检测能力. 2)提出特征增强模块MFFM，通过引入不同尺寸的空洞卷积，在有效限制网格效应的前提下增大感受野，增强对小目标特征的提取能力. 3)提出融合注意力机制模块CASA，将通道注意力机制和空间注意力机制融合后，添加残差结构，增强特征的传播，使算法更易区分出目标和背景，有效防止前背景混淆. 4)引入MPDIoU损失函数，以适应模型复杂度提高所带来的影响，加快模型收敛速度.

采用YOLOv5m作为基线网络，提出针对光学遥感图像小目标的改进检测算法FMCM-YOLO，该算法整体框架如图1所示. 首先，在原始颈部网络上增加一层小目标层并添加对应尺寸大小的检测头，将原始三头检测模型转变为四头检测模型. 其次，在通过主干网络对输入图像进行特征提取后，使用MFFM模块对不同尺寸特征图进行特征增强. 随后，所提取的特征通过融入注意力机制的颈部网络完成高低层信息的融合. 最后，在训练阶段引入MPDIoU损失函数，加快网络收敛速度，提高模型检测精度.

YOLOv5算法输入层统一将输入图像的尺寸大小转化640×640像素，随后在主干网络中采用多个CBS和C3模块对输入图像进行充分的特征提取. 为了保持统一性，本研究中除特殊说明外，特征图和物体尺寸的单位均为像素. 其中，每个CBS模块都会对输入图像进行2倍的下采样，C3模块则通过残差结构充分提取图像中的特征. 在主干网络多组CBS和C3模块的作用下，分别得到尺寸大小为80×80、40×40、20×20的特征图. 但网络深度的增加，会导致小目标的细粒度特征丢失，不能充分利用到小目标的浅层纹理信息. 此外，主干网络最小的采样倍数为8，这表明算法很难在图像中捕获到尺寸小于或等于8×8的物体，会导致严重的漏检问题.

本研究在YOLOv5颈部网络的基础上增加一层针对小目标的检测层，并添加对应尺寸特征图的检测头，如图1虚线框部分所示. 小目标检测层引入尺寸大小为160×160的特征图，该尺寸特征图为原始特征图经过4倍下采样所得到. 在该尺寸特征图中，每一个像素点都包含了原始特征图中4×4像素区域的信息. 并且，在头部网络中增加一个针对160×160大小特征图的检测头，以适应微小目标的检测，增强算法对小目标的检测能力.

MFFM模块通过不同膨胀率的空洞卷积增大感受野，充分提取低层级特征图中的信息. 采用多分支卷积结构，各分支之间并联组合，如图2所示. 各分支均先采用卷积核大小为1×1的标准二维卷积降低通道数；随后，前3个分支分别添加卷积核大小为3×3、不同膨胀率的空洞卷积，增大感受野；最后一个分支为残差结构，目的是保留小目标的浅层纹理信息.

使用不同膨胀率的空洞卷积，可以有效限制网格效应，避免信息丢失. 输入特征图$ \boldsymbol{X} $在通过MFFM后得到增强后的特征图$ \boldsymbol{Y} $，其具体计算公式如下：

(1)$ {\boldsymbol{y}}_{\text{1}}=f_{\text{dconv}}^{3}(f_{\text{conv}}^{1\times 1}(\boldsymbol{X})) , $

(2)$ {\boldsymbol{y}}_{2}=f_{\text{dconv}}^{5}(f_{\text{dconv}}^{2}(f_{\text{conv}}^{1\times 1}(\boldsymbol{X}))) , $

(3)$ {\boldsymbol{y}}_{3}=f_{\text{dconv}}^{4}(f_{\text{dconv}}^{3}(f_{\text{conv}}^{1\times 1}(\boldsymbol{X}))) , $

(4)$ {\boldsymbol{y}}_{4}=f_{\text{conv}}^{1\times 1}(\boldsymbol{X}) , $

(5)$ \boldsymbol{Y}=\text{concat}\;({\boldsymbol{y}}_{1},{\boldsymbol{y}}_{2},{\boldsymbol{y}}_{3})\oplus {\boldsymbol{y}}_{4} . $

式中：$ {\boldsymbol{y}}_{n} $表示MFFM模块第$ n $个分支的输出特征图，其中$ n\in \{\text{1, 2, 3, 4}\} $；$ f_{\text{conv}}^{\text{1}\times \text{1}} $表示卷积核为1×1的标准二维卷积操作；$ f_{\text{dconv}}^{m} $表示膨胀率为$ m $、卷积核为3×3的空洞卷积，其中$ m\in \{\text{2, 3, 4, 5}\} $；$ \text{concat} $表示对特征图进行拼接操作;$ \oplus $表示对特征图进行按位相加操作.

在融合通道注意力机制(channel attention, CA)^[12]和空间注意力机制(spatial attention, SA)^[13]后，添加残差结构并封装成CASABlock，如图3所示. 其次，用CASABlock替换掉C3模块中的Bottleneck结构，形成CASA模块，整体结构如图4所示.

CA模块的上支路对输入特征图分别进行通道维度上的全局平均池化和最大池化操作，随后通过多层感知机(multilayer perceptron, MLP)学习2种不同的特征，并将其进行按位相加，经Relu函数激活后得到通道注意力机制权重. 最后，将权重与输入特征图相乘，再使用Sigmoid函数激活得到CA的输出特征图. 具体计算过程如下：

(6)$ {\boldsymbol{F}}_{\text{1}}=\text{MLP}\;(\text{max}\;({\boldsymbol{F}}_{\text{c}})),{\boldsymbol{F}}_{\text{2}}=\text{MLP}\;(\text{avg}\;({\boldsymbol{F}}_{\text{c}})) , $

(7)$ {{\boldsymbol{\omega}} }_{\text{c}}=\text{Relu}\;({\boldsymbol{F}}_{1})\oplus \text{Relu}\;({\boldsymbol{F}}_{\text{2}}) , $

(8)$ {\boldsymbol{Z}}_{\text{c}}=\sigma \;({\boldsymbol{F}}_{\text{c}}\cdot {{\boldsymbol{\omega}} }_{\text{c}}) . $

式中：$ {\boldsymbol{F}}_{\text{c}} $表示CA模块输入特征图；$ \text{max} $表示最大池化操作；$ \text{avg} $表示平均池化操作；$ \text{MLP} $表示将特征图输入至多层感知机学习特征；$ {\boldsymbol{F}}_{\text{1}} $和$ {\boldsymbol{F}}_{2} $分别表示最大池化、平均池化后多层感知机学习到的特征；$ \text{Relu} $和$\sigma $分别表示使用Relu函数和sigmoid函数进行激活；$ {{\boldsymbol{\omega }}}_{\text{c}} $表示CA权重矩阵；$ {\boldsymbol{Z}}_{\text{c}} $表示CA模块输出特征图.

SA模块的上支路对输入特征图分别进行空间维度上的全局平均池化和最大池化操作，并拼接获得的特征图，使用7×7的卷积提取特征，然后使用Sigmoid函数激活得到空间注意力权重. 最后，将权重与输入特征图相乘后使用Sigmoid函数激活得到SA输出特征图. 具体计算过程如下：

(9)$ \boldsymbol{F}_{\text{s}}^{\prime}=\text{concat}\;(\text{max}\;({\boldsymbol{F}}_{\text{s}}),\text{avg}\;({\boldsymbol{F}}_{\text{s}}\text{)}) , $

(10)$ {{\boldsymbol{\omega}} }_{\text{s}}=\sigma \;(f_{\text{conv}}^{7\times 7}(\boldsymbol{F}_{\text{s}}^{\prime})) , $

(11)$ {\boldsymbol{Z}}_{\text{s}}=\sigma ({\boldsymbol{F}}_{\text{s}}\cdot {{\boldsymbol{\omega}} }_{\text{s}}) . $

式中：$ {\boldsymbol{F}}_{\text{s}} $表示SA模块输入特征图；$ \boldsymbol{F}_{\text{s}}^{\prime} $表示经过2个池化层拼接后的特征图；$ f_{\text{conv}}^{\text{7}\times \text{7}} $表示卷积核大小为7×7的卷积操作；$ {{\boldsymbol{\omega}} }_{\text{s}} $表示SA权重矩阵；$ {\boldsymbol{Z}}_{\text{s}} $表示SA模块输出特征图.

在CASABlock中，首先采用1×1的卷积降低通道数，随后分为2个分支：在上支路中，输入特征图$ \boldsymbol{F} $通过CA处理得到特征图$ {\boldsymbol{F}}_{\text{CA}} $，将注意力聚焦于包含有效信息的通道；随后，$ {\boldsymbol{F}}_{\text{CA}} $经SA处理得到特征图$ {\boldsymbol{F}}_{\text{SA}} $，将注意力聚焦于通道中包含有效信息的具体位置.

在下支路中，直接将特征图$ \boldsymbol{F} $输出，保留原始特征图的纹理信息. 最后，将2个通道的输出进行拼接，并通过1×1的卷积还原通道数得到CASABlock的输出特征图$ \boldsymbol{Z} $，具体计算过程可以表示为

(12)$ \boldsymbol{Z}=f_{\text{conv}}^{1\times 1}(\text{concat}\;({f}_{\text{s}}({f}_{\text{c}}(\boldsymbol{F})),\boldsymbol{F})) . $

式中：$ \boldsymbol{F} $和$ \boldsymbol{Z} $分别表示CASABlock的输入、输出特征图；$ {f}_{\text{c}} $和$ {f}_{\text{s}} $分别表示特征图经过CA和SA模块.

用封装好的CASA模块，替换原始PAN结构中的C3模块，使颈部网络具有融合注意力机制，提高网络整体对于小目标的敏感程度.

模块的添加使得网络整体复杂度提高，收敛速度变慢，而YOLOv5原始损失函数CIoU仅考虑预测框宽高比的相对值，当真实框和预测框具有相同的宽高比，但是宽和高的具体值不同时，损失函数CIoU将失去有效性，这将极大地限制模型的收敛速度和预测精度.

MPDIoU损失函数^[14]通过最小化真实框和预测框左上角之间、真实框和预测框右下角之间的距离，在解决CIoU存在问题的同时，能适应网络改动所带来的变化，从而使损失函数达到更好的表现. 因此，本模型拟采用MPDIoU作为损失函数，具体参数如图5所示.

MPDIoU损失函数定义如下：

(13)$ {L}_{\text{MPDIoU}}=\text{1}-\text{MPDIoU} , $

(14)$ \text{MPDIoU}=\text{IoU}-\frac{d_{\text{1}}^{2}}{{w}^{2}+{h}^{2}}-\frac{d_{\text{2}}^{2}}{{w}^{2}+{h}^{2}} , $

(15)$ d_{1}^{2}={({x_{1}^{\text{gt}}}-{x_{1}^{\text{prd}}})}^{2}+{({y_{1}^{\text{gt}}}-{y_{1}^{\text{prd}}})}^{\text{2}} , $

(16)$ d_{2}^{2}={({x_{\text{2}}^{\text{gt}}}-{x_{\text{2}}^{\text{prd}}})}^{2}+{({y_{2}^{\text{gt}}}-{y_{2}^{\text{prd}}})}^{2} . $

式中：$ {L}_{\text{MPDIoU}} $表示损失函数MPDIoU；$ (x_{\text{1}}^{\text{gt}},y_{1}^{\text{gt}}) $、$ (x_{\text{2}}^{\text{gt}},y_{\text{2}}^{\text{gt}}) $分别表示真实框左上角、右下角的坐标值；$ (x_{\text{1}}^{\text{prd}},y_{\text{1}}^{\text{prd}}) $、$ (x_{\text{2}}^{\text{prd}},y_{2}^{\text{prd}}) $分别表示预测框左上角、右下角的坐标值；$ {d}_{1} $和$ {d}_{2} $分别表示真实框和预测框左上角之间、真实框和预测框右下角之间的距离；$ w $和$ h $分别为输入特征图的宽度和高度.

分别使用USOD^[15]和AI-TOD^[16]公开遥感图像数据集作为实验数据.

1) USOD数据集共包括3000张遥感图像，其中包含43378个车辆实例，训练集与测试集比例为7∶3；尺寸小于32×32的物体占目标总数的99.9%，尺寸小于16×16的物体占总目标数的96.3%，整个数据集的物体尺寸分布如图6(a)所示.

2) AI-TOD数据集包含28036张遥感图像，共计700621个物体实例，包括8个常见类别，分别为飞机、桥梁、储罐、船、水池、车辆、人和风车；该数据集目标平均尺寸为12.8像素，尺寸小于32×32的物体占目标总数的97.9%，整个数据集的物体尺寸分布如图6(b)所示.

图6中不同深浅的颜色代表不同尺寸物体的数量分布，颜色越深表示该尺寸物体的数量越多；H_L、W_L分别表示数据集中物体标签框的高度和宽度. 由此可知，本研究所选取的2个数据集中的小目标居多，符合本研究的需求.

使用Ubuntu22.04.4操作系统，GPU为一块24 G显存的NVDIARTX 4090D，所选深度学习计算框架为PyTorch，使用深度学习平台CUDA11.8对运行代码所需的工具库进行管理，使用PyCharm软件运行所述模型代码，训练采用SGD优化器，训练超参数设置参见表1.

对于USOD数据集，选取精确率P、召回率R、平均均值精度mAP、参数量params以及每秒帧数FPS作为评估指标. 其中，精确率表示正确检出目标的概率；召回率表示目标被成功检测的概率；mAP50表示交并比阈值为0.5时，各类别平均精确度的均值；mAP50:95表示以0.05为步长，交并比阈值从0.50至0.95的10个不同阈值下各类别平均精确度的均值；Params是指模型需要训练的参数总数；FPS表示模型每秒能处理图像的数量.

对于AI-TOD数据集，除了选取mAP50和mAP50:95作为性能评估指标外，使用数据集官方提供的mAPvt、mAPt、mAPs作为额外的性能评估指标. mAPvt表示物体尺寸小于8×8时的平均均值精度，即非常微小目标的检测精度；mAPt表示物体尺寸在8×8和16×16之间的平均均值精度，即微小目标的检测精度；mAPs表示物体尺寸在16×16和32×32之间的平均均值精度，即小目标的检测精度.

为了验证本研究所增加的小目标检测层、MFFM、CASA和MPDIoU的有效性，基于USOD数据集设计10个消融实验，具体实验情况如表2所示，其中最佳指标通过加粗表示. 从实验B可以看出，在增加小目标检测层后，相较于基线算法，精确度、召回率、mAP50和mAP50:95分别提升1.2、0.5、0.8和0.8个百分点. 由此说明，小目标检测层和对应检测头的加入，使模型在小目标居多的场景拥有更好的表现. 实验C在基线算法的基础上增加MFFM，精确率、召回率和mAp50分别提高1.0、1.7和0.7个百分点，可见不同膨胀率的空洞卷积对特征进行增强使得检测性能得到进一步提升. 实验D在基线算法的基础上增加CASA，参数量仅增加0.07×10⁶，而精确率、召回率、mAP50和mAP50:95分别提高2.9、0.9、1.5和1.4个百分点. 可知，引入融合注意力机制大大地提高了算法区分物体和背景的能力，有效地解决了前背景混淆的问题. 由实验E可知，将损失函数替换为MPDIoU后，模型损失值降低，模型误差变小，检测性能得到改善. 相较于其他实验结果，实验J在精确度、召回率、mAP50和mAP50:95上均有显著提升，但是增加了参数量(Params)和浮点运算次数(GFLOPs)，存在较高的复杂度.

为了进一步探究本研究算法的性能表现，分别在USOD数据集和AI-TOD数据上设计了不同的对比实验.

将FMCM-YOLO与YOLOv5基线算法、RefineDet^[17]、YOLOv8^[18]、TPH-YOLOv5^[19]、MSFE-YOLO-m^[20]、LS-YOLO^[21]、L-FFCA-YOLO^[15]等最新目标检测算法在精确度、召回率、平均均值精度和参数量上进行比较，结果如表3所示. FMCM-YOLO较基线算法在准确率、召回率、mAP50和mAP50:95分别提升3.8、2.6、2.8、2.2个百分点，并且较其他主流的检测算法也有不同程度的提升. FMCM-YOLO算法增加了单独的小目标检测层、CASA模块也更为复杂，对比基线算法，牺牲了一定的实时性，不过实时性仍优于大多数小目标检测算法.

将FMCM-YOLO与YOLOv5基线算法、DedectoRS^[22]、M-CenterNet^[16]、HANet^[23]、FFCA-YOLO^[15]和L-FFCA-YOLO^[15]等目标检测算法进行比较，选取5种不同的mAP作为评估指标，结果如表4所示. 可以看出，相较于基线算法，mAP50、mAP50:95、mAPvt和mAPt、mAPs分别提高5.9、5.0、2.1、6.5和5.1个百分点. DedectoRS算法的mAPvt为0，即该算法在面对目标较小的情况时，检测能力有限，无法检测出尺寸较小的目标. FMCM-YOLO算法的mAP50和mAP50:95较次于目前性能最优越的FFCA-YOLO算法，mAPvt与其持平，但是mAPt和mAPs分别提高3.7和0.3个百分点，说明FMCM-YOLO算法在整体性能上虽然不及FFCA-YOLO算法，但是在针对小目标和微小目标时，FMCM-YOLO算法具有更强的检测性能.

另外，如表5所示，在算法改进前、后，针对不同类别目标的检测性能进行对比. 可以看出，所有类别的平均均值精度均有不同程度的提高. 由于FMCM-YOLO算法在2个数据集上均有不错的表现，说明所提算法具有较为出色的泛化性.

为了验证本研究所增加的MPDIoU损失函数的有效性，对比使用CioU^[24]、EIoU^[25]、SIoU^[26]、GIoU^[27]和MPDIoU作为框损失函数时，框损失$ {{L}}_{\text{box}} $随迭代次数epochs的变化情况，结果如图7所示. 不同损失函数都能随迭代次数的增加而逐渐收敛，但相较于其余4种损失函数，MPDIoU收敛速度更快，能够达到更小的损失值.

为了验证本研究在实际场景中的使用效果，在AI-TOD的测试集中选取不同场景的图片进行测试，结果如图8所示，其中部分细节通过放大进行展示. 由于部分场景目标较为密集，为了更好地观察检测效果，在使用模型对图片进行检测时，将类别标签和置信度进行剔除仅保留检测框. 从图中可以看出，YOLOv5m算法在面对目标密集的场景时，漏检现象严重；而FMCM-YOLO算法能够轻松地检测出密集的小目标，将小目标区分开来. 特别，在夜间能见度较差的场景中，FMCM-YOLO的表现也较为出色.

为了解决光学遥感图像中小目标特征提取受限、前背景混淆、漏检误检严重等问题，提出专门针对小目标的检测模型FMCM-YOLO. 首先，设计了一种四头检测模型，以更好地检测出光学遥感图像中繁多的小目标；其次，在主干网络中添加特征增强层MFFM，提高特征提取能力，增强算法检测性能；然后，在融合通道注意力机制和空间注意力机制后，引入残差结构，封装成CASA模块，替换掉Detect模块前的C3模块，使算法更易区分出目标和背景以防止前背景混淆；最后，引入MPDIoU损失函数，简化损失计算过程，加快模型收敛速度. 在USOD和AI-TOD这2个数据集上分别进行实验，实验结果表明所提算法在检测性能上较基准算法和其余主流检测算法均有不同程度的提升，表明所提算法在检测光学遥感图像中小目标时具有一定的优越性和鲁棒性.

虽然本研究所提算法在检测性能方面有所提升，但是须付出更多的计算代价，因此下一步研究将针对模型规模，在保证性能的同时，提出计算复杂度更低的模型，以适应计算资源有限的场景.