无人机技术的广泛运用使得遥感图像的获取手段更加多样化. 利用装载相机的无人机既可实现高空大范围全局监测，也可实现低空小范围精确监测，推进了土地资源管理^[1]、环境监测^[2]、道路检测^[3]、城市规划^[4]等城市相关应用的发展. 从无人机遥感图像数据^[5]分析图像内容并得到关键目标信息的过程称为无人机遥感影像的解译，图像语义分割是实现解译的关键技术. 语义分割旨在通过图像中的光谱、纹理、形状等信息，得到图像中每个像素的类别信息^[6]. 传统语义分割方法通过提取图像阈值、区域、边缘等形态学的方式实现对图像中不同物体的分割. 无人机遥感影像成像范围灵活，图像分辨率高、信息量大，传统的语义分割方法很难充分提取影像中的信息.

随着图形处理器（graphics processing unit,GPU）的性能大幅度提升，基于深度学习^[7]的语义分割方法在计算机视觉领域大放异彩. Long等^[8]提出的全卷积网络（fully convolutional network，FCN）将传统卷积神经网络（convolutional neural network，CNN）中的全连接层替换成卷积层，显著提高了语义分割的准确性. Zhao等^[9]设计金字塔场景解析网络（pyramid scene parsing network，PSPNet），通过并联多个不同尺度的池化层实现金字塔池化模块，提高了对不同尺度目标的分割效果. Chen等^[10-11]提出DeepLab系列网络，设计出空洞空间池化金字塔（atrous spatial pyramid pooling，ASPP）模块，利用不同采样率的空洞卷积（atrous convolution，AConv）提取多尺度特征. Shi等^[12]基于编码器-解码器网络，将空间和通道注意力用于提取无人机图像中的建筑物，改善了特征信息丢失的问题. Xu等^[13]提出基于Transformer的自适应融合模块，这种自适应融合模块在融合多尺度特征时可以自适应地抑制背景噪声并增强目标显著性. 诸多学者在语义分割网络的运行效率方面进行探索，Yu等^[14-15]提出BiSeNet系列算法，使用并行的双分支网络结构分别提取图像的空间细节信息和语义上下文信息，实现了高效的语义分割. Wang等^[16]提出UNetFormer算法，通过压缩解码器通道的数量来提升推理效率. Wadekar等^[17]提出MobileViT系列算法，将倒残差结构的CNN加入Transformer，以减少Transformer模型的大小和计算需求. 刘毅等^[4]提出基于多尺度特征融合的轻量化道路提取模型，在ASPP中引入深度可分离卷积，不仅减少了ASPP的参数量，而且降低了计算复杂度.

无人机遥感图像的实时语义分割仍然面临诸多挑战. 相比于自然图像，遥感图像内部纹理和几何形态多变，光谱信息复杂，且不同目标尺度跨度大，轻量级的语义分割网络很难从中提取特征. 不可否认的是，利用深度学习技术对遥感影像进行语义分割，能够为后续的场景理解、地物分析提供支持. 为了改善无人机图像语义分割模型推理效率较低和分割精度较差的问题，本研究提出由共享浅层特征的细节和语义分支组成的共享浅层特征网络（shared shallow feature network，SSFNet）框架. 在语义分支部分，提出基于通道分解和堆叠连接的高效感受野模块（efficient receptive field block，ERFB）来融合多尺度特征，基于门控机制提出快速上下文聚合（fast aggregation context，FAC）模块，以更好地捕获全局场景. 在解码阶段，提出基于混合激活函数的双边融合模块（bilateral fusion module，BFM）融合双分支信息. 在网络反向传播阶段，使用辅助分割头来监督细节分支的特征提取，以进一步捕获细粒度信息. 在公开数据集上进行模型训练和测试，验证所提网络的性能.

FCN的发展促进了图像语义分割发展，特别是在推理效率上，基于CNN的模型比其他方法效率高. 这些模型的效率差别与它们的网络结构相关. 编码器-解码器网络和双边分割网络是2种常用的语义分割网络结构类型. 在编码器-解码器网络中，通过添加横向连接来恢复高分辨率特征图^[16]，这会导致高昂的访问成本和过度处理冗余信息. 编码器-解码器网络是单流网络，它们连续地从单个图像中提取特征，没有充分考虑图像中的两级特征及其融合. 为了实现高效的语义分割并较好地融合图像中的多级特征，双边分割网络被提出^[14]. 该架构主要由2个分支组成：一个是具有浅层结构用于提取低级细节的细节分支，另一个是具有深层结构用于捕获高级语义信息的语义分支. 双分支网络以并行的方式提取特征，可以实现较快的推理速度，但在初始下采样阶段仍存在冗余. 本研究提出共享浅层特征的双分支分割网络，能够促进细节分支和语义分支之间的特征融合，形成更紧凑的结构. 具体来说，语义分支下采样时采用ResNet18^[18]作为主干网络，细节分支共享语义分支1/4和1/8位置的特征. 共享的特征使得2个分支之间的联系更紧密，减少了双边网络的参数量，提高了推理效率. 3种语义分割网络的架构如图1所示.

如图2所示，SSFNet为双边架构，包括语义分支和细节分支. 细节分支通过紧密连接，共享语义分支的浅层特征. 共享的特征层促进2个分支的交互，在提高推理速度的同时保持分割精度. 双边架构的语义分支通过深层次的卷积层提取语义信息，使用小型解码器-编码器结构逐步上采样特征，以便较好地将语义信息恢复到高分辨率. 为了在语义分支中进一步提取多尺度目标和促进上下文信息联系，将ERFB和FAC引入语义分支中. 细节分支使用共享的浅层特征进一步捕获细节信息，大大减少了传统双边分割网络的参数冗余，也加强了2个分支之间的联系. 使用辅助分割头来进一步监督细节分支捕获的特征. 2个分支输出的特征是不同的，细节分支处理低级特征，语义分支处理高级特征. 设计BFM来融合2个分支的信息，它利用混合激活函数和参数量较小的深度可分离卷积来增强对特征的融合.

无人机遥感图像语义分割要处理的数据量大、场景复杂多变、空间分辨率高，而且地物具有许多复杂的特性（尺度变化大、物体分布密集、小物体繁多等），为了提高语义分割模型的准确性，避免增加过多参数，提出ERFB. ASPP系列模型具有较好的多尺度特征提取效果，但没有考虑模型复杂度，通道分解机制能够减少模型在处理特征通道上的复杂度，堆叠连接能够让网络处理更多的尺度特征. 输入特征X$ \in {{\bf{R}}} _{}^{{{H}} \times {{W}} \times {{C}}} $先进行通道特征的分解，按照通道维度将X分为4个通道特征，以降低后续空洞卷积处理信息的复杂度：

(1)$ \begin{split}& {\boldsymbol{X}},{{\boldsymbol{X}}_{{i} - 1}},{{\boldsymbol{X}}_i},{{\boldsymbol{X}}_{{i} +1}} = {\text{Split}}\;({\boldsymbol{X}})= \\ &\qquad {{\boldsymbol{X}}_{:{g} :{g}_1}},{{\boldsymbol{X}}_{:{g} :{g}_2}},{{\boldsymbol{X}}_{:{g} :{g}_3}},{{\boldsymbol{X}}_{:{g} :{g}_4}}. \end{split} $

其中g为卷积分支的通道特征. 这个4个通道特征分别馈入不同的分支中. 结合堆叠连接，重新考虑各个分支的扩张率，使用不断增加的扩张率并结合堆叠连接确保感受野充分地扩展. 具体来说，使用扩张率rate={3,5,7}的AConv结合堆叠连接，第$ i - 1 $个AConv捕获的感受野传递给第i个AConv来继续捕获，这样可以捕获更多尺度的信息. 具体的方式如下:

(2)$ \begin{split}& {\boldsymbol{X}}^\prime = {\text{Conv}}_{3 \times 3}^{{g} \to {g} }{g} ({\boldsymbol{X}}), \\& {\boldsymbol{X}}_{i - 1}^\prime = {\text{AConv}}_{3 \times 3}^{{g} \to {g} }{g} ({{\boldsymbol{X}}_{{i} - 1}}), \\& {\boldsymbol{X}}_i^\prime = {\text{AConv}}_{3 \times 3}^{{g} \to {g} }{g} ({{\boldsymbol{X}}_i}+{\boldsymbol{X}}_{{i} - 1}^\prime ), \\& {\boldsymbol{X}}_{i+1}^\prime = {\text{AConv}}_{3 \times 3}^{{g} \to {g} }{g} ({{\boldsymbol{X}}_{{i} +1}}+{\boldsymbol{X}}_{i} ^\prime ). \end{split} $

拼接这些特征，并使用残差结构与原始特征相加：

(3)$ {{\boldsymbol{X}}{''} } = {\text{Concat}}\;({\boldsymbol{X}}_{}^\prime ,{\boldsymbol{X}}_{{i} - 1}^\prime ,{\boldsymbol{X}}_{i} ^\prime ,{\boldsymbol{X}}_{{i} {\text+}1}^\prime ) . $

ERFB和ASPP的对比如图3所示. ERFB能够有效捕获大尺度（如建筑物）特征和小尺度（如小汽车）特征，有利于从无人机图像中提取斜视图和航拍视角的信息. ASPP虽然可以捕获多尺度特征，但是捕获的特征密度较为稀疏. 堆叠连接方式能够比并行连接方式更好地捕获多尺度信息.

为了快速恢复全局依赖性，更好地捕获全局场景用于语义信息解析，本研究提出基于门控机制的快速上下文聚合模块. 语义分支的最终阶段可以提供较为丰富的语义信息，但其他阶段的语义信息也至关重要. 快速上下文聚合模块可以在1/16和1/32阶段快速捕获语义信息，为最终的语义信息提供补充. 基于门控机制的快速上下文聚合模块使用1×1卷积调整通道数，将调整后的特征记为向量$ {\boldsymbol{V}} $，$ {\text{Sigmoid}} $函数的输出为

(4)$ \sigma = {\text{Sigmoid}}\;({\boldsymbol{V}}) . $

将输出$ \sigma $记为可控门，一个门继续学习特征，另一个门通过平均池化层（global average pooling，GAP）快速捕获语义信息：

(5)$ {\text{Out}} = {\text{Conv}}_{1 \times 1}^{g \to g}({\text{GAP}}\;(1 - \sigma ))+\sigma . $

最后，引入残差结构，以防止特征崩溃.

双边融合模块结合了低参数量的深度卷积和常规卷积，引入混合激活函数以更好地学习多样化的特征. 混合激活函数的使用，包括高斯误差线性单元（Gaussian error linear unit，GELU）和Sigmoid函数，其中Sigmoid激活函数引入稳定性，GELU提供强大的非线性学习能力，帮助网络更好地理解复杂的映射关系.

(6)$ {\text{GELU}}\;(x) = 0.5x\left(1+\tanh \left(\sqrt {\frac{2}{{\text{π}} }} (x+0.044\;715{x^3})\right)\right), $

(7)$ {\text{Sigmoid}}\;(x){\text{ = }}\frac{{\text{1}}}{{{\text{1+exp}}\;{{( - x)}^{}}}} . $

由于混合激活函数的有效性，将BFM和加法操作(addition)融合的特征进行可视化对比，融合的特征表现出多样性，如图4所示.

在训练阶段，设计分割头（seg head）对最终特征进行分割，构建辅助分割头（aux-head）来优化细节分支对特征的提取. 定义主损失函数$ {{{L}}_{{\text{seg}}}} $和辅助损失函数$ {{{L}}_{{\text{aux}}}} $来训练整个网络. 主损失函数是骰子损失函数L_dic和交叉熵损失函数L_ce的组合，用于监督分割头；辅助损失函数是骰子损失函数，用于监督辅助分割头.

(8)$ \begin{split}& {{{L}}_{{\mathrm{aux}}}} = {{{L}}_{{\mathrm{dic}}}} = 1 - \dfrac{2}{{{N}}}\displaystyle\sum\limits_{{{n}} = 1}^{{N}} {\sum\limits_{{{k}} = 1}^{{K}} {\dfrac{{{{\hat y}}_{{k}}^{{n}}{{y}}_{{k}}^{{n}}}}{{{{\hat y}}_{{k}}^{{n}}{{ + y}}_{{k}}^{{n}}}}} }, \\& {{{L}}_{{\mathrm{ce}}}} = - \dfrac{1}{{{N}}}\displaystyle\sum\limits_{{{n}} = 1}^{{N}} {\displaystyle\sum\limits_{{{k}} = 1}^{{K}} {{{y}}_{{k}}^{{n}}} } \lg {{\hat y}}_{{k}}^{{n}},\\& {{{L}}_{{\mathrm{seg}}}} = {{{L}}_{{\mathrm{ce}}}} + {{{L}}_{{\mathrm{dic}}}}.\end{split} $

式中：N和K分别为样本数量和类别数量，$ {{\hat y}}_{}^{{n}} $和$ {{y}}_{}^{{n}} $分别为真实语义标签的独热编码和网络对的softmax输出，$ {{y}}_{{k}}^{{n}} $为样本n属于类别k的置信度. 损失函数表达式为

(9)$ {{L}}{\text{ = }}{{{L}}_{{{{\mathrm{seg}}}}}}{{+ \alpha }} \times {\text{ }}{{{L}}_{{{{\mathrm{aux}}}}}} . $

参考PSPNet^[9]和UNetFormer^[16]的设计，设定常量$ \alpha $=0.4.

选择UAVid数据集^[19]、LoveDA^[20]和Postdam数据集来验证网络的性能.

UAVid：数据收集自中国的50个城市，包含42个序列，共420张图像. 图像的分辨率为3 840×2 160和4 096×2 160像素，分为建筑物、树木、植被、静止车辆、移动车辆、行人、道路和杂物共8个类别. 使用20个序列的200张图像进行训练，7个序列的70张图像用于验证，官方提供的15个序列的150张图像用于测试. 由于图像的精细空间分辨率、空间变化的异质性、类别的模糊性以及通常复杂的场景，UAVid的分割具有挑战性. 训练前，每张图像被裁剪成1 024×1 024的像素块.

LoveDA：数据集由5987张光学遥感图像组成，图片的分辨率为1 024×1 024像素. 它包括7个土地覆盖类别：农业、荒地、建筑物、森林、道路、水体和背景. 2 522张图像用于训练，1 669张图像用于验证，1 796张图像用于测试. 数据集涵盖南京、常州和武汉3个城市的城乡场景.

Potsdam：数据集由38张精细空间分辨率的航空图像组成，图片的分辨率为6 000×6 000像素. 它包括6个类别：不透水表面、建筑物、低植被、树木、车辆和背景. 使用14张图片用于测试，其余图像用于训练. 数据集包含德国波茨坦市的航空图像. 这些图像的空间分辨率异常高，具有细粒度的地表特征. 训练前，图像被裁剪成1 024×1 024的像素块.

实验基于PyTorch框架实现，实验平台基于RTX 3090 GPU，主要环境为CUDA 11.8和PyTorch 2.1.0. 为了实现快速收敛，采用AdamW优化器来训练实验中的所有模型. 初始学习率设置为5×10⁻⁴，在训练过程中采用分步（step-wise）调整策略. 对于UAVid数据集，在训练阶段对输入图像采用数据增强技术（如随机亮度调整、随机水平翻转和随机垂直翻转），图像的输入大小为1 024×1 024像素；训练次数为60个周期，批量大小为8；在测试阶段，采用单尺度测试策略和随机翻转测试增强策略. 对于LoveDA和Potsdam数据集，在训练阶段，使用随机裁剪策略，输入大小为512×512像素；采用随机缩放（0.50, 0.75, 1.00, 1.25, 1.50, 1.75）、随机亮度调整、随机水平翻转和随机垂直翻转等增强技术；训练次数为100个周期，批量大小为16；在测试阶段，应用多尺度和随机翻转测试增强策略.

使用4种评价指标进行评估：交并比（intersection over union，IoU）、平均交并比（mean intersection over union，mIoU）、帧率v_f和参数量N_P. IoU是计算每个类别的预测分割区域与实际分割区域的重叠程度，mIoU是所有类别IoU的平均值，v_f为模型每秒钟处理图片的数量，N_P用于计算模型的规模大小.

(10)$ {\text{IoU}} = \frac{{{\text{TP}}}}{{{\text{TP}}+{\text{FP}}+{\text{FN}}}} \text{，} $

(11)$ {\text{mIoU}} = \frac{1}{k}\sum\limits_{i = 1}^k {\frac{{{\text{T}}{{\text{P}}_i}}}{{{\text{T}}{{\text{P}}_i}+{\text{F}}{{\text{P}}_i}+{\text{F}}{{\text{N}}_i}}}} . $

式中：k为类别数量，TP、FP、FN分别为真正例、假正例、假负例. 考虑推理效率，帧率的计算式为

(12)$ {v_{\text{f}}} = \frac{N}{{\displaystyle\sum\nolimits_{j = 1}^N {{T_j}} }} . $

式中：N为图片数量，$ {T_j} $为第$ j $张图片.

为了验证所提模块的有效性，在UAVid和LoveDA的验证集上进行消融实验，结果如表1所示. v_f和N_P在输入分辨率为1 024×1 024像素下测试，测试设备为RTX 3090 GPU. 其中基线模型由ResNet18骨干网络和1个单独的细节分支构成，将FAC替换为卷积核为1的2D卷积，将BFM替换为加法操作. 仅含SSF的模型使用共享浅层特征构建网络，减少网络参数，细节分支跳过1/2和1/4的下采样阶段，使v_f比基线模型的提升20.6 帧/s. BFM实现了高层次和低层次特征的有效融合，在UAVid和LoveDA验证集上比仅含SSF的模型的mloU分别提升了1.0和0.8个百分点. SSF+BFM+FAC模型能够快速有效地聚合上下文信息，在UAVid和LoveDA验证集上比SSF+BFM模型的mloU分别提升了1.2和0.9个百分点. SSF+BFM+FAC+ERFB模型提取多尺度信息，丰富了网络的感受野，在UAVid和LoveDA验证集上比SSF+BFM+FAC模型的mloU分别提升了2.3和1.1个百分点.

一方面，较大的扩张率可以确保感受野充分地扩展，另一方面过大的扩张率会加剧网格效应，对无人机图像中的一些小目标特征提取不利. 本研究分析扩张率大小对分割结果的影响. 扩张率的大小参考文献[21]，Liu等使用扩张率为{1,3,5}的卷积组并结合不同大小的卷积核扩展感受野. 在数据集UAVid中对基于堆叠连接的ERFB使用扩张率为{1,3,5}、{3,5,7}、{5,7,9}的卷积组进行消融研究，mIoU分别为70.1%、70.6%和70.4%，由此可知，ERFB的扩张率设置为{3,5,7}时效果较好.

为了验证Sigmoid所在分支和GELU所在分支对于BFM的影响，进行如表2所示分支消融研究. 结果表明，单独添加Sigmoid所在分支和GELU所在分支都可以促进特征的融合，同时添加这2个不同的分支可以进一步促进特征的融合.

为了进一步验证ERFB的有效性，将ERFB与ASPP分别加入SSFNet中，对比模型性能评价指标. 2个模块的输入通道数和输出通道数都为128，结果如表3所示. 堆叠连接的设计使得ERFB可以捕获更多尺度的特征，ERFB将mloU从基线模型的68.3%提高到70.6%，N_P仅增加0.2×10⁶，推理速度损失很小. 原因是ERFB通过通道分解机制将128个通道分别馈入通道数为32的4个分支中，ASPP的4个分支处理的通道数都为128.

将SSFNet与其他先进的分割算法在3数据集上进行性能对比，这些算法包括FCN^[8]、BiSeNet^[14]、PSPNet^[9]、DeepLab V3+^[11]、BANet^[22]、CoaT^[23]、SegFormer^[24]、DC- Swin^[25]、UNetFormer^[16]、MobileViT V3^[17]和RSSFormer^[13]. 分析不同算法的规模及推理速度，测试时的输入分辨率为1 024×1 024像素，测试设备为RTX 3090 GPU，结果如表4所示. SSFNet的参数量为13.1×10⁶，规模较其他算法小；与BiSeNet、BANet、SegFormer、UNetFormer和MobileViT V3等规模相似的模型相比，SSFNet的推理速度最快. 该结果表明SSFNet的网络架构紧凑.

UAVid是由无人机捕获的城市场景数据集，在UAVid测试集上不同算法的图像分割可视化结果如图5所示，性能对比结果如表5所示. 相比于其他算法，SSFNet以较少的参数量实现了最高的mIoU（68.5%）. SSFNet能有效地分割不同尺度的目标. 对于尺寸较小的行人和移动车辆，由于细节分支及其辅助分割头的设计，SSFNet可以较好地捕获细粒度特征. 对于较大尺度的类别（如杂物、建筑物、树木和植被），由于语义分支能够通过ERFB和FAC捕获丰富的感受野及其上下文信息，SSFNet也有较好的处理结果.

在LoveDA数据集上不同算法的图像分割可视化结果如图6所示，性能对比结果如表6所示. SSFNet的mIoU（52.7%）最高，超过了其他对比算法，而且在背景、道路、水体和农业上分割效果最好. 这表明SSFNet能够很好地处理LoveDA数据集中的城市和乡村场景，具有较好的泛化性. 原因是SSFNet可以捕获丰富的感受野和良好的上下文信息，这些信息可以促进分割的准确性. SSFNet在荒地图像的分割上不是表现最好的，这表明在处理类别不平衡问题上算法还需要改进.

在Potsdam数据集上不同算法的图像分割可视化结果如图7所示，性能对比结果如表7所示. 与在LoveDA数据集上的观察相似，SSFNet在对比算法中性能最佳，mIoU=87.1%，在不透水表面、建筑物、树木和车辆上分割效果最好. 在Potsdam数据集中，建筑物的分割具有一定的挑战性. 由于拍摄角度，一些建筑的风格与其他类别的特征相似，导致网络出现语义混淆的问题，而SSFNet在建筑物的分割上表现最好. 原因是SSFNet具有较好的感受域，还可以捕获细粒度的信息，能够较好地区分这些具有相似特征的类别.

总而言之，SSFNet在3个数据集上，尤其是在UAVid数据集上的分割性能良好. 根据无人机图像特征精心设计的网络结构，细节分支可以捕获细粒度特征，语义具有良好的感受域都是促使SSFNet能够有效地处理航空图像的原因.

在不同硬件环境下对比SSFNet的推理速度，测试的设备包括RTX 3090 GPU和RTX 3060 GPU，测试时输入图像的分辨率为1 024×1 024像素. 在相同的显卡架构下，影响推理速度的主要硬件因素包括CUDA数量和显存位宽，比较结果如表8所示. SSFNet推理速度在RTX 3060 GPU上为47.6 帧/s，大于30 帧/s，满足实时语义分割和实际应用的要求.

为了解决语义分割模型推理效率低和分割精度差的问题，本研究提出用于无人机图像的共享浅层特征网络. 设计高效感受野模块来丰富网络的感受域，增强对多尺度特征的提取能力. 为了有效获取全局上下文信息，提出基于门控机制的快速上下文聚合模块. 使用额外的分割头来监督细节分支的提取效果，通过双边融合模块融合2个分支的特征. 在UAVid、LoveDA和Potsdam数据集上验证了算法的有效性. 在未来的研究中，将继续探索如何充分利用光谱信息进行语义分割的方法，并将方法应用于实际需求中.