遥感图像语义分割通过对航空、卫星或无人机获取的高分辨率影像进行逐像素地物标注，是城市治理、地表覆盖制图、土地利用监测和灾害评估的重要环节. ISPRS Potsdam^[1]、ISPRS Vaihingen^[2]提供高空间分辨率城市航拍影像，LoveDA^[3]覆盖城镇与农村场景，呈现出明显的域间偏移与类别分布不均，均为常用评测基准. 随着影像分辨率和数据规模增长，如何兼顾推理效率、分割精度和跨场景泛化能力是重要问题.

从技术发展来看，遥感语义分割已由纯卷积逐步转向卷积与注意力结合、Transformer及状态空间模型. SwiftNet^[4]和FANet^[5]采用紧凑的编码—解码结构、轻量级上下文聚合及特征放大与聚合模块，在速度与精度之间取得较好平衡. EANet^[6]引入边缘感知分支和大感受野池化. MAResU-Net^[7]在跳跃连接中串联多级注意力块，并结合线性注意力重构多尺度上下文. FarSeg^[8]与FactSeg^[9]借助前景关系与激活机制，抑制类别不均衡并减少小目标漏检. BANet^[10]、ABCNet^[11]融合边界与语义分支，改善边界连续性和区域一致性. 此类方法多以CNN为主干，主要强化局部纹理、边界及小目标特征.

随着多头自注意力的发展，遥感语义分割进一步转向全局依赖提取和多尺度信息对齐. TransUNet^[12]级联CNN编码器与Transformer编码器，兼顾局部细节和全局语义. Segmenter^[13]在ViT主干上构建纯Transformer编码—解码结构，实现长程依赖提取. SwinUperNet^[14]和DC-Swin^[15]采用Swin-Transformer增强多尺度上下文表达. MobileViT V3^[16]以轻量级Vision Transformer承担资源受限条件下的密集预测. UNetFormer^[17]在ResNet-18编码器上构建层次化Transformer解码器和全局-局部注意力模块，在保持推理速度的同时获得较高的精度.

2023年以来，线性注意力和状态空间模型开始用于遥感语义分割，以降低传统自注意力在高分辨率输入下的二次计算复杂度. RS3Mamba^[18]采用卷积分支与视觉状态空间分支，通过Mamba模块和协同补全模块融合局部与全局特征. LASC-Mamba^[19]在UNetFormer的多尺度跳跃连接处引入链路聚合Mamba，加强编码器与解码器之间的跨尺度语义交换和上下文重建. DSCT^[20]通过多监督和知识蒸馏，在不明显增加推理开销的情况下提升模型的分割精度.

基于上述背景，本文针对跨尺度信息对齐不足和跳跃连接语义落差明显的问题，在 UNetFormer 框架内提出线性自注意力跳跃增强与跨尺度混合网络ORLA-OCM UNetFormer. 在1/4、1/8、1/16 3个尺度的跳跃侧串行引入基于正交随机特征的线性自注意力Transformer模块（orthogonal random-feature linear self-attention Transformer block, ORLTB），并在进入解码器前以正交随机特征线性自注意力跨尺度混合器（orthogonal random-feature linear self-attention cross-scale mixer，OCM）完成一次性交互与回注.

如图1所示为ORLA-OCM UNetFormer的主要结构. 在UNetFormer的编码–解码框架中，1/4、1/8、1/16 3个尺度的特征是解码器恢复空间细节的主要信息来源. 1/4尺度保留了最丰富的边界与纹理细节，并在经过一次上采样后直接对应到最终输出. 1/8尺度在空间分辨率与语义抽象之间提供中层语义支撑，是跨尺度信息对齐的关键过渡层. 1/16尺度承载了大部分全局上下文信息. 该模型将这3个尺度的跳跃连接依次引入ORLTB，由OCM完成多尺度特征交互，分别送入对应尺度的解码路径. ORLTB采用基于正交随机特征的线性自注意力（orthogonal random-feature linear self-attention，ORLA），以非负核映射将Softmax相似度表示为特征内积，从而把注意力计算由二次复杂度降低为关于序列长度的线性复杂度，保留对长程依赖的建模能力. 跨尺度交互由OCM在统一的嵌入维度上完成，以下各节将详细描述每个组件.

虽然Transformer在多项任务中性能优异，但标准自注意力的计算复杂度随输入序列长度的增加呈二次增长，因而在处理长序列时计算开销较大. 为了解决该问题，Katharopoulos等^[21]将自注意力表达为核特征图的线性点积，利用矩阵乘法的结合律将复杂度从$ \mathcal{O}\left({N}^{2}\right) $降低到$ \mathcal{O}\left(N\right) $，其中$ N $为序列长度. 标准的自注意力形式称为Softmax注意力，其中相似度分数是查询和键之间点积的指数函数. 由于对矩阵使用$ i $下标会返回第$ i $行作为向量^[21]，可以将任何相似度函数的通用注意力公式写成如下形式：

(1)$ \boldsymbol{V}_{i}^{\prime}=\dfrac{\displaystyle \sum \limits_{j=1}^{N}\text{sim}\left({\boldsymbol{Q}}_{i},{\boldsymbol{K}}_{j}\right){\boldsymbol{V}}_{j}}{\displaystyle \sum \limits_{j=1}^{N}\text{sim}\left({\boldsymbol{Q}}_{i},{\boldsymbol{K}}_{j}\right)} . $

为了将Softmax注意力的相似度函数$ \text{sim}(\boldsymbol{q},\boldsymbol{k}) $写成内积形式，Katharopoulos等^[21]构造一类正的随机特征映射，将式(1)中的通用注意力改写为线性时间、线性显存的先聚合后读出形式. 基于此，ORLA的核心是用正交随机特征构造非负的核映射，使Softmax核满足

(2)$ \text{exp}\left(\frac{{\boldsymbol{q}}^{{\mathrm{T}}}\boldsymbol{k}}{\sqrt{D}}\right)=\varPhi_{\mathrm{Q}}^{\mathrm{T}} {\left(\boldsymbol{q}\right)}\varPhi_{\mathrm{k}} \left(\boldsymbol{k}\right) . $

式中：$ {\varPhi }_{{\mathrm{Q}}}\left({\boldsymbol{q}} \right) $与$ {\varPhi }_{{\mathrm{K}}}\left({\boldsymbol{k}} \right) $分别用于查询与键的映射. 为了降低标准自注意力在序列长度$ N $上的二次复杂度，需要将相似度函数写成核特征的内积，采用确定性、非负、数值稳定的核映射$ \varPhi \left(\cdot \right) $来改进随机特征近似. 对于任意的查询–键对$ \left(\boldsymbol{q},\boldsymbol{k}\right) $，给定公式如下：

(3)$ \left.\begin{aligned}{\varPhi }_{{\mathrm{Q}}}\left(\boldsymbol{q}\right)&={\mathrm{softmax}}_{D}\left(\boldsymbol{q}\right)，\\{\varPhi }_{{\mathrm{{\boldsymbol{K}}}}}\left(\boldsymbol{k}\right)&={\mathrm{softmax}}_{N}\left(\boldsymbol{k}\right).\end{aligned}\right\} $

式中：$ {\mathrm{softmax}}_{D} $表示沿特征维的通道维$ D $的逐行softmax操作，$ {\mathrm{softmax}}_{N} $表示沿序列维$ N $的逐列softmax操作. 这可以保证映射非负且归一化，进而保证分母项为正，显著提升数值稳定性.

ORLA使用按块QR的正交高斯投影矩阵$ \boldsymbol{\varOmega} $，降低随机特征方差并提升数值稳定性. $ \boldsymbol{\varOmega} $的维度是$ M\times D $，其中$ M $为随机特征维度. 具体地，对高斯随机矩阵按列分块执行QR分解，得到正交的行向量，形成投影矩阵$ \boldsymbol{\varOmega} $. 在训练中，周期性重采样$ \boldsymbol{\varOmega} $，以进一步降低近似偏差. 设$ {1}\in {{\bf{R}}}^{M} $为全1向量，则核特征映射后的$ \varPhi _{{\mathrm{Q}}}^{\prime}(\boldsymbol{q}) $与$ \varPhi _{{\mathrm{K}}}^{\prime}(\boldsymbol{k}) $可以表示为

(4)$ \left.\begin{aligned}\varPhi _{{\mathrm{Q}}}^{\prime}(\boldsymbol{q})&=\frac{1}{\sqrt{M}}\exp \left(\boldsymbol{\varOmega}\frac{\boldsymbol{q}}{\sqrt{D}}-\frac{\left|\left|\boldsymbol{q}\right|\right|_{2}^{2}}{2D}{1}\right)，\\\varPhi _{{\mathrm{K}}}^{\prime}(\boldsymbol{{{{\boldsymbol{k}}}}})&=\frac{1}{\sqrt{M}}\exp \left(\boldsymbol{\varOmega}\frac{\boldsymbol{k}}{\sqrt{D}}-\frac{\left|\left|\boldsymbol{k}\right|\right|_{2}^{2}}{2D}{1}\right).\end{aligned}\right\} $

ORLA对注意力中键值$ \boldsymbol{V} $的作用体现在先进行键值聚合，再依据查询特征计算输出. 首先对每个batch独立地按键的核特征对所有位置的$ \boldsymbol{V} $进行线性聚合，沿序列维度$ N $进行一次累加，其中键侧聚合的值$ \boldsymbol{S} $为

(5)$ \boldsymbol{S}=\sum \limits_{j=1}^{N}\varPhi _{{\mathrm{K}}}^{\prime}\left({\boldsymbol{K}}_{j}\right)\boldsymbol{V}_{j}^{{\mathrm{T}} } . $

随后，第$ i $个位置利用查询的核特征对上述$ m $个通道进行线性读出，并进行显式归一化，以保证分母之和为1. 具体公式如下：

(6)$ \boldsymbol{z}=\sum \limits_{j=1}^{N}\varPhi _{{\mathrm{K}}}^{\prime}\left({\boldsymbol{K}}_{j}\right) . $

最终得到输出$ \boldsymbol{V} $. $ \boldsymbol{V} $的表达式为

(7)$ {\boldsymbol{V}}_i^\prime = \frac{{\varPhi _Q^ {\prime{\mathrm{T}}} {{\left( {{{\boldsymbol{Q}}_i}} \right)} }{\boldsymbol{S}}}}{{\varPhi _Q^ {\prime{\mathrm{T}}} {{\left( {{{\boldsymbol{Q}}_i}} \right)} }{\boldsymbol{z}}}} = \frac{{\varPhi _{\mathrm{Q}}^ {\prime{\mathrm{T}}} {{\left( {{{\boldsymbol{Q}}_i}} \right)} }\left( {\displaystyle \sum\limits_{j = 1}^N {\varPhi _{\mathrm{K}}^\prime } \left( {{{\boldsymbol{K}}_j}} \right){\mkern 1mu} {\boldsymbol{V}}_j^ {\mathrm{T}} } \right)}}{{\varPhi _{\mathrm{Q}}^ {\prime{\mathrm{T}}} {{\left( {{{\boldsymbol{Q}}_i}} \right)} }\left( {\displaystyle \sum\limits_{j = 1}^N {\varPhi _{\mathrm{K}}^\prime } \left( {{{\boldsymbol{K}}_j}} \right)} \right)}} . $

上述过程仅须对序列维进行一次线性扫描构造$ \boldsymbol{S} $与$ \boldsymbol{z} $，随后对每个查询位置执行一次$ {O}\left(N+D\right) $的读出，整体复杂度由$ {O}\left({N}^{2}D\right) $降为$ {O}\left(ND\right) $，相对于标准注意力在长序列与高分辨率场景下具有显著优势.

ORLTB以ORLA替代标准自注意力，在保持全局信息交互能力的同时降低计算复杂度，从而减少高分辨率和长序列输入下的计算时间与显存占用. ORLTB的首个层级仅接收编码器输出；后续层级聚合来自编码器的直接特征与经块间合并传播的上一层ORLTB输出，从而将细粒度细节与粗粒度语义自适应融合. ORLTB采用“Layer Normalization → ORLA → 残差连接 → Layer Normalization → MLP → 残差连接”的结构，并通过3条轻量卷积分支分别生成查询、键和值（$ \boldsymbol{Q}、\boldsymbol{K}、\boldsymbol{V} $）特征，以引入局部先验信息，并利用ORLA捕获全局依赖，实现局部信息与全局信息的融合. 具体地，设输入的特征图$ \boldsymbol{X}\in {\bf{R}}^{B\times N\times C} $，序列长度$ N=H\times W $，将特征图展平并施加层归一化，为了保留局部结构，将归一化后的图像并行经过3个共享通道数的卷积分支得到$ \boldsymbol{Q}、\boldsymbol{K}、\boldsymbol{V} $的图像域嵌入，即嵌入特征$ {\boldsymbol{E}}_{1}、{\boldsymbol{E}}_{2}、\boldsymbol{A} $. 这些特征的具体操作公式如下：

(8)$ \left.\begin{split} {\boldsymbol{E}}_{1} &={\text{Conv}}_{1}\left(\text{img}\left(\text{LN}\left(\text{seq}\left(\boldsymbol{X}\right)\right)\right)\right)，\\ {\boldsymbol{E}}_{2} & ={\text{Conv}}_{2}\left(\text{img}\left(\text{LN}\left(\text{seq}\left(\boldsymbol{X}\right)\right)\right)\right)，\\\boldsymbol{A} & ={\text{Conv}}_{3}\left(\text{img}\left(\text{LN}\left(\text{seq}\left(\boldsymbol{X}\right)\right)\right)\right).\end{split}\right\} $

式中：$ \text{seq}\left(\cdot \right) $表示展平操作. 对$ {\boldsymbol{E}}_{1}、{\boldsymbol{E}}_{2} $在通道维上进行二范数归一化，得到处理后的特征$ {\hat{\boldsymbol{E}}}_{1},{\hat{\boldsymbol{E}}}_{2} $. 将3路特征重排为单头序列表示，形成查询Q、键K、值V. 具体的操作公式如下：

(9)$ \boldsymbol{Q}=\text{seq}\left({\hat{\boldsymbol{E}}}_{1}\right),\quad\boldsymbol{K}=\text{seq}\left({\hat{\boldsymbol{E}}}_{2}\right),\quad\boldsymbol{V}=\text{seq}\left(\boldsymbol{A}\right) . $

在3路卷积分支中，前2路分支分别生成查询$ \boldsymbol{Q} $和键$ \boldsymbol{K} $，第3路分支生成值$ \boldsymbol{V} $. 注意力子层由ORLA实现，将注意力输出经DropPath随机深度正则化后与输入特征进行残差融合，随后进行第2个层归一化(layer normalization)与多层感知机(MLP），再进行残差回注，最后将序列还原为图像布局，作为当前ORLTB块输出.

金字塔特征融合在自底向上多级传递中，非相邻层的间接交互易造成信息损失与语义衰减^[22]. Swin Transformer采用窗口自注意力，仅在各局部窗口内计算特征间的相关性. 跨窗口信息需要通过移位窗口和卷积操作逐层传递，因而远距离及跨尺度特征交互通常需要经过多次中间传递^[14]. OCM接收来自编码器中经过ORLTB处理后的1/4、1/8、1/16 3个尺度特征，这些特征被池化为3个网格token序列，级联后在同一注意力层内进行全局交互. 具体地，对三尺度特征$ {\boldsymbol{X}}_{i} $分别进行1×1投影卷积，将通道对齐到$ D $，自适应池化为固定网格，拼接为一个长序列，进行一次跨尺度的线性自注意力混合，再经拆分、上采样，投影回原通道维度，并与各尺度的原始特征进行残差融合. 对于第$ i $个尺度特征$ {\boldsymbol{X}}_{i} $，处理过程表示为

(10)$ {\boldsymbol{T}}_{i}=\text{seq}\left({\text{AAP}}_{{G_{i}^{h}}\times {G_{i}^{w}}}\left(\boldsymbol{W}_{\text{proj}}^{(i)}\ast {\boldsymbol{X}}_{i}\right)\right) . $

式中：$ \ast $表示卷积处理；$ \boldsymbol{W}_{\text{proj}}^{(i)}\in {{{\bf{R}}}}^{D\times {{C}_{i}}\times 1\times 1} $表示第$ i $个尺度的1×1投影卷积权重张量；$ \text{AAP}\left(\cdot \right) $为自适应平均池化操作^[23]，能够在任意输入分辨率下得到固定大小的输出，适用于可变尺寸输入的多尺度场景. 将3个尺度的网格特征沿序列维度拼接为1个序列，并进行线性混合得到$ \boldsymbol{T} $，再将$ \boldsymbol{T} $送入ORLTB得到混合结果$ {\boldsymbol{T}}^{\star } $：

(11)$ {\boldsymbol{T}}^{\star }=\text{Mixer}\left(\text{concat}\left({\boldsymbol{T}}_{1},{\boldsymbol{T}}_{2},{\boldsymbol{T}}_{3}\right)\right) . $

上述操作可以在跨尺度语义注入时尽量保留边界与纹理细节. 随后，将混合后的序列按原有长度比例切分为3段，并还原为各自的网格结构，接着双线性上采样回原始尺寸$ \left({H}_{i},{W}_{i}\right) $. 最后，通过1×1卷积将通道数恢复至$ {C}_{i} $，并与1条恒等对齐分支进行残差连接. 第$ i $个尺度的输出$ {\boldsymbol{Y}}_{i} $为

(12)$ {\boldsymbol{Y}}_{i}=\boldsymbol{U}_{\text{reproj}}^{(i)}\ast {\text{Up}}_{{{H}_{i}},{{W}_{i}}}\left(\text{img}\left(\boldsymbol{T}_{i}^{\star }\right)\right)+\boldsymbol{I}_{\textit{id}}^{(\mathrm{i})}\ast {\boldsymbol{X}}_{i} . $

式中：$ \boldsymbol{U}_{\text{reproj}}^{(i)} $为回投影1×1卷积权重张量，$ {\text{Up}}_{{{H}_{i}},{{W}_{i}}}\left(\cdot \right) $表示双线性上采样到$ \left({H}_{i},{W}_{i}\right) $操作，$ \text{img}\left(\cdot \right) $表示按原有长度比例切回3段并还原为各自的网格操作，$ \boldsymbol{I}_{\text{id}}^{(i)} $为残差分支中用于通道对齐的1×1卷积权重张量.

为了增强中层语义表征并提高梯度信号传递的稳定性，在解码路径的1/4尺度引入主监督损失，将解码路径的1/8、1/16、1/32尺度的3个中间特征通过辅助监督分支进行联合约束. 融合后的1/8尺度特征兼具较大的感受野和较高的空间分辨率，通过对融合后的1/8尺度特征施加辅助监督，可以缓解深层网络中的梯度衰减. 主监督与辅助监督的联合使用有助于改善梯度传递，并提高边界区域和小目标的分割能力.

在实现上，首先将解码器1/32和1/16尺度的特征分别上采样至1/8尺度，再与1/8尺度特征进行融合. 3个尺度的特征逐元素相加后得到融合特征，并送入辅助预测头. 辅助预测头由卷积细化层、Dropout层和$ 1\times 1 $卷积的类别映射组成. 随后，将辅助头输出的预测图通过双线性插值恢复至输入分辨率，并据此计算辅助监督损失$ {L}_{{\mathrm{aux}}} $. 主分支经卷积细化、Dropout2d层和类别映射得到1/4尺度的语义预测图，再通过双线性插值恢复至输入分辨率，并据此计算主监督损失$ {L}_{{\mathrm{p}}} $. 推理阶段仅保留主分支，辅助监督分支仅在训练阶段启用.

为了兼顾类别不平衡与边界细节，训练阶段应用主损失和辅助损失来训练整个网络. 将交叉熵(CE)损失与Soft Dice损失组合为主损失$ {L}_{{\mathrm{p}}} $，$ {L}_{{\mathrm{p}}} $可以表示为

(13)$ \left.\begin{aligned}{L}_{{\mathrm{p}}}&={L}_{{\mathrm{ce}}}+{L}_{{\mathrm{dice}}},\\{L}_{{\mathrm{ce}}}&=-\frac{1}{N}\sum \limits_{n=1}^{N}\sum \limits_{k=1}^{K}y_{k}^{\left(n\right)}\text{ln}\;\hat{y}_{k}^{\left(n\right)},\\{L}_{{\mathrm{dice}}}&=1-\frac{2}{N}\sum \limits_{n=1}^{N}\sum \limits_{k=1}^{K}\frac{\hat{y}_{k}^{\left(n\right)}y_{k}^{\left(n\right)}}{\hat{y}_{k}^{\left(n\right)}+y_{k}^{\left(n\right)}}.\end{aligned} \right\}$

式中：$ N $为样本数，$ K $为类别数，$ y_{k}^{(n)} $为样本$ n $在第$ k $类上的真实语义标签，$ \hat{y}_{k}^{(n)} $为对应的Softmax预测概率的独热编码. 辅助分支的损失采用CE损失. 将辅助损失乘以权重系数$ \alpha $后与主损失相加，得到整体训练目标损失$ L $：

(14)$ L={L}_{{\mathrm{p}}}+\alpha {L}_{{\mathrm{aux}}} . $

上述设计通过CE提供稳定的类别区分信号，以Soft Dice直接优化重叠度，从而在类别不均衡与边界区域上获得更稳健的梯度. 辅助分支通过系数$ \alpha $参与反向传播，进一步促进主干解码器的收敛与细节恢复，参考UNetFormer^[17]的设计，系数$ \alpha $默认为0.4.

为了评价所提方法在高分辨率遥感场景下的语义分割性能，采用ISPRS Potsdam^[1]、ISPRS Vaihingen^[2]、LoveDA^[3] 3个公开数据集作为基准数据来源.

ISPRS Potsdam：数据集隶属于ISPRS 2D Urban Semantic Labeling基准，包含38幅城市场景航空正射影像，每幅影像尺寸为6000×6000像素. 类别体系包含6类：不透水地表、建筑、低矮植被、高植被、车辆与背景. 在该基准上的实验设置如下：将原始大幅影像按1024×1024像素裁剪为图像块，采用14幅用于测试，ID为2_10的影像用于验证，其余影像用于训练.

ISPRS Vaihingen：数据集同属ISPRS 2D语义标注基准，覆盖德国Vaihingen小镇，共包含33个大小不等的城市场景切片. 与Potsdam一致，Vaihingen 仅对部分切片公开像素级标注，其余用于基准评测；语义类别配置与Potsdam保持一致. 本文在该数据集上的实验仅使用TOP影像块，不使用DSM或nDSM辅助信息；训练前将切片裁剪为1024×1024像素图像块后，其中17幅切片用于测试，ID为30的切片用于验证，其余15个切片用于训练.

LoveDA：数据集面向土地覆盖语义分割与跨域自适应（UDA）任务，由来自中国南京、常州与武汉3座城市的城镇与乡村2种场景构成，共计5 987幅高分辨率遥感影像，地面采样距离为0.3 m. 单幅影像尺寸为1024×1024像素，并提供像素级标注，以支持监督训练与评测. LoveDA的类别体系包含7类：背景、建筑、道路、水体、裸地、森林与农田. 在实验中遵循公开划分方案：2522幅影像用于训练，1669幅用于验证，1796幅用于测试.

所有实验均在PyTorch框架上实现与训练. 优化器采用Adam，基础学习率设为6×10⁻⁵. 采用余弦退火策略使学习率随训练进程逐步衰减，以提高训练后期的收敛稳定性. 学习率随训练步数$ t $的更新形式为

(15)$ {\eta }_{t}={\eta }_{0}\cdot \frac{1}{2}\left(1+\cos \left({\text{π}}t/T\right)\right) . $

式中，$ {\eta }_{0} $为初始学习率，$ T $为总步数. 其余训练超参数与数值稳定性设置沿用UNetFormer各组件的默认值.

在数据预处理与增强方面，对ISPRS Potsdam、ISPRS Vaihingen与LoveDA 3个数据集的影像进行统一处理. 将原始影像随机裁剪为512×512的训练块. 每轮训练中，按离散尺度因子{0.50,0.75,1.00,1.25,1.50}进行随机缩放，并独立地施加随机水平翻转、随机垂直翻转与随机旋转增强. 训练总轮数设为100，批大小为16. 测试阶段采用多尺度与翻转增强策略：对输入影像在多个尺度下进行前向推理，并对水平与垂直翻转版本分别推理后，将结果在概率空间内求平均，以获得模型的稳定预测.

在消融实验与对比实验中，均采用多次独立训练的结果进行汇报. 每一种模型配置在3个数据集上均使用不同的随机种子重复训练，并报告多次训练结果取平均后的性能.

语义分割结果可以采用多种指标进行评价. 为了全面、客观地评估语义分割模型的性能，采用总体准确率（OA）、F1分数及平均交并比（mIoU）3类指标进行评价. OA表示在所有像素中被正确分类的比例，

(16)$ \text{OA}=\frac{\text{TP \ + \ TN}}{\text{TP \ + \ TN \ + \ FP \ +\ FN}} . $

式中：TP、TN、FP和FN分别为真阳性、真阴性、假阳性和假阴性像素数. 该指标直观且计算简单，能够从总体层面刻画模型的像素级正确率. 当背景像素数量远超过少数类别时，类别分布呈现显著不均衡，此时OA往往会偏向多数类，从而掩盖模型对稀有类别的识别能力不足. 为了缓解类别不平衡带来的评价偏差，采用F1分数作为评价指标更合理. F1分数对精确率(precision，P)与召回率(recall，R)计算调和平均，定义为

(17)$ \left.\begin{aligned}\text{F1} &=\frac{2{P}R}{P+R},\\P&=\frac{{\mathrm{{TP}}}}{\text{TP \ + \ FP}},\\R&=\frac{\text{TP}}{\text{TP \ + \ FN}}.\end{aligned}\right\} $

式中：P表示预测为某一类别的像素中实际属于该类别的比例，R表示该类别真实像素中被正确识别的比例. F1分数综合考虑误检与漏检情况，可以更合理地评价类别不均衡条件下的分割结果.

交并比（IoU）从区域重叠角度评价单一类别分割质量，mIoU为各类别IoU的算术平均值：

(18)$ \text{mIoU}=\frac{1}{k}\sum \limits_{i=1}^{k}\frac{{\text{TP}}_{i}}{{\text{TP}}_{i} \ {\text{+ \ FP}}_{i} \ {\text{+ \ FN}}_{i}} . $

式中：$ k $为类别数，$ {\text{TP}}_{\boldsymbol{i}} $为第$ i $类像素中被正确预测为该类的像素数，$ {\text{FP}}_{\boldsymbol{i}} $为其他类别被误预测为第$ i $类的像素数，$ {\text{FN}}_{\boldsymbol{i}} $为第$ i $类被误预测为其他类别的像素数. 与OA相比，mIoU对类别不均衡更具区分性，因为该指标对并集扩大而交集不足的情况施加了约束.

在统一的数据预处理流程以及训练与推理设置下，在ISPRS Potsdam、ISPRS Vaihingen和LoveDA 3个遥感语义分割数据集上对ORLA-OCM UNetFormer进行评估. 其中，Potsdam和Vaihingen主要包含高分辨率城市场景，LoveDA同时覆盖城镇与乡村区域，3个数据集在空间分辨率、地物组成和场景分布方面具有一定差异，这些差异可以用于考察模型在不同遥感场景下的分割性能. 本文方法及多数卷积类基线均采用ResNet-18作为主干网络，并保持损失函数、优化器、学习率策略和训练轮次一致. 该设置能够减小主干网络容量和训练策略差异对实验结果的影响，从而使本文方法与UNetFormer基线之间的比较主要反映ORLTB和OCM带来的性能变化. 对于采用其他主干网络的方法，其结果直接引用相应原论文在对应数据集上公开的结果. 其中，BANet采用ResT-Lite，Segmenter采用ViT-Tiny，SwinUperNet、DC-Swin和DSCT采用Swin-Tiny；FarSeg和FactSeg采用ResNet-50，TransUNet采用ViT-R50，MobileViT V3采用MobileViTv3，RS3Mamba采用R18-Mamba-T，LASC-Mamba和SSFNet采用ResNet-18. 各方法的主干网络分别列于表1~3的“骨干网络”栏，以便说明不同主干网络和模型结构下的实验结果. 对比模型覆盖轻量级卷积网络、小型Transformer、Mamba 架构及卷积-Transformer混合网络，包括SwiftNet^[4]、FANet^[5]、EaNet^[6]、MAResU-Net^[7]、FarSeg^[8]、FactSeg^[9]、BANet^[10]、ABCNet^[11]、TransUNet^[12]、Segmenter^[13]、SwinUperNet^[14]、DC-Swin^[15]、MobileViT V3^[16]、UNetFormer^[17]、RS3Mamba^[18]、LASC-Mamba^[19]、DSCT^[20]与SSFNet^[24]，以及采用相同主干与解码器框架的UNetFormer基线. 上述方法涵盖局部特征提取、全局上下文获取、多尺度信息融合和长程依赖表征等不同技术路线，可从多个方面反映所提方法在遥感语义分割任务中的相对性能.

在ISPRS Potsdam测试集上，分割结果的可视化对比如图2所示. 与各对比方法相比，ORLA-OCM UNetFormer在建筑、不透水地表、高植被和低矮植被的交界区域获得了较连续的分割边界；遮挡和阴影区域中的错分现象有所减少，车辆小目标的轮廓也更加完整，高植被区域内部与树冠边缘的预测结果较一致，相邻类别之间的误分类范围相对较小. 上述结果表明，ORLTB有助于减弱复杂纹理和背景信息对跳跃特征的干扰，OCM通过多尺度特征交互改善不同分辨率特征之间的语义对应关系. 尤其在建筑阴影、树冠遮挡以及目标尺度变化较大的区域，本文方法对主体区域与边界位置的预测较为协调，局部断裂、边界粘连和小目标遗漏现象有所减少，说明多尺度语义信息的交互有助于提高复杂区域的预测一致性.

定量对比结果如表1所示，ORLA-OCM UNetFormer 在Potsdam测试集上的OA、平均F1与mIoU分别达到91.7%、93.0%及87.1%，相对于采用相同骨干与解码器框架的UNetFormer分别提升了0.4%、0.2%和0.3%. 在所有基于ResNet-18的方法中，其综合指标居于首位，同时在与BANet、SwinUperNet、Segmenter、DSCT及MobileViT V3等采用不同主干的代表性网络对比时，依然在OA与mIoU上保持整体优势. 在逐类F1指标中，不透水地表与建筑类别分别达到94.1%与97.5%，高植被、车辆及低矮植被类别分别为89.1%、96.3%及87.8%. 整体指标的提升主要归因于建筑、不透水地表和高植被3类分割精度的提高，验证了跳跃侧线性自注意力与跨尺度混合模块对复杂城市场景分割质量具有实质性改进作用.

在ISPRS Vaihingen测试集上，数据分布及地物尺度与Potsdam相近，同样采用单模型单尺度评测与ResNet-18主干. Vaihingen影像建筑的密集程度、植被覆盖范围及阴影分布存在一定的变化，可以进一步检验模型在目标尺度变化和复杂边界条件下的分割稳定性. 可视化对比如图3所示，屋顶、道路与绿化带的分割掩膜在长边方向上保持了更严格的一致性，树冠边缘的断裂与锯齿现象减少，车辆与路面之间的接触区域分类更稳定，复杂街区内多类别相邻块的空间布局更接近标注. 尤其在狭窄道路、密集屋顶和树木遮挡区域，预测结果中的局部孔洞与类别粘连现象有所减少，说明所提方法能够较好地保持相邻地物之间的空间关系. 该表现与在跳跃端完成跨尺度交互并减少解码阶段跨层多跳传播的设计相符.

定量结果如表2所示，ORLA-OCM UNetFormer在Vaihingen上的OA、平均F1与mIoU分别为91.2%、90.7%和83.7%，相较于同骨干基线UNetFormer 的91.0%、90.4%和82.7%提升了0.2、0.3和1.0个百分点，在轻量ResNet-18组内保持了较稳健的综合表现；相较于ABCNet、BANet、SwiftNet等方法，ORLA-OCM UNetFormer的OA与mIoU指标总体处于同一水平，与RS3Mamba、LASC-Mamba模型相比，虽在极限性能上略有差距，但在模型结构与训练协议基本不变的前提下取得了显著的提升. 其中，mIoU的提升幅度高于OA和平均F1，表明所提模块对各类别预测区域重叠程度的改善较明显. 按类别统计，ORLA-OCM UNetFormer在不透水地表与建筑上的F1分别为92.1%与95.8%，与ABCNet和BANet接近；低矮植被约为85.1%，较基线UNetFormer略有提升；高植被类别达到90.8%，为该组方法中的最高值，车辆类别F1为89.1%，同样在所有对比方法中取得最高分. 整体增益主要集中在对跨尺度一致性更敏感的植被与车辆类别，同时在保持建筑与不透水地表高分的前提下，进一步提高了整体mIoU，验证了跳跃侧线性自注意力与跨尺度混合模块对城市场景细粒度分割质量提升的有效贡献.

在LoveDA测试集上，可视化对比如图4所示，在城镇与农村2类场景中，ORLA-OCM UNetFormer生成的分割掩膜在建筑、道路与背景的接触边界上更加连续，水体与岸线之间的类别过渡更为平滑，耕地与林地内部的响应更加一致，背景区域对非目标纹理的误激活明显减少，整体掩膜中的空洞与碎片显著减少. 这一现象与本方法在跳跃侧引入判别性线性自注意力，并通过 OCM 在统一嵌入维度上完成多尺度上下文对齐的设计相吻合，使得进入解码器的特征在空间布局与语义层面更加一致，从而在不增加主干与解码器规模的前提下提升了对复杂城乡混合场景的建模能力.

定量结果如表3所示，ORLA-OCM UNetFormer在LoveDA测试集上的mIoU为53.4%，较同骨干基线UNetFormer的52.4%提升了1.0个百分点，在所有对比方法中取得最高的综合mIoU分数. 与基于ResNet-18的UNetFormer、SSFNet与LASC-Mamba相比，ORLA-OCM UNetFormer在保持模型规模与训练协议一致的条件下获得了最优的整体性能，也超过了使用ResNet-50、ViT-R50、ViT-Tiny、Swin-Tiny、MobileViTv3与R18-Mamba-T等多种主干配置的FarSeg、FactSeg、BANet、TransUNet、Segmenter、SwinUperNet、DC-Swin、MobileViT V3与RS3Mamba 等方法.

从逐类指标来看，ORLA-OCM UNetFormer在7个类别上的得分分别为：背景45.6%、建筑60.0%、道路55.9%、水体81.1%、裸地20.8%、森林47.1%、农田63.1%. 与ResNet-18骨干的UNetFormer相比，所有类别均获得正向增益，其中建筑、水体、道路及森林类别的F1分数分别提升了1.2、1.5、1.0及1.1个百分点，背景、裸地与农田类别分别取得了0.9、0.7与0.6个百分点的提升. 其中，建筑、水体与道路3类对跨尺度一致性和边界定位尤为敏感，在本文方法中获得了较稳定的增益；在受尺度差异与纹理异质性影响较大的裸地与农田类别中，保持了连续的小幅提升. 尽管在个别单类指标上略低于部分采用更复杂主干或序列建模模块的网络（如在建筑、水体、森林或农田类别上与MobileViT V3、SSFNet、LASC-Mamba、RS3Mamba的最佳值存在细微差距），但在各类别上均优于UNetFormer，且在ResNet-18组内保持了有竞争力的类别分布与最优的综合mIoU，这从侧面验证了跳跃侧ORLTB与OCM跨尺度线性交互在LoveDA场景下的有效性.

为了验证各模块对性能的贡献，在LoveDA、ISPRS Potsdam与ISPRS Vaihingen上对ORLA-OCM UNetFormer进行消融实验. 实验对象包含以下4个可控变体. 1）维持原始结构的UNetFormer（Baseline）. 2）仅在1/4、1/8、1/16 3个跳跃连接分支上引入ORLTB，其余保持不变. 3）仅在跨尺度阶段启用OCM，其余保持不变. 4）同时启用ORLTB与OCM的完整配置. 消融实验在3个数据集上均采用与主实验一致的训练与评测协议. 为了消除偶然性，所有变体在相同的数据预处理、优化器与学习率策略下独立运行3次并汇总均值，表4中为均值，标准差与置信区间采用与本文主实验相同的设置.

从表4可见，UNetFormer基线在LoveDA上的mIoU为52.4%，在Potsdam上的OA、mIoU、F1分别为91.3%、86.8%、92.8%，在Vaihingen上分别为91.0%、82.7%、90.4%. 仅在跳跃连接侧引入ORLTB后，3个数据集均获得稳定增益. LoveDA的mIoU提升到53.0%，较基线提高了0.6个百分点. Potsdam的OA、mIoU、F1分别提升到91.6%、87.0%、92.9%，较基线分别提高了0.3、0.2、0.1个百分点. Vaihingen的OA、mIoU、F1分别提升到91.1%、83.4%、90.6%，较基线分别提高了0.1、0.7、0.2个百分点. 当仅启用OCM时，LoveDA的mIoU达到52.8%，较基线提高了0.4个百分点；Potsdam的OA、mIoU、F1较基线分别提高了0.2、0.1、0.1个百分点；Vaihingen的OA、mIoU、F1较基线分别提高了0.1、0.4、0.1个百分点. 2项改动联合启用后的ORLA-OCM达到当前最优：LoveDA的mIoU为53.4%，较基线提高了1.0个百分点；Potsdam的OA、mIoU、F1较基线分别提高了0.4、0.3、0.2个百分点；Vaihingen较基线分别提高了0.2、1.0、0.3个百分点.

从提升幅度来看，ORLTB在3个数据集上的提升更稳定，尤其对Vaihingen的mIoU有较大贡献，提升了0.7个百分点，反映出线性自注意力在跳跃连接侧对高分辨率语义与边界细节的增强作用. OCM的改进主要体现在跨尺度一致性带来的整体指标稳步上升，但单独使用时增益略低. 联合配置在3套数据集上均优于2种单独配置，说明两者在信息路径上具有互补性：ORLTB 强化各尺度内部的判别表示，OCM在统一嵌入空间内实现多尺度交互与信息注入，从而使整体分割精度获得提升. 总体而言，在线性自注意力与固定网格池化的约束下，完整模型在保证计算与显存开销可控的同时，在3个数据集上均取得了稳定的性能提升.

为了评估不同跳跃连接策略对分割性能的影响，在统一的UNetFormer训练与推理协议下，在LoveDA测试集上设置对照实验并进行比较. 各对照配置均采用相同的数据预处理流程、优化器和学习率策略，采用单模型、单尺度推理与相同的训练轮次及批大小. 基线为UNetFormer，跳跃路径为逐尺度的编码器-解码器直连；在该框架上分别引入3类改动. 1）LASC-Mamba：在跳跃端对1/4、1/8、1/16 3个尺度的特征进行链路聚合后回注解码器，其他设置保持不变. 2）Mix-Mamba：在解码端引入多分支混合以调整融合方式，跳跃端保持基线直连的形式^[19]. 3）LASC+Mix：联合启用前2项配置^[25]. 为了检验本文方法，在相同协议下将3条跳跃分支依次经由ORLTB处理，随后在进入解码器前以OCM完成一次性交互与回注（ORLA-OCM）；除了这2处外，其余网络与超参数不变. 所有对照实验均以LoveDA测试集上的mIoU作为评价指标，以隔离各结构改动对性能的影响.

从表5可见，UNetFormer基线的mIoU为 52.4%. 在仅改造跳跃端的设置下，LASC-Mamba的mIoU为52.8%，相对基线提升0.4个百分点；在仅改造解码端的设置下，Mix-Mamba的mIoU同为52.8%，提升幅度相同. 将两者联合时，mIoU为52.9%，相对基线提升0.5个百分点，表明跳跃端链路聚合与解码侧混合的增益具有叠加性，但整体提升幅度有限. 在相同训练与推理协议下，本文的ORLA-OCM在LoveDA上达到53.4%的mIoU，相对基线提升1.0个百分点，相对LASC+Mix提升0.5个百分点. 结合4组对照可见，单独在跳跃端进行聚合或在解码端进行混合均能带来小幅改进，而在跳跃侧先以线性自注意力提高多尺度特征的判别性，随后在统一嵌入维度完成一次性跨尺度对齐——这种组合策略在采用相同骨干网络及训练与推理协议的条件下获得更优的总体性能. ORLA-OCM在不改变编码器-解码器主体结构的前提下，通过线性自注意力与解码跨尺度对齐获得更优的分割性能，验证了ORLA-OCM的有效性.

为了解决遥感高分辨率影像语义分割中跨尺度信息对齐不足和跳跃连接语义差异较大的问题，提出线性自注意力跳跃增强与跨尺度混合网络ORLA-OCM UNetFormer. 在1/4、1/8和1/16尺度的跳跃连接中引入ORLTB，以加强各尺度特征的长程信息提取. 在解码器前设置OCM，对多尺度特征进行统一交互与回注. 在LoveDA、ISPRS Potsdam和ISPRS Vaihingen数据集上验证了所提方法的有效性. 在未来的研究中，将进一步研究该方法在其他类UNet网络和状态空间网络中的适用性，并在OCM中引入动态Token选择和显著性引导的聚合，以增强复杂场景中的边界与小目标分割效果.