<img src="https://www.zjujournals.com/eng/images/1008-973X/images/logo.png" class="img-responsive">

图 1 遥感影像厚云去除网络总体结构图

Fig.1 Overall structure diagram of remote sensing image thick cloud removal network

2.2. 局部特征重建和全局特征引导

2.2.1. 局部特征重建任务

如图1所示，局部特征重建任务主体为U型结构，由空谱特征推理重建模块组成. 为了有效恢复光学图像云覆盖区域下的细节信息，将SAR作为真实地物模板特征信息引入到光学遥感影像云遮挡区域局部特征重建任务中. 具体来说，将输入端的SAR图像和光学图像进行多模态特征融合封装后引入到该任务中，封装过程可表示为

$ {\boldsymbol{I}}_{\mathrm{i}\mathrm{n}}=\left[{\boldsymbol{I}}_{\mathrm{S}\mathrm{A}\mathrm{R}},{\boldsymbol{I}}_{\mathrm{c}\mathrm{l}\mathrm{o}\mathrm{u}\mathrm{d}}\right]. $

(1)

式中：$ {\boldsymbol{I}}_{\mathrm{i}\mathrm{n}} $表示封装好的融合特征；$ {\boldsymbol{I}}_{\mathrm{S}\mathrm{A}\mathrm{R}} $和$ {\boldsymbol{I}}_{\mathrm{c}\mathrm{l}\mathrm{o}\mathrm{u}\mathrm{d}} $分别为输入网络的SAR图像和光学图像，两者通过张量拼接操作融合在一起. $ {\boldsymbol{I}}_{\mathrm{i}\mathrm{n}} $作为输入特征层被传入局部特征重建任务中，并实现云遮挡特征层缺失信息的推理重建. 局部特征的推理重建过程可表示为

$ {\boldsymbol{I}}'_{\mathrm{o}\mathrm{u}\mathrm{t}}={f_{\mathrm{U}}}\left({\boldsymbol{I}}_{\mathrm{i}\mathrm{n}}\right). $

(2)

式中：$ {\boldsymbol{I}}'_{\mathrm{o}\mathrm{u}\mathrm{t}} $为局部特征重建任务输出的重建特征层， $ {f_{\mathrm{U}}} $则为由空谱特征推理重建模块（spatial-spectral feature inference and reconstruction block, SSFIRB）搭建的U型推理结构，也即本任务的主体部分. 虽然局部特征重建任务能够有效去除影像中的薄云和小范围的碎云，但在云覆盖面积大、云层透光度弱的厚云场景中仍然无法高质量地重建云下缺失的纹理信息. 因此，本研究引入了全局特征引导任务.

2.2.2. 全局特征引导任务

在局部特征推理重建任务进行过程中不可避免地会丢失部分SAR引入的代表云下地物纹理的真实细节信息，这会导致图像去云重建后的特征丢失或模糊. 全局特征引导任务将输入的SAR数据作为真实地面物体边缘结构信息封装后再次输入到网络中，以此来弥补局部特征重建任务丢失的特征. 在该任务中，为了保护SAR数据信息以防丢失，使用尽量少的卷积层和激活层修正维度特征后，直接作用于局部特征重建任务输出的$ {\boldsymbol{I}}'_{\mathrm{o}\mathrm{u}\mathrm{t}} $上，完成重建特征层纹理上缺失信息的补充和校正. 最后，特征层经过卷积调整成特定维度后输出. 全局特征引导任务的引入有效地提升了模型在云下信息重建方面的性能.

2.3. 空谱特征推理重建模块

为了应对影像中厚云的低透光、不规则和高像素值等特性，设计空谱特征推理重建模块SSFIRB. 该模块整体结构如图2所示，由特征提取和特征重建2个阶段组成.

图 2

图 2 空谱特征推理重建模块结构图

Fig.2 Structure diagram of spatial-spectral feature inference reconstruction block

特征提取阶段设计有双激活门控卷积块(dual-activation gated convolutional block, DAGC)和通道注意力块(channel attention block, CAB). DAGC可以从空间维度上高效地提取特征层中厚云和非云的映射区域，为特征重建提供非云区域的特征信息. CAB用于提取通道维度上的通道光谱特征. 为了减少特征提取过程中全局信息的丢失，在该阶段末期利用跳跃连接的方式将初始特征层与提取推理后得到的特征层融合.

特征提取主要负责特征的提取和推理，特征重建则负责缺失信息的重建. 在特征重建阶段仅设计有DAGC模块和部分卷积块. 在前一阶段提取的空谱特征基础上，DAGC利用SAR映射的真实地物纹理补充云遮挡区域缺失的纹理特征，同时恢复云遮挡区域的光谱特征. 此外，在特征重建阶段，为了保证云区域重建后的特征与非云区域无缝融合，同样使用跳跃连接对前后特征进行融合处理. 在SSFIRB的2个阶段使用不同卷积核和步长的卷积层进行采样，使不同阶段的特征层维度能够有效地匹配.

2.3.1. 双激活门控卷积

在去云任务中，云覆盖区域存在大量的无效像素. 因此，需要对有效像素和无效像素加以区分. 本研究提出双激活门控卷积DAGC，在传统门控卷积(GC)的基础上加以改进，采用激活函数来引导卷积层学习区分有云区域和无云区域. DAGC在所有层的每个空间位置为每个通道均提供可学习的动态特征来解决传统卷积将所有像素视为有效像素问题的不合理性. 将Sigmoid和Leaky ReLU^[27]这2种激活函数分别引入GC的2个分支中，如图2 (b)所示. Sigmoid函数对每个神经元的输出进行归一化，这有利于特征层信息的高效提取. 此外，Sigmoid函数具有平滑的梯度，可以有效规避不合理输出值. Leaky ReLU函数保留有负轴的值，缓解了激活值过小而导致神经元参数无法更新的问题. 具体地，DAGC的推理过程可表述为

$ {\boldsymbol{G}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}={\boldsymbol{W}}_{\mathrm{g}}\cdot \boldsymbol{I}+{{\boldsymbol{b}}}_{\mathrm{g}}, $

(3)

$ \boldsymbol{F}=\varPhi \left({\boldsymbol{G}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}\right)\odot \sigma \left({\boldsymbol{G}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}\right). $

(4)

式中：$ {\boldsymbol{W}}_{\mathrm{g}} $为卷积运算的权重，$ {{\boldsymbol{b}}}_{\mathrm{g}} $为对应的偏置参数，$ {\boldsymbol{G}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}} $为通过卷积运算生成的门控信号，$ \varPhi $为Leaky ReLU激活函数，$ \sigma $为Sigmoid激活函数. $ \varPhi \left({\boldsymbol{G}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}\right) $和$ \sigma \left({\boldsymbol{G}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}\right) $分别表示不同激活函数对门控信号的激活处理. $ \boldsymbol{F} $是2个激活后门控信号经过逐像素相乘后的输出结果，即DAGC的输出特征. DAGC可以提高网络区分有效像素和无效像素的能力，有助于提升网络的有云图像去云重建能力.

2.3.2. 通道注意力

重建过程应考虑空间和光谱相关性. DAGC能够有效地提取不同空间尺度下的特征信息，但其提取通道间特征的能力略有不足. 为此，引入通道注意力块(CAB)来获取全局通道信息，具体结构如图2 (c)所示. CAB分为压缩和激活2个部分，其中压缩部分对全局空间信息进行压缩，激活部分为各个通道分配不同的权重.

在压缩部分，首先将输入的特征向量$ \boldsymbol{X}\in {\bf{R}}^{H\times W\times C} $经过全局平均池化重塑维度，得到新的特征向量$ {\boldsymbol{X}}_{\mathrm{C}}\in {\bf{R}}^{1\times 1\times C} $. 然后$ {\boldsymbol{X}}_{\mathrm{C}} $在激活部分经过多层感知机(MLP)处理，预测出各个通道的特征向量$ {\boldsymbol{E}}_{\mathrm{C}}\in {\bf{R}}^{1\times 1\times C} $. 推理过程为

$ {\boldsymbol{E}}_{\mathrm{C}}={f}_{\mathrm{M}\mathrm{L}\mathrm{P}}\left({\boldsymbol{X}}_{\mathrm{C}}\right). $

(5)

式中：$ {f}_{\mathrm{M}\mathrm{L}\mathrm{P}} $为CAB中的MLP结构. 为了将得到的通道特征向量$ {\boldsymbol{E}}_{\mathrm{C}} $作用于最初的元素特征向量$ \boldsymbol{X} $，对$ {\boldsymbol{E}}_{\mathrm{C}} $进行维度映射，得到$ {\boldsymbol{E}}'_{\mathrm{C}}\in {\bf{R}}^{H\times W\times C} $. 然后，将$ {\boldsymbol{E}}'_{\mathrm{C}} $作为通道特征作用于最初的元素特征层. 最终的输出可以表示为

$ {\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}={\boldsymbol{X}}_{\mathrm{C}}\odot {\boldsymbol{E}}'_{\mathrm{C}}. $

(6)

式中：$ {\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $为融合了通道特征信息的特征向量.

2.4. 损失函数

遥感影像厚云去除任务可以被看作图像重建任务，即重建缺失的空间和光谱信息，以期达到影像去云的效果. 本文方法训练过程中使用的损失函数是在峰值信噪比(PSNR)的基础上改进得来的. PSNR通常用于比较原始图像与经过处理后的图像的质量差异，反映了方法的图像特征生成或重建能力. Chen等^[28]直接将PSNR作为损失函数应用到图像去噪网络的训练中，并取得了较好的降噪效果.

考虑到人眼对灰度的敏感度比对三通道色彩更高，且灰度通道可以很好地反映每个像素的变化特征. 将预测结果与真实结果转化成灰度通道来计算损失：

$ {\boldsymbol{I}}_{\mathrm{o}\mathrm{u}\mathrm{t}}=\frac{({C}_{1}\cdot {\boldsymbol{I}}_{\mathrm{o}\_\mathrm{R}}+{C}_{2}\cdot {\boldsymbol{I}}_{\mathrm{o}\_\mathrm{G}}+{C}_{3}\cdot {\boldsymbol{I}}_{\mathrm{o}\_\mathrm{B}})}{{2}^{n}-1}, $

(7)

$ {\boldsymbol{I}}_{\mathrm{g}\mathrm{t}}=\frac{({C}_{1}\cdot {\boldsymbol{I}}_{\mathrm{g}\_\mathrm{R}}+{C}_{2}\cdot {\boldsymbol{I}}_{\mathrm{g}\_\mathrm{G}}+{C}_{3}\cdot {\boldsymbol{I}}_{\mathrm{g}\_\mathrm{B}})}{{2}^{n}-1}. $

(8)

式中：$ {\boldsymbol{I}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $和$ {\boldsymbol{I}}_{\mathrm{g}\mathrm{t}} $分别为由预测结果和真实图像转化的灰度通道特征，$ {\boldsymbol{I}}_{\mathrm{o}\_\mathrm{R}} $、$ {\boldsymbol{I}}_{\mathrm{o}\_\mathrm{G}} $、$ {\boldsymbol{I}}_{\mathrm{o}\_\mathrm{B}} $分别为预测结果的红、绿、蓝3个通道的特征，$ {\boldsymbol{I}}_{\mathrm{g}\_\mathrm{R}} $、$ {\boldsymbol{I}}_{\mathrm{g}\_\mathrm{G}} $、$ {\boldsymbol{I}}_{\mathrm{g}\_\mathrm{B}} $分别为真实图像的红、绿、蓝3个通道的特征，${2^n} - 1$表示图像中像素值可取的最大值，$ {C}_{1} $、$ {C}_{2} $、$ {C}_{3} $为常数项. 一般情况下，图像像素是8位存储，但遥感影像中的像素常常具有较高的位数. 因此，采用$ n $表示像素的存储位数.

计算$ {\boldsymbol{I}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $和$ {\boldsymbol{I}}_{\mathrm{g}\mathrm{t}} $之间的均方误差(MSE)：

$ {{L}}_{\mathrm{M}\mathrm{S}\mathrm{E}}=\frac{1}{H\cdot W}\sum _{i=1}^{H}\sum _{j=1}^{W}{({\boldsymbol{I}}_{\mathrm{o}\mathrm{u}\mathrm{t}}-{\boldsymbol{I}}_{\mathrm{g}\mathrm{t}})}^{2}. $

(9)

式中：$ {{L}}_{\mathrm{M}\mathrm{S}\mathrm{E}} $为$ {\boldsymbol{I}}_{\mathrm{o}\mathrm{u}\mathrm{t}} $和$ {\boldsymbol{I}}_{\mathrm{g}\mathrm{t}} $之间的均方误差，$ H $和$ W $分别为特征图的像素高度和像素宽度，$ H\cdot W $计算的是像素个数，$i \in [1,\;H]、j\in[1,\;W] $表示特征图中像素在垂直方向和水平方向上的索引. 在均方误差的基础上计算峰值信噪比，计算公式为

$ {{L}}_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}=\frac{1}{B}\sum _{b=1}^{B}\left[10\;{\mathrm{lg}}\left(\frac{{({2}^{n}-1)}^{2}}{{{L}}_{\mathrm{M}\mathrm{S}\mathrm{E}}+\varepsilon }\right)\right]. $

(10)

式中：$ B $为训练过程中的批次总数，$b \in[1,\;B] $表示当前批次，$ {{L}}_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}} $表示每个批次中损失的平均值，$ {2}^{n}-1 $含义与式(7)和(8)中的含义相同. 为了确保在计算对数时不会遇到零值，在$ {{L}}_{\mathrm{M}\mathrm{S}\mathrm{E}} $基础上加入平滑项$ \varepsilon $，在计算过程中取值为$ {10}^{-8} $. 平滑项可避免数值中被除数为零的错误和数值不稳定性，且对最终结果的影响非常小.

3. 实验分析

3.1. 数据集

以公共数据集SEN12MS-CR-TS^[29]为基础数据集，该数据集将不同程度的云覆盖影像混淆在一起. 为了更好地验证本文方法在不同云覆盖场景下的去云效果，根据云的形态、云量占比将SEN12MS-CR-TS拆分成了4个不同的子集. 由于该数据集未提供云标签，本研究利用在GF1_WHU数据集^[30]训练好的DeepLabV3+模型^[31]对该数据集上的所有影像进行云量检测，并根据表1所示对影像进行粗略的场景划分. 经实验证明，DeepLabV3+模型在GF1_WHU数据集上的准确率、精确率、召回率均达到88%以上，可用于本研究数据集的粗略云量检测. 接着，综合考虑云覆盖占比、云的形态等因素，通过人工判读，对影像逐张筛选，将数据集细分为薄云场景数据集(Thin_CI)、小碎云场景数据集(Brok_CI)、片状碎云场景数据集(LBrok_CI)和厚云场景数据集(Thick_CI). 表1展示了4个子数据集的分类信息、云占比（x）和样本数量（N）.

表 1 不同数据集的详细信息

Tab.1 Detailed information on different datasets

数据集	类别	x/%	N
Thin_CI	薄云	x $< $ 10	4 849
Brok_CI	碎云	10 $\leqslant $ x $< $ 30	7 718
LBrok_CI	大范围碎云	30 $\leqslant $ x $< $ 60	5 823
Thick_CI	厚云	x $\geqslant $ 60	7 429

3.2. 实验设置

3.2.1. 实验环境和参数设置

网络使用Adam优化器进行训练，并利用上文提到的改进后的峰值信噪比指数作为损失函数. 输入网络的影像数据被裁剪成256×256像素大小. 训练过程中使用余弦退火策略^[32]控制学习率，默认学习率设置为10⁻⁴，最小学习率为10⁻⁷. 网络训练批量设置为8，迭代次数为200. 所有训练过程均在1张GeForce RTX 3090显卡上完成，环境配置为Pytorch v1.8.0+cu111、CUDA v11.1.

3.2.2. 评价指标

在遥感影像去云过程中，使用无云图像作为参考. 首先，对比观察云遮挡区域重建特征与无云参考图像的特征是否一致. 然后，计算去云图像和无云参考图像的峰值信噪比(PSNR)、均方根误差(RMSE)、结构相似指数(SSIM)，根据这3个像素级图像质量评价指标来定量评估去云效果.

3.3. 对比实验分析

为了验证方法性能，选取了3种基于深度学习的去云算法与本文方法进行对比分析，分别为McGAN^[33]、SAR-opt-cGAN^[25]和USSRN-CR^[26]. McGAN利用光学图像中的近红外波段和可见光波段完成去云. SAR-opt-cGAN是第一个将SAR和光学多光谱图像应用到去云任务的条件生成式对抗网络，利用被云污染的光学图像和SAR辅助图像生成无云和无雾的光学影像. USSRN-CR是一种新型的基于统一空间光谱特征的残差去云网络，将SAR图像作为辅助参考数据应用到光学遥感图像的云去除任务. 为便于对比分析，上述算法和本研究所提算法均在相同环境和数据集上进行训练. 将4个子数据集分别输入到对比方法和本文方法中进行训练，并将无云光学图像作为真值来计算损失. 如图3所示，为了对比分析不同方法的去云效果，在不同场景数据集中分别随机挑选了2张图片进行展示. 此外，由表2展示不同方法在不同子数据集上的定量评价结果. 由图3可知，在Thin_CI数据集中，这些方法在目视解译分析上均能取得一定的去云恢复效果. 相比之下，SAR-opt-cGAN和McGAN方法在某些图像上整体色调风格的校正能力稍差，但仍能完成基本的薄云去除任务. 由表2可以看出，4种方法在定量评价结果上相对接近.

图 3

图 3 不同方法在不同数据集上的去云结果对比

Fig.3 Comparison of cloud removal results across different methods on different datasets

表 2 不同方法在不同数据集上的定量评价结果

Tab.2 Quantitative evaluation results of different methods on different datasets

数据集	方法	PSNR/dB	RMSE	SSIM
Thin_CI	SAR-opt-cGAN	28.157 7	0.084 1	0.650 3
	McGAN	28.143 1	0.072 2	0.640 3
	USSRN-CR	29.195 5	0.073 8	0.706 4
	本文方法	29.880 3	0.068 4	0.793 4
Brok_CI	SAR-opt-cGAN	28.157 6	0.105 2	0.629 8
	McGAN	28.291 6	0.098 2	0.634 7
	USSRN-CR	29.898 1	0.068 9	0.721 1
	本文方法	31.499 8	0.059 6	0.812 7
LBrok_CI	SAR-opt-cGAN	28.105 9	0.087 8	0.566 4
	McGAN	28.200 4	0.100 1	0.560 8
	USSRN-CR	29.556 6	0.108 7	0.646 3
	本文方法	30.833 9	0.079 8	0.746 0
Thick_CI	SAR-opt-cGAN	28.059 9	0.071 4	0.474 8
	McGAN	28.040 6	0.085 6	0.409 7
	USSRN-CR	28.846 4	0.077 9	0.583 7
	本文方法	29.436 4	0.072 9	0.671 3

碎云以其高亮度、强遮挡的特性，能够完全遮挡地面物体. 在Brok_CI数据集中，SAR-opt-cGAN和USSRN-CR模型能够得到包含高频纹理信息的平滑恢复图像. 这2种方法总体上对小范围碎云的去除效果较好. 随着影像中碎云遮挡面积的增大，McGAN则逐渐表现出云块去除不干净、重建结果不合理等缺陷. 反观本文方法，既能够有效去除云块，又能够稳定恢复纹理细节. 从表2中可以看出，在碎云场景下，本文方法的优势显现出来.

随着云遮挡范围的增大，在LBrok_CI数据集中3种对比方法的去云效果明显下降. SAR-opt-cGAN和McGAN网络模型能够在一定程度上去除云. 但这2个模型采用的是生成对抗式结构，本身存在性能不稳定的缺陷，导致去云效果极不稳定且效果不佳. 此外，这2个模型对色彩空间信息不敏感，无法在去云的基础上将色调恢复得与目标图像一致. USSRN-CR模型的去云效果在整体上明显优于SAR-opt-cGAN和McGAN模型，但其纹理细节的恢复效果依然有限. 本文方法在该场景下仍然展现出较好的去云效果. 虽然在恢复大范围云遮挡的地物纹理细节时，与无云图像相比分辨率略有下降，但从去除效果和色调匹配上来看，本文方法优于其他3种对比方法.

在Thick_CI数据集中，影像的地物大部分或完全被云遮挡. 依靠近红外波段和RGB波段的McGAN方法虽然能够在一定程度上恢复纹理细节，但效果极差. SAR-opt-cGAN模型引入了SAR数据，能够在图像没有被完全遮挡的情况下恢复一些地物信息，但去云效果参差不齐，且极不稳定. USSRN-CR模型在去云效果上依然占有一定优势，但存在纹理细节恢复效果差等缺陷. 本文方法在该场景下展现出了不俗的去云效果. 不仅能够有效地去除云，还能够将图像色调与目标图像相匹配. 但由于受到SAR图像分辨率的影响，去云影像的分辨率相较于无云影像有所下降.

综合分析4种方法可知，由于SAR-opt-cGAN和McGAN利用了生成对抗式网络结构，而生成对抗式网络的图像生成和特征恢复性能不稳定，两者的去云性能较差. 不同的是，SAR-opt-cGAN融合了SAR真实的地物先验知识，能够在一定程度上恢复细节，但效果有限. 基于残差网络结构的USSRN-CR能够有效地去除影像中的云，但其恢复的细节信息丢失了大量的全局信息，且分辨率无法满足真正的业务需求. 相比之下，本文方法在薄云、碎云、厚云等场景下均能实现较好的去云效果. 由表2可以看出，4个场景下的平均PSNR值比对比方法中较好的USSRN-CR模型高出了1.038 4 dB，SSIM则高出了0.091 5.

3.4. 消融实验分析

3.4.1. 全局特征引导任务对去云效果的影响

通过调整全局特征引导任务是否参与最终的去云结果校正，分析该任务对网络去云效果的影响.

在薄云数据集(Thin_CI)和碎云数据集(Brok_CI)中，云的遮挡范围不大且有一定的透光性，使影像中保有大量可用的纹理细节信息. 在这种情况下，引入全局特征引导任务虽然能提升模型去云和缺失信息重建性能，但效果并不明显. 随着云厚度和覆盖面积的增大，未引入全局特征引导任务的模型虽然在大范围碎云数据集(LBrok_CI)和厚云数据集(Thick_CI)上能够去除影像中的云，但特征信息重建性能降低. 引入全局特征引导任务的模型，在不同场景下不仅能去除影像中的云，还能有效地重建云遮挡下缺失的纹理信息. 特别是在信息丢失严重的厚云场景中，引入全局特征引导任务的模型表现出更优秀的去云和缺失信息重建性能. 由表3可以看出，引入全局特征引导任务的模型在去云结果上显著提升，PSNR和SSIM分别提高了0.949 3 dB和0.034 0. 实验结果表明，全局特征引导任务有效地提高了模型在不同云场景下的去云和信息重建能力.

表 3 全局特征引导对去云效果的定量评价

Tab.3 Quantitative evaluation of cloud removal effect guided by global features

结构	数据集	PSNR/dB	RMSE	SSIM
无全局特征引导	Thin_CI	29.132 1	0.076 4	0.755 0
	Brok_CI	30.210 1	0.079 2	0.780 1
	LBrok_CI	29.615 8	0.097 6	0.718 2
	Thick_CI	28.895 3	0.101 5	0.634 4
有全局特征引导	Thin_CI	29.880 3	0.068 4	0.793 4
	Brok_CI	31.499 8	0.059 6	0.812 7
	LBrok_CI	30.833 9	0.079 8	0.746 0
	Thick_CI	29.436 4	0.072 9	0.671 3

3.4.2. 空谱特征推理重建模块不同结构的去云效果分析

本文方法的主干部分是将SSFIRB作为网络模型的基础块构建的. 由图2(a)可知，DAGC和CAB为SSFIRB的核心部分. 使用3×3卷积层分别替换SSFIRB中的DAGC和CAB，构建3个不同的对比结构（结构A：替换DAGC和CAB；结构B：只替换DAGC；结构C：只替换CAB），采用PSNR、RMSE和SSIM评价指标，对比分析不同结构对模型去云效果的影响.

结构B构建的模型不管是在薄云去除任务中还是厚云去除任务中，均表现出云遮挡区域信息丢失和非云区域信息分辨率降低的缺陷. 由表4可知，PSNR和SSIM指标均降低了，且去云结果与真值的相关性也有所降低. 结构C构建的模型在薄云和小范围碎云任务中能达到较好的效果，但随着非云区域信息量的减少，缺失信息重建能力在慢慢降低. 由定量评价结果可知，采用结构C构建的模型，去云结果在PSNR和SSIM评分上分别提高了0.164 4 dB和0.055 3，提升效果不明显. 当使用完整的SSFIRB时，模型不管是在薄云场景、碎云场景还是厚云场景，均能取得较好的云去除效果. 由表4可知，相较于结构A，模型在使用SSFIRB结构后，去云能力在4个数据集上的PSNR和SSIM平均值分别提高了0.895 1 dB和0.079 7，表明DAGC和CAB的组合有效提升了模型在厚云场景下的云下信息重建能力.

表 4 双激活门控卷积与通道注意力机制对云去除效果的定量评价

Tab.4 Quantitative evaluation of cloud removal effectiveness by dual-activation gated convolution and channel attention mechanisms

数据集	结构	PSNR/dB	RMSE	SSIM
Thin_CI	A	29.293 5	0.072 4	0.732 9
	B	28.737 0	0.095 2	0.689 1
	C	29.398 5	0.071 3	0.775 9
	SSFIRB	29.880 3	0.068 4	0.793 4
Brok_CI	A	30.362 1	0.064 0	0.726 2
	B	29.023 1	0.078 9	0.694 2
	C	30.646 7	0.069 1	0.793 0
	SSFIRB	31.499 8	0.059 6	0.812 7
LBrok_CI	A	29.983 1	0.087 6	0.676 2
	B	28.826 5	0.137 1	0.623 8
	C	29.728 6	0.136 0	0.721 4
	SSFIRB	30.833 9	0.079 8	0.746 0
Thick_CI	A	28.431 2	0.115 2	0.569 6
	B	28.219 8	0.111 6	0.575 2
	C	28.953 9	0.076 0	0.635 8
	SSFIRB	29.436 4	0.072 9	0.671 3

3.5. 讨论

3.5.1. SAR对去云效果的指导作用

为了验证SAR数据在去云效果上的指导作用，向全局特征引导结构输入不同的数据组合，包括纯光学图像、纯SAR图像以及SAR与光学图像融合后的图像. 在厚云数据集(Thick_CI)上对这3种数据组合进行对比测试. 由图4可以看出，SAR作为数据源封装的全局特征比其他2种组合方式更有利于网络恢复影像中厚云遮挡下的细节和纹理信息. 由表5中的定量评价结果也可以看出，仅将SAR封装成全局特征的方案在各项指标中均优于其他2种方案.

图 4

图 4 不同数据搭配方案对去云效果的影响

Fig.4 Impact of different data combination schemes on cloud removal performance

表 5 不同数据搭配方案对图像恢复的影响

Tab.5 Impact of different data combination schemes on image restoration

特征来源	PSNR/dB	RMSE	SSIM
光学数据	29.205 7	0.083 6	0.574 9
SAR	29.436 4	0.072 9	0.671 3
SAR+光学	29.256 8	0.077 8	0.580 2

3.5.2. 双激活门控卷积对云和非云像素的区分

分别用传统门控卷积和双激活门控卷积替换DeepLabV3+模型^[31]中的卷积层，以此来构建不同的模型. 对构建的3种模型在GF1_WHU数据集上的云提取效果进行对比分析，如表6所示，分析指标包括平均交并比(MIoU)、准确率(A)、精确率(P)和召回率(R). 可以看出，DAGC比普通卷积和传统门控卷积有更好的云提取效果，说明本研究所提双激活门控卷积（DAGC）对影像中的云和非云像素的区分效果优于传统卷积和普通门控卷积.

表 6 不同特征提取结构对云和非云的提取分析

Tab.6 Analysis of cloud and cloudless extraction using different feature extraction structures

特征提取结构	MIoU	A	P	R
CNN	0.895 9	0.959 2	0.883 8	0.949 4
GC	0.906 1	0.960 4	0.909 0	0.938 9
DAGC	0.907 7	0.964 8	0.915 5	0.934 7

3.5.3. 不同场景的鲁棒性分析

为了定量分析本文方法在不同云场景之间的迁移效果，以源数据集测试结果为基准，计算目标数据集上测试得分的变化幅度. 由图5和表7可知，当Thin_CI数据集训练后得到的模型直接迁移到Brok_CI、LBrok_CI、Thick_CI时整体去云效果不佳，在云透明度很低的厚云场景下无法有效完成去云任务. 相反，将Thick_CI数据集训练的模型直接应用到Thin_CI、Brok_CI、LBrok_CI数据集时，虽然去云效果有所下降，但仍能保持较好的云去除能力. 实验结果表明，在厚云数据集上训练的模型的泛化性能更强，能有效去除不同形态的云和不同覆盖范围的云.

图 5

图 5 本文方法在不同数据集上的迁移效果

Fig.5 Transfer effect comparison of proposed method across different datasets

表 7 本文方法在不同数据集上迁移效果定量评价

Tab.7 Quantitative evaluation of migration effect of proposed method on different datasets

训练集	测试集	ΔPSNR/dB	ΔRMSE	ΔSSIM
Thin_ CI	Thin_CI	—	—	—
	Brok_CI	−1.394 3	+0.004 3	−0.105 4
	LBrok_CI	−1.637 0	+0.030 1	−0.189 4
	Thick_CI	−1.545 9	+0.014 4	−0.226 0
Brok_ CI	Thin_CI	−3.350 4	+0.056 1	−0.144 8
	Brok_CI	—	—	—
	LBrok_CI	−2.764 5	+0.044 0	−0.154 2
	Thick_CI	−3.264 4	+0.040 9	−0.230 9
LBrok_ CI	Thin_CI	−2.699 2	+0.040 3	−0.123 4
	Brok_CI	−2.021 1	+0.012 7	−0.050 8
	LBrok_CI	—	—	—
	Thick_CI	−2.542 9	+0.037 8	−0.167 2
Thick_ CI	Thin_CI	−0.760 6	+0.010 1	−0.000 4
	Brok_CI	−0.677 3	+0.033 5	−0.001 4
	LBrok_CI	−0.633 6	+0.084 1	−0.012 6
	Thick_CI	—	—	—

4. 结　语

本研究提出融合SAR和光学数据的遥感影像厚云去除网络，该网络将SAR数据作为先验知识应用到光学遥感影像厚云去除任务中. 使用的双任务模式一方面从局部分离提取云和非云特征，并有效恢复云遮挡区域纹理特征；另一方面，将SAR封装成真实的全局特征以引导云遮挡区域纹理细节信息的特征修正. 此外，利用双激活门控卷积和通道注意力块组合搭建了新型的空谱特征推理重建模块，该模块能够隐式地区分云和非云像素并推理重建云遮挡区域缺失特征. 为了验证本文方法在不同云覆盖情况下的去云效果，根据云形态、覆盖比例等因素将SEN12MS-CR-TS数据集拆分成了4个子数据集. 本文方法在4个子数据集上的去云效果明显优于其他3种对比方法，且在PSNR和SSIM上比先进的对比方法高出1.038 4 dB和0.091 5. 总体来说，本文方法在厚云场景下的去云效果明显.在未来的研究中，考虑将其他类别的数据源应用到光学遥感影像去云任务中，探索更高效的厚云去除网络模型.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

GAO X, ZHANG G, YANG Y, et al

Two-stage domain adaptation based on image and feature levels for cloud detection in cross-spatiotemporal domain

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 5610517

[2]

CHANG J, GAO X, YANG Y, et al

Object-oriented building contour optimization methodology for image classification results via generalized gradient vector flow snake model

[J]. Remote Sensing, 2021, 13 (12): 2406

DOI:10.3390/rs13122406

[3]

宦海, 盛宇, 顾晨曦

基于遥感图像道路提取的全局指导多特征融合网络

[J]. 浙江大学学报: 工学版, 2024, 58 (4): 696- 707

HUAN Hai, SHENG Yu, GU Chenxi

Global guidance multi-feature fusion network based on remote sensing image road extraction

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (4): 696- 707

[4]

ZHANG G, GAO X, YANG Y, et al

Controllably deep supervision and multi-scale feature fusion network for cloud and snow detection based on medium- and high-resolution imagery dataset

[J]. Remote Sensing, 2021, 13 (23): 4805

DOI:10.3390/rs13234805 [本文引用: 1]

[5]

HAN S, WANG J, ZHANG S

Former-CR: a transformer-based thick cloud removal method with optical and SAR imagery

[J]. Remote Sensing, 2023, 15 (5): 1196

DOI:10.3390/rs15051196 [本文引用: 3]

[6]

KING M D, PLATNICK S, MENZEL W P, et al

Spatial and temporal distribution of clouds observed by MODIS onboard the terra and aqua satellites

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51 (7): 3826- 3852

DOI:10.1109/TGRS.2012.2227333 [本文引用: 1]

[7]

陈津乐, 张锦水, 段雅鸣, 等

中分辨率遥感影像云检测与厚云去除研究综述

[J]. 遥感技术与应用, 2023, 38 (1): 143- 155

CHEN Jinle, ZHANG Jinshui, DUAN Yaming, et al

A review of cloud detection and thick cloud removal in medium resolution remote sensing images.

[J]. Remote Sensing Technology and Application, 2023, 38 (1): 143- 155

DOI:10.1016/j.isprsjprs.2020.05.013 [本文引用: 2]

[8]

MAO R, LI H, REN G, et al

Cloud removal based on SAR-optical remote sensing data fusion via a two-flow network

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 7677- 7686

DOI:10.1109/JSTARS.2022.3203508 [本文引用: 1]

[9]

CHEN Y, TANG L, YANG X, et al

Thick clouds removal from multitemporal ZY-3 satellite images using deep learning

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 143- 153

DOI:10.1109/JSTARS.2019.2954130 [本文引用: 1]

[10]

LI W, LI Y, CHAN J

Thick cloud removal with optical and SAR imagery via convolutional-mapping-deconvolutional network

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58 (4): 2865- 2879

DOI:10.1109/TGRS.2019.2956959 [本文引用: 1]

[11]

SHEN H, LI X, CHENG Q, et al

Missing information reconstruction of remote sensing data: a technical review

[J]. IEEE Geoscience and Remote Sensing Magazine, 2015, 3 (3): 61- 85

DOI:10.1109/MGRS.2015.2441912 [本文引用: 1]

[12]

MERANER A, EBEL P, ZHU X, et al

Cloud removal in Sentinel-2 imagery using a deep residual neural network and SAR-optical data fusion

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 166: 333- 346

[13]

HOAN N, TATEISHI R

Cloud removal of optical image using SAR data for ALOS applications: experimenting on simulated ALOS data

[J]. Journal of The Remote Sensing Society of Japan, 2009, 29 (2): 410- 417

DOI:10.1016/j.isprsjprs.2020.02.008 [本文引用: 1]

[14]

LEE S, CHO M, LEE C

An effective gap filtering method for Landsat ETM plus SLC-off data

[J]. Terrestrial Atmospheric and Oceanic Sciences, 2016, 27 (6): 921- 932

DOI:10.3319/TAO.2016.07.18.02 [本文引用: 1]

[15]

LIN C, TSAI P, LAI K, et al

Cloud removal from multitemporal satellite images using information cloning

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51 (1): 232- 241

DOI:10.1109/TGRS.2012.2197682 [本文引用: 1]

[16]

KALKAN K, MAKTAV M D

A cloud removal algorithm to generate cloud and cloud shadow free images using information cloning

[J]. Journal of the Indian Society of Remote Sensing, 2018, 46 (8): 1255- 1264

DOI:10.1007/s12524-018-0806-y [本文引用: 1]

[17]

MELGANI F

Contextual reconstruction of cloud-contaminated multitemporal multispectral images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44 (2): 442- 455

DOI:10.1109/TGRS.2005.861929 [本文引用: 1]

[18]

ZHU X, GAO F, LIU D, et al

A modified neighborhood similar pixel interpolator approach for removing thick clouds in Landsat images

[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9 (3): 521- 525

DOI:10.1109/LGRS.2011.2173290 [本文引用: 1]

[19]

MENG Q, BORDERS B E, CIESZEWSKI C J, et al

Closest spectral fit for removing clouds and cloud shadows

[J]. Photogrammetric Engineering and Remote Sensing, 2009, 75 (5): 569- 576

DOI:10.14358/PERS.75.5.569 [本文引用: 1]

[20]

ZHANG Q, YUAN Q, ZENG C, et al

Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56 (8): 4274- 4288

DOI:10.1109/TGRS.2018.2810208 [本文引用: 1]

[21]

ZHANG Q, YUAN Q, LI J, et al

Thick cloud and cloud shadow removal in multitemporal imagery using progressively spatio-temporal patch group deep learning

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 148- 160

[22]

ZHANG L, ZHANG M, SUN X, et al

Cloud removal for hyperspectral remotely sensed images based on hyperspectral information fusion

[J]. International Journal of Remote Sensing, 2018, 39 (20): 6646- 6656

DOI:10.1080/01431161.2018.1466068 [本文引用: 2]

[23]

XU T, GAO X, YANG Y, et al

Construction of a semantic segmentation network for the overhead catenary system point cloud based on multi-scale feature fusion

[J]. Remote Sensing, 2022, 14 (12): 2768

DOI:10.3390/rs14122768 [本文引用: 1]

[24]

郭承乾, 马刚, 梅江洲, 等

基于InSAR与多源数据融合的堆石坝外观变形重构

[J]. 浙江大学学报: 工学版, 2022, 56 (2): 347- 355

GUO Chengqian, MA Gang, MEI Jiangzhou, et al

Exterior deformation reconstruction of rockfill dam based on InSAR and multi-source data fusion

[J]. Journal of Zhejiang University: Engineering Science, 2022, 56 (2): 347- 355

[25]

GROHNFELDT C, SCHMITT M, ZHU X. A conditional generative adversarial network to fuse SAR and multispectral optical data for cloud removal from Sentinel-2 images [C]// IEEE International Geoscience and Remote Sensing Symposium . Valencia: IEEE, 2018: 1726–1729.

[本文引用: 2]

[26]

WANG Y, ZHANG B, ZHANG W, et al

Cloud removal with SAR-optical data fusion using a unified spatial-spectral residual network

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 5600820

[本文引用: 2]

[27]

LIU Y, WANG X, WANG L, et al

A modified leaky ReLU scheme (MLRS) for topology optimization with multiple materials

[J]. Applied Mathematics and Computation, 2019, 352: 188- 204

DOI:10.1016/j.amc.2019.01.038 [本文引用: 1]

[28]

CHEN L, CHU X, ZHANG X, et al. Simple baselines for image restoration [C]// European Conference on Computer Vision . Tel Aviv: Springer, 2022: 17–33.

[29]

EBEL P, XU Y, SCHMITT M, et al

SEN12MS-CR-TS: a remote sensing data set for multi-modal multi-temporal cloud removal

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1- 14

[30]

LI Z, SHEN H, LI H, et al

Multi-feature combined cloud and cloud shadow detection in GaoFen-1 wide field of view imagery

[J]. Remote Sensing of Environment, 2017, 191: 342- 358

DOI:10.1016/j.rse.2017.01.026 [本文引用: 1]

[31]

CHEN L, ZHU Y, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation [C]// European Conference on Computer Vision . Munich: Springer, 2018: 801–818.

[本文引用: 2]

[32]

LOSHCHILOV I, HUTTER F. SGDR: stochastic gradient descent with warm restarts [EB/OL]. (2017–05–03)[2025–03–13]. https://arxiv.org/abs/1608.03983.

[33]

ENOMOTO K, SAKURADA K, WANG W, et al. Filmy cloud removal on satellite imagery with multispectral conditional generative adversarial nets [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu: IEEE, 2017: 48–56.