高光谱遥感图像光谱信息丰富，已广泛应用于目标检测^[1]、环境监测^[2]和场景分类^[3]，但空间分辨率较低. 全色图像空间分辨率高，通过全色锐化技术可将纹理细节融入高光谱图像，以提升空间分辨率^[4]. 当前，高光谱图像全色锐化方法主要分为传统方法和深度学习方法. 传统方法中，成分替代法（component substitution, CS）^[5-7]实现简单但易造成光谱失真，多分辨率分析法（multiresolution analysis, MRA）^[8-10]光谱保真度较高但可能出现边缘模糊，基于模型优化法（model-based optimization, MBO）^[11]融合效果好但依赖先验信息. 针对这些局限，深度学习方法逐渐兴起. 其中，以卷积神经网络（convolutional neural network, CNN）为代表的模型^[12-16]通过频谱预测、多尺度细节提取、注意力及残差重建等策略不断提升融合性能. 近期，扩散模型^[17]也被引入全色锐化，利用互补信息融合^[18]、双分支调控^[19]及Transformer频谱先验^[20]等技术，进一步提升了空谱一致性.

现有方法虽取得显著进展，但仍面临以下挑战. 1）将高光谱图像直接上采样至全色图像分辨率，易导致空谱失配，引发空间伪影与光谱畸变. 2）高光谱与全色图像在特征分布上的异构性使两者难以实现深层空谱协同融合，空间细节注入过程中易破坏光谱一致性. 3）多尺度特征多以简单拼接或直接上采样方式整合，缺乏由粗到精的渐进式重建，难以充分发挥多尺度协同的优势.

针对上述问题，本文系统构建多尺度空谱特征协同的高光谱图像全色锐化网络. 设计双向金字塔多尺度对齐结构，对高光谱图像逐级上采样，对全色图像逐级下采样，在输入阶段构建各尺度上空间分辨率一致的高光谱-全色图像对. 提出空谱特征挖掘增强模块，利用多尺度交叉注意力建立不同感受野下的空谱对应关系，并同步约束光谱通道响应. 构建渐进式多尺度空谱重建模块，该模块按照从低分辨率到高分辨率的顺序，逐级引入融合特征，并在各尺度重建中通过特征强化约束空谱一致性，实现空间恢复与光谱保持的动态平衡. 实验结果表明，所提方法在2个数据集上均取得最优的主客观性能，消融实验也验证了各模块的有效性.

针对高光谱图像全色锐化中存在的空谱失配、异构特征协同建模困难以及多尺度信息利用不充分等问题，提出多尺度空谱特征协同的高光谱图像全色锐化网络模型. 网络的整体结构如图1所示. 该网络由3个主要模块组成：双向金字塔多尺度对齐结构（bidirectional pyramid multi-scale alignment structure, BPMAS）、空谱特征挖掘增强（spatial-spectral feature enhancement, SSFE）模块以及渐进式多尺度空谱重建（progressive multi-scale spatial-spectral reconstruction, PMSR）模块. BPMAS用于在多个尺度上对高光谱图像与全色图像进行空间对齐，以减少几何与光谱的失配. SSFE模块被设计用于深层空谱特征提取与联合建模，其内部主要由4个子模块构成：多尺度交叉注意与残差增强（multi-scale cross-attention residual enhancement, MSCARE）块、空间-光谱特征挖掘（spatial-spectral feature mining, SSFM）块、滑动窗口融合（shifted window fusion, SWF）块和光谱注意力（spectral attention, SA）块. 其中，MSCARE块主要负责不同感受野下的空间结构特征提取和增强. SSFM块通过联合挖掘空间位置与光谱通道之间的响应关系，在特征层次上增强空谱一致性. SWF块主要用于增强不同空间区域之间的结构一致性. SA块在输出端对光谱通道进行自适应加权，以抑制光谱偏移. PMSR模块主要负责对多尺度空谱融合特征进行由粗到精的整合与重建，生成高分辨率且光谱一致的融合图像.

在典型的高光谱全色锐化任务中，高光谱图像与全色图像在空间分辨率上通常存在一定比例差异，将该空间分辨率差异因子记为S. 为了避免直接上采样带来的空谱失配与信息损失，构建BPMAS，在多个尺度上实现空间与光谱特征的协同对齐与融合.

具体来说，对输入的高光谱图像$ {\boldsymbol{H}}_{1} $进行2次上采样操作，对全色图像$ {\boldsymbol{P}}_{3} $执行2次降采样操作，从而在3个尺度上（1×、$ \sqrt{S} $×、S×）形成了空间分辨率一致的图像对. 通过上述方式构建的多尺度输入对在输入端实现了空谱特征的几何对齐，有效避免了直接上采样带来的空谱失配与伪影风险.

对齐后的多尺度图像对被送入SSFE模块，通过“提取-挖掘-融合-增强”的空谱特征流，实现了异构空谱信息的逐层建模与深层协同表达，并获得3个尺度下的深层空谱特征表示. 所得的多尺度特征被送入PMSR模块进行整合，在恢复空间细节的同时保持光谱一致性，最终生成高质量的高分辨率高光谱图像$ \overline{\boldsymbol{H}} $.

由于高光谱图像与全色图像在成像机理和特征分布上存在显著异构性，空谱信息难以通过简单卷积或特征拼接实现有效融合. 为了实现深层空谱交互并保持光谱一致性，构建空谱特征挖掘增强模块，如图1(b)所示. 该模块遵循“提取-挖掘-融合-增强”的空谱协同特征流，依次由MSCARE块、SSFM块、SWF块和SA块组成. 这4个子模块协同作用，实现了空谱特征的逐层挖掘，有效增强了空谱特征.

在遥感图像中，常存在多种尺度的地物信息. 若只采用单一尺度的卷积核来提取特征，则模型对复杂信息的捕捉能力会受到限制，可能导致细节特征丢失. 为了解决这一问题，并受到Guan等^[21-22]工作的启发，本文提出MSCARE块. 该块的主要功能是在多个感受野尺度下并行获取空间结构特征，并通过不同尺度间的信息交互来增强空间特征表达的稳定性和完整性.

MSCARE块的具体结构如图2所示. 该模块通过采用不同尺寸卷积核提取多尺度感受野下的特征信息，主要包括2个并行分支. 第1个分支为多尺度注意力提取分支（即图2中的上方支路），该分支包含3个不同大小的卷积核（5×5、7×7和9×9），这种设计有助于保留不同尺度感受野下的局部信息，使网络在特征提取时能够捕捉多尺度的图像特征. 为了增强不同尺度感受野之间的信息交互，避免特征融合过程中的过度耦合或模态偏差，该分支采用多尺度交叉注意力机制对特征进行进一步处理，以保证所获取特征的准确性. 通过上述设计，MSCARE块能够在多尺度条件下自适应整合不同感受野的结构响应，从而为后续的空谱融合提供丰富的空间特征表示. 第2个分支为残差增强分支（即图2中的下方支路），该分支通过多个3×3卷积块串联，并引入跨层残差连接，有效抑制了深层网络中的梯度消失与特征退化现象，进一步增强了网络的特征提取能力，减少了特征提取过程中的信息损失，从而提升了模块在特征提取过程中的性能.

提出的MSCARE块数学描述如下.

(1)$ \boldsymbol{F}_{1}^{\text{P}}={C}_{1}({\mathrm{C}}{{\mathrm{A}}}_{1}({C}_{9}({\boldsymbol{P}}_{i})))+{C}_{9}({\boldsymbol{P}}_{i}), $

(2)$ \boldsymbol{F}_{1}^{\text{H}}={C}_{1}({\mathrm{C}}{{\mathrm{A}}}_{1}({C}_{9}({\boldsymbol{H}}_{i})))+{C}_{9}({\boldsymbol{H}}_{i}), $

(3)$ \boldsymbol{F}_{2}^{\text{P}}={C}_{1}({\mathrm{C}}{{\mathrm{A}}}_{2}({C}_{5}(\boldsymbol{F}_{1}^{\text{P}})))+{C}_{5}(\boldsymbol{F}_{1}^{\text{P}}), $

(4)$ \boldsymbol{F}_{2}^{\text{H}}={C}_{1}({\mathrm{C}}{{\mathrm{A}}}_{2}({C}_{5}(\boldsymbol{F}_{1}^{\text{H}})))+{C}_{5}(\boldsymbol{F}_{1}^{\text{H}}), $

(5)$ \boldsymbol{P}_{{}_{i}}^{\text{MSCARE}}={C}_{1}({\mathrm{Concat}}({\mathrm{R}}{{\mathrm{E}}}_{3}({\boldsymbol{P}}_{i})+{C}_{7}(\boldsymbol{F}_{2}^{\text{P}}))), $

(6)$ \boldsymbol{H}_{{}_{i}}^{\text{MSCARE}}={C}_{1}({\mathrm{Concat}}({\mathrm{R}}{{\mathrm{E}}}_{3}({\boldsymbol{H }}_{i})+{C}_{7}(\boldsymbol{F}_{2}^{\text{H}}))). $

式中：$ {C}_{1}(\cdot ) $、$ {C}_{3}(\cdot ) $、$ {C}_{5}(\cdot ) $、$ {C}_{7}(\cdot ) $、$ {C}_{9}(\cdot ) $分别表示卷积核大小为1、3、5、7、9的卷积运算，$ {\mathrm{R}}{{\mathrm{E}}}_{3}(\cdot ) $表示卷积核大小为3的第2个分支的残差增强运算，$ \boldsymbol{H}_{{}_{i}}^{\text{MSCARE}} $和$ \boldsymbol{P}_{{}_{i}}^{\text{MSCARE}} $分别为不同尺度i下的MSCARE块输出，$ {\boldsymbol{H}}_{i} $和$ {\boldsymbol{P}}_{\boldsymbol{i}} $分别为BPS提取到的第i组图像对，$ {\mathrm{Concat}}(\cdot ) $表示沿通道的拼接操作，$ {\mathrm{C}}{{\mathrm{A}}}_{1}(\cdot ) $和$ {\mathrm{C}}{{\mathrm{A}}}_{2}(\cdot ) $分别表示9×9和5×5卷积后的多尺度交叉注意力操作，$ \boldsymbol{F}_{1}^{\text{P}} $、$ \boldsymbol{F}_{1}^{\text{H}} $和$ \boldsymbol{F}_{2}^{\text{P}} $、$ \boldsymbol{F}_{2}^{\text{H}} $分别为9×9和5×5卷积后的多尺度交叉注意力再经1×1卷积降维后的输出. 以位于全色图像分支之后的MSCARE块为例，其中的多尺度交叉注意力结构如图3所示.

具体来说，为了使网络能够更精细地提取特征，在上述9×9和5×5卷积分支后分别并行采用3个卷积（卷积核大小分别为5×5、7×7和9×9）来进一步处理特征. 引入交叉注意机制以增强特征的表示能力. 以9×9卷积分支后的多尺度交叉注意力为例，将7×7卷积提取的中等感受野特征作为查询向量Q，而5×5卷积（较小感受野）和9×9卷积（较大感受野）提取的特征分别作为键向量K和值向量V，实现多尺度信息的协同建模. 特征间的交叉注意力可以描述为

(7)$ {\boldsymbol{f}}_{{\mathrm{ca1}}}={\mathrm{softmax}}\;\left(\frac{{\boldsymbol{Q}}_{1}{({{\boldsymbol{K}}_{1}^{{\mathrm{T}}}})}}{c}\right){\boldsymbol{V}}_{1}+{C}_{5}({C}_{9}({\boldsymbol{P}}_{i})), $

(8)$ {\boldsymbol{f}}_{\text{ca}2}={\mathrm{softmax}}\;\left(\frac{{\boldsymbol{Q}}_{2}{({{\boldsymbol{K}}_{2}^{{\mathrm{T}}}})}}{c}\right){\boldsymbol{V}}_{2}+{C}_{9}({C}_{9}({\boldsymbol{P}}_{i})), $

(9)$ {\boldsymbol{F}}_{\text{CA1}}={\mathrm{Concat}}\;({\boldsymbol{f}}_{\text{ca}1},{\boldsymbol{f}}_{{\mathrm{ca2}}},{C}_{7}({C}_{9}({\boldsymbol{P}}_{i}))). $

式中：$ c $为缩放因子，$ {\boldsymbol{f}}_{\text{ca}1} $和$ {\boldsymbol{f}}_{\text{ca}2} $分别为单个交叉注意力的输出，$ {\boldsymbol{F}}_{\text{CA1}} $为多尺度交叉注意力的输出.

为了更好地捕获高光谱图像与全色图像在空间和光谱上的特征关联，并减少冗余特征对融合过程的影响，采用Zhang等^[23]提出的SSFM结构.

该模块的具体结构如图4所示. 该模块由光谱特征挖掘子模块和空间特征挖掘子模块并行连接而成. 该模块利用注意力机制在通道和空间2个维度上建立空间-光谱特征的响应关系，从而在充分挖掘光谱特征的同时，显著提升网络对空间结构的感知能力.

在光谱特征挖掘子模块中，输入特征并行通过3个卷积核大小为1的标准卷积和3个卷积核大小为3的深度可分离卷积，生成Q、K、V特征. 空间特征挖掘子模块的结构与光谱特征挖掘子模块类似，主要区别在于后处理步骤：在获得Q、K、V特征后，空间特征挖掘模子模块对特征维度进行重新排列，将其从C×HW转换为HW×C，从而使自注意力计算沿空间维度展开. 通过该空间维度重映射操作，模型能够显式建模不同空间位置之间的相关性，从而突出结构一致区域并抑制空间冗余响应. 通过光谱特征挖掘模子模块和空间特征挖掘模子模块得到的输出经过通道交叉连接和合并后，利用1×1卷积进行降维处理，最终通过卷积核大小为3×3的门控卷积减少冗余信息，得到SSFM块的输出，为后续融合提供更丰富的信息支持.

为了进一步增强网络在空谱细节上的协同表达，基于Swin Transformer^[24]构建SWF块，以实现空谱信息的融合. 不同于SwinFuse中的堆叠结构，仅采用单层滑动窗口来实现特征的融合. 此外，为了在融合过程中更有效地传递信息，本模块还加入残差结构来增强融合效果，使模型能够更专注于图像细节信息的学习.

SWF块的整体结构如图5所示. 利用卷积核大小为3×3的卷积层来整合浅层特征，采用滑动窗口块进行全局特征提取. 如图5（b）所示，滑动窗口块是由1个Swin Transformer层、1个卷积块和跳跃连接组成. Swin Transformer层的结构如图5（c）所示. 利用自注意力机制，Swin Transformer能够有效地捕获特征间的长距离依赖关系，以增强全局信息提取能力. 该过程有助于在保持局部结构细节的同时，强化不同空间区域之间的结构一致性.

对高光谱图像中众多波段光谱特征的有效提取是融合锐化的关键. 为了避免融合图像中的光谱失真，本文网络模型设计了SA块，以确保生成的高光谱锐化图像具有正确的光谱信息. SA块如图1(c)所示. 对输入的高光谱图像进行池化操作，以聚合信息. 经过卷积操作及sigmoid激活函数处理，获得通道注意力权重. 将通道注意力权重与滑动窗口融合块的输出进行逐通道相乘，从而增强重要通道的特征表示，有效避免光谱偏移风险.

为了整合上述多尺度特征，提出PMSR模块，用以生成高空间分辨率的高光谱图像，结构如图1(d)所示. 该模块将3个尺度的融合结果逐级整合，实现由粗到细的特征重建.

将第1级尺度融合结果$ {\overline{\boldsymbol{H}}}_{1} $上采样$ \sqrt{S} $倍之后，与第2级尺度融合结果$ {\overline{\boldsymbol{H}}}_{2} $进行整合，并利用图1(d)所示的特征强化模块进行多尺度信息的融合，以生成融合结果$ \boldsymbol{F} $.

生成的融合结果$ \boldsymbol{F} $再进行$ \sqrt{S} $倍上采样后，与第3级尺度的融合结果$ {\overline{\boldsymbol{H}}}_{3} $进行整合，再次通过特征强化模块进行信息的集成，这一过程可以进一步增强不同尺度信息之间的关联性. S倍上采样后的高光谱图像通过跳跃连接添加到最终的输出中，以补偿提取过程中缺失的低频信息，从而保证低频光谱成分在多尺度重建过程中不受高频空间信息注入的破坏.

提出的PMSR模块通过逐尺度的特征融合策略，实现了由粗到细的空间细节增强，同时确保低频光谱信息的完整性，使最终融合图像在空间分辨率提升的同时保持良好的光谱一致性.

为了确保本文模型的锐化融合结果在空间纹理细节和光谱保真度方面的优异性能，提出局部-全局综合损失函数以优化网络训练. 鉴于本文方法会生成3个不同尺度的特征融合图，采用多尺度局部损失来最小化每个尺度输出图像与参考图像之间的误差. 该局部损失函数$ {\text{Loss}}_{\text{local}} $可以定义为

(10)$\begin{split} {\text{Loss}}_{\text{local}}=&\frac{{\alpha }_{1}}{M}\sum \limits_{i=1}^{M}{\left|\left|\boldsymbol{G}-{\boldsymbol{H}}_{3}\right|\right|}_{1}+\frac{{\alpha }_{2}}{M}\sum \limits_{i=1}^{M}{\left|\left|{\boldsymbol{G}}_{\sqrt{S}\downarrow }-{\boldsymbol{H}}_{2}\right|\right|}_{1}+\\&\frac{{\alpha }_{3}}{M}\sum \limits_{i=1}^{M}{\left|\left|{\boldsymbol{G}}_{S\downarrow }-{\boldsymbol{H}}_{1}\right|\right|}_{1}.\\[-1pt]\end{split} $

式中：$ {\left|\left|\cdot \right|\right|}_{1} $表示1阶范数；$ M $为训练样本的数量；$ \boldsymbol{G} $表示原始高光谱地面参考图像，$ {\boldsymbol{G}}_{\sqrt{S}\downarrow } $和$ {\boldsymbol{G}}_{S\downarrow } $分别表示下采样$ \sqrt{S} $倍和下采样S倍的参考图像；$ {\alpha }_{1} $、$ {\alpha }_{2} $、$ {\alpha }_{3} $分别为局部损失中的超参数，用于调节不同尺度下融合结果的权重.

为了确保最终锐化融合结果的可靠性，还须计算最终重建图像与参考图像之间的全局损失. 全局损失函数$ {\text{Loss}}_{\text{global}} $定义为

(11)$ {\text{Loss}}_{\text{global}}=\sum \limits_{i=1}^{N}{\left|\left|\boldsymbol{G}-\overline{\boldsymbol{H}}\right|\right|}_{1}. $

式中：$ N $为训练样本的数量，$ \overline{\boldsymbol{H}} $为最终融合的高空间分辨率高光谱图像.

总损失函数由局部损失与全局损失共同构成，

(12)$ {\text{Loss=Loss}}_{\text{local}}+\beta {\text{Loss}}_{\text{global}}. $

式中：$ \beta $为总损失的超参数，用于调整局部与全局损失函数之间的数量级差异.

通过局部损失与全局损失的联合，能够在各个尺度对所提网络模型的训练进行监督，使锐化融合结果在保留图像结构的同时，增强空谱特征学习能力.

在4个不同高光谱数据集上开展对比实验和消融实验，评估所提网络模型的有效性.

本文模型基于PyTorch-2.2.0和Python-3.10.15平台编码实现，并在Intel(R) Core(TM) i7-13700KF CPU和NVIDIA GeForce GTX 4080 GPU上训练. 网络训练采用Adam优化器，共进行500轮，初始学习率设为0.0001，并在第400轮后降至0.000 01. 根据高光谱与全色图像的典型空间分辨率比例，空间尺度因子S设为4. 在损失函数方面，多尺度局部损失权重$ {\alpha }_{1} $、$ {\alpha }_{2} $、$ {\alpha }_{3} $分别为0.6、0.3、0.1，总损失中权重$ \beta $为0.9. 为了确保实验公平，所有基于深度学习的对比方法均采用原文参数设置，并在本文数据集上重新训练.

为了评估所提网络在全色锐化任务中的性能，对比实验在2个高光谱数据集Pavia Center和Houston上进行. 为了保证公平性并验证算法的鲁棒性，所有消融实验均在另外2个独立数据集Chikusei和Botswana上开展.

Pavia Center数据集：该数据集由ROSIS传感器采集，包含115个可见光和近红外波段. 在去除噪声波段后，实际用于训练的波段为102个，地物类型以建筑物为主.

Houston数据集：该数据集覆盖休斯顿大学校园及其周边社区范围，包含144个可见光和近红外光谱波段.

Chikusei数据集：该数据集由Headwall Hyperspec-VNIR-C成像传感器拍摄于日本筑西市，包含可见光和近红外共128个波段.

Botswana数据集：该数据集由Hyperion卫星在博兹瓦纳Okavango三角洲区域采集，场景以沼泽和植被为主. 原始数据包含242个光谱波段，去除噪声波段后保留145个有效波段.

为了验证所提方法的有效性，在2个高光谱数据集上将所提方法与12种具有代表性的高光谱图像锐化融合方法进行系统性的对比，其中包括5种经典的传统方法（CS类方法IHS^[6]、BDSD-PC^[8]、Brovey^[25]；MRA类方法MTF-GLP-FS^[11]；MBO类方法HySURE^[26]）以及7种深度学习方法（HyperPNN^[16]、DHP-DARN^[19]、DIP-HyperKite^[20]、HyperDSNet^[18]、PLRDiff^[27]、HP-MFDN^[28]和RAMSF^[29]）.

由于数据集缺乏真实的全色图像，实验采用降低分辨率评价策略. 具体而言，使用原始的高光谱图像作为参考真值，根据Wald准则^[30]，将原始高光谱图像经高斯模糊及降采样处理，生成低分辨率的高光谱图像作为待融合输入. 全色图像通过对原始高光谱图像的可见光波段求平均来模拟生成. 在本实验中，采用通用图像质量指标（universal image quality index, UIQI）^[31]、光谱映射角（spectral angle mapper, SAM）^[32]、均方根误差（root mean squared error, RMSE）^[33]、相对无量纲全局误差（erreur relative globale adimensionnelle de synthese, ERGAS）^[34]、峰值信噪比（peak signal-to-noise ratio, PSNR）^[35]和空间相关系数（spatial correlation coefficient, SCC）^[36]共6项定量评价指标，评估锐化融合质量. 其中，SAM、ERGAS和RMSE等指标越低越好，而UIQI、SCC和PSNR等指标则越高越优.

如图6所示为不同锐化方法在Pavia Center数据集上的融合结果与误差∆S_fr图. 其中，IHS、BDSD-PC和Brovey在空间细节注入方面具有一定优势，但均存在明显的光谱畸变：BDSD-PC图像整体色调偏灰，IHS和Brovey整体偏红色，均未准确还原原始高光谱图像的光谱信息. MTF-GLP-FS在建筑物区域色彩偏暗，而HySURE在空间纹理信息方面明显欠缺. 基于深度学习的方法整体上优于传统方法，能够更有效地兼顾空间与光谱特性. 部分方法（如PLRDiff、HyperPNN、DHP-DARN和DIP-HyperKite）在图像放大后，仍可在建筑物边缘处观察到伪影，且局部对比度偏低. 从图6也可以看出，传统融合方法普遍存在较明显的失真，而本文方法在所有对比方法中误差最小，表明本文方法的融合结果与参考图像最接近.

如表1所示为各种方法在Pavia Center数据集上的定量评价结果，其中最优值用加粗表示，次优值以下划线表示. 可以看出，传统方法在各项指标上的表现均不如深度学习方法，尤其SAM指标整体偏高. 本文方法在所有6个指标中均获得最优结果，证明其能够有效提高图像空间分辨率，并较好地避免光谱失真.

如图7所示为各种方法在Houston数据集上的对比结果. 可以看出，IHS、BDSD-PC、Brovey、MTF-GLP-FS、HySURE以及DHP-DARN等方法的融合结果中存在较明显的光谱畸变或细节丢失，尤其在植被区域，这些方法整体色彩偏暗，且结构模糊. PLRDiff、DIP-HyperKite与HP-MFDN也出现了一定程度的空间细节模糊，这主要是因为植被区域过度平滑，纹理信息缺失. 本文方法在房屋建筑与植被区域的重建效果更清晰，纹理细节得到良好保留. 表1中的定量评估结果进一步印证了主观视觉评估，表明本文方法在所有评价指标上均获得最优值. 从图7也可以看出本文方法最接近参考真值图像，验证了所提模型在重建空间细节和保留光谱信息方面的有效性.

为了进一步观察融合重建后的高光谱图像与参考高光谱图像在光谱维度上的差异，图8展示了随机选择的像元点光谱曲线与参考图像光谱曲线之间的差异值ΔS_b随波段索引b变化的曲线，为了便于观察，仅展示连续波段子区间内的结果. Pavia Center数据集的差异曲线如图8(a)所示， Houston数据集的结果如图8(b)所示. 从图8可以看出，本文方法的光谱误差最小，这证明本文方法在光谱信息保留方面效果最佳.

为了验证本文网络模型中各个子模块的有效性，在Chikusei和Botswana数据集上开展一系列消融实验，分析不同尺度融合策略及各功能子模块对融合性能的影响.

为了验证本文多尺度融合策略的合理性与必要性，在保持网络结构及训练策略不变的前提下，对不同尺度组合进行对比分析. 构建仅采用单一尺度（S×）融合的模型，以及包含2种尺度的双尺度模型，即低-高（1×+S×）、中-高（$ \sqrt{S} $×+S×）和低-中（1×+$ \sqrt{S} $×）；此外，引入低、中、高3个尺度协同融合的多尺度模型（1×+$ \sqrt{S} $×+S×），即本文的完整方案. 为了验证增加中间尺度特征层级是否能够提升融合性能，构建四尺度模型（1×+$ \sqrt{S} $×+$ \sqrt{S} $×+S×），即在中间尺度重复引入一层$ \sqrt{S} $尺度特征. 对上述各尺度组合的融合结果均进行定量评估，结果汇总于表2.

从表2可以看出，仅采用单一尺度（S×）进行融合时，模型在UIQI和PSNR指标上能够取得相对较高的数值，但在光谱相关指标SAM与ERGAS上仍存在不足，说明在单一尺度条件下空间-光谱信息交互不足，融合稳定性有限. 在双尺度融合情形下，不同尺度组合之间表现出显著差异. 其中，低-中尺度组合（1×+$ \sqrt{S} $×）在各项指标上均处于较低水平，整体性能明显劣于其他尺度组合. 包含S×尺度的双尺度组合（$ \sqrt{S} $×+S×）在SAM和RMSE指标上较单尺度（S×）有一定改善. 当同时引入3个尺度（1×+$ \sqrt{S} $×+S×）进行融合时，模型在各项评价指标上均获得最优结果，这表明低、中、高3种尺度之间能够形成更加充分的跨尺度信息互补与协同建模机制，有效增强空谱特征耦合能力与重建稳定性. 在四尺度模型（1×+$ \sqrt{S} $×+$ \sqrt{S} $×+S×）中，尽管整体性能较部分双尺度组合有所提升，但并未超过三尺度协同模型，说明在当前分辨率比例条件下，重复引入中间尺度并未带来进一步的性能突破. 基于上述不同尺度组合的实验结果，验证了本文所提出的双向金字塔多尺度对齐结构在多尺度融合条件下能够获得更加稳定的融合性能.

对本文网络中各功能子模块的作用进行消融分析. 这些模块包括MSCARE块、SSFM块、SWF块、SA块、PMSR模块和局部-全局综合损失函数等. 如表3所示为移除其中某一个子模块后的融合结果指标. 其中，模型1为使用简单残差块替代用于提取全色图像特征的MSCARE子模块；模型2为采用简单残差块替代用于提取高光谱图像特征的MSCARE子模块；模型3为使用简单残差块同时替代高光谱和全色图像特征提取中的MSCARE子模块. 模型4为用简单残差块替代SSFM子模块. 模型5为用简单残差块替代SWF子模块后的消融实验模型. 模型6为去除了SA子模块后的消融实验模型. 模型7为去除了多尺度局部损失的消融实验模型. 模型8为去除PMSR模块中的逐尺度集成策略. 从表3可以看出，在移除本文网络中的各个子模块后，所有指标均有所下降，验证了本文网络各模块在提取空间纹理特征和保留重要光谱特征方面的必要性和有效性.

针对高光谱图像的全色锐化融合任务，提出多尺度空谱特征协同网络模型. 该模型通过构建双向金字塔多尺度对齐结构，分别为全色和高光谱图像创建多尺度的金字塔表示，在多个尺度上实现遥感图像空谱特征的协同融合，从而在更好保留高光谱图像光谱信息的同时，逐步增强空间分辨率. 提出空谱特征挖掘增强模块，实现空谱特征的提取、挖掘、融合与增强，有效提升空谱特征协同表达能力并保持光谱一致性. 设计渐进式多尺度空谱重建模块，通过逐级上采样与特征强化实现由粗到精的空谱一致性重建. 在Pavia Center和Houston 2个高光谱数据集上的对比实验表明，本文模型生成的高光谱锐化融合图像在光谱信息和空间细节方面均表现最优. 通过消融实验进一步验证了本文网络各子模块的必要性和有效性.

尽管本文方法在获取多尺度空谱特征方面取得了较好效果，但仍有必要开展进一步研究. 后续工作将重点关注2个方向：一是如何获取更有效的图像空谱特征，二是探讨如何在无监督框架下设计高光谱图像锐化融合算法.