单幅图像超分辨率（single image super resolution, SISR）重建旨在将一幅低分辨率（low resolution, LR）图像恢复成高分辨率（high resolution，HR）图像. SISR可以解决图像纹理丢失、色彩失真或重影模糊等问题，已广泛应用在卫星遥感^[1]、医学影像^[2]和无人机等领域^[3].

传统SISR方法重建的图像质量较低，卷积神经网络（convolutional neural network, CNN）可以提高重建质量. SRCNN^[4]首次将CNN应用至SISR. Kim等^[5]采用深度残差网络的思想构建深度网络VDSR，获得了比SRCNN更好的重建图像质量，证明加深网络深度有助于学习图像特征. RCAN^[6]首次将通道注意力用于图像SR，使用嵌套残差结构并自适应地调整不同通道的权重，提高了图像重建质量. SENet^[7]通过建模各个特征通道的重要程度，实现了对不同任务针对性的增强或者抑制. 增加网络深度、建立残差结构和注意力机制^[8]，在SR任务中均有着较好表现. 但是，CNN的局部机制会限制对长距离关系信息的建模效果，从而限制模型性能的提升.

Transformer^[9]的自注意力机制能够有效捕获全局关系，此特性在SR任务中比CNN表现更优. SwinIR^[10]采用空间窗口注意和移位操作，将滑动窗口策略引入Transformer用于SR任务. Chu等^[11]提出在空间维度中可分离的注意力模型，分别计算各局部空间的自注意力，再利用全局自注意力机制对其进行融合. Yang等^[12]采用分层结构交替排列2个不同的注意力模块，沿着2个维度运行以更高效地获取特征信息. 然而，Transformer对局部信息的处理能力较弱，往往忽略一些至关重要的图像局部表征.

结合CNN与Transformer的优点，增强网络对高频特征因子的聚合能力，成为当下新的研究方向. DETR^[13]采用先CNN再Transformer的串联拼接方式. ViT-FRCNN^[14]采用先Transformer再CNN的串联拼接，并验证了以Transformer作为主体骨干架构可以保留足够的空间信息. Conformer^[15]将CNN和Transformer并联拼接，并设计特征耦合单元（feature coupling unit, FCU）实现并行融合两者特征. 上述方法均在单个维度中获取图像语义特征，空间注意力能丰富空间层次的特征表达，有助于通道与通道之间相关性建模. 通道注意力为空间提供全局通道特征信息，拓展了空间窗口的感受域^[7]. Omni-SR^[16]分别从空间与通道维度建立注意力模型，2个维度的特征信息互为补充，更充分地捕获高频特征信息. 综上，利用串联或并联的方式结合CNN与Transformer可以提高SR重建质量. 不过，虽然上述CNN与Transformer结合的方法行之有效，但仍未能充分提取图像深层语义中的底层特征.

针对上述问题，提出双维度交叉融合驱动的图像超分辨率重建模型CGT（cross gathering transformer）. 模型借助空间压缩融合策略，增强对深层语义信息中底层特征的提取能力. 设计双维度特征聚合框架，充分发挥Transformer和CNN两者优势，实现高性能图像重建. 本研究主要工作如下：1）开发交叉融合模块（cross fusion block, CFB），突破了简单叠加特征的传统方式，更为精细地融合来自Transformer注意力和CNN卷积的特征；2）设计交叉聚拢模块（cross gathering transformer block, CGTB），内部的空间聚拢块（spatial gathering block, SGB）与通道聚拢块（channel gathering block, CGB）级联交互，不仅关注单维度内特征的独立提取与融合，更通过多维度的结构保证深层语义信息的完整性；3）提出从空间和通道，即纵、横双维度交叉融合Transformer与CNN的超分辨率模型.

CNN借助其平移不变性、高鲁棒性和局部感知能力，在SR任务中有着较好的表现. CNN实现SR的数学模型可表示为

(1)$ \boldsymbol{X}_{\mathrm{out}}=f\left(\boldsymbol{X}_{\mathrm{input}}\right)=s\left(W_1 * \boldsymbol{X}_{\mathrm{input}}+\boldsymbol{b}_1\right) . $

式中：${ \boldsymbol{X}_{{\text{input}}}}$为输入图像，大小为$ C \times H \times W $（通道数×高度×宽度）；${W_1}$为卷积核权重，$ * $表示卷积操作；${ \boldsymbol{b}_1}$为偏置项；$s\left( \cdot \right)$为激活函数；${ \boldsymbol{X}_{{\text{out}}}}$为输出图像.

在卷积操作中，卷积核的数量与大小决定了模型复杂度及其捕捉特征的能力. 数量过多会导致计算冗余，而太少可能无法充分表达输入. 卷积核的感受野大小，直接决定了单个输出特征图像素的计算复杂度及其所能捕获的局部特征范围. 因此，CNN不擅长对整体信息建模，难以在空间或通道维度上有效地模拟高频全局依赖关系.

Transformer^[9]早期应用于自然语言、处理序列相关的任务. 近几年被应用于视觉领域，并有着出色的性能表现. Transformer的核心为注意力机制，激活函数以softmax为例时，SISR数学模型为

(2)$ \left.\begin{array}{l}\operatorname{Attention}({\boldsymbol{Q}}, {\boldsymbol{K}}, {\boldsymbol{V}})=\operatorname{softmax}\left(\dfrac{{\boldsymbol{Q}} {\boldsymbol{K}}^{\mathrm{T}}}{\sqrt{d_k}}\right) {\boldsymbol{V}}, \\{{\bf{head}}}_i=\operatorname{Attention}\left({\boldsymbol{Q}} {\boldsymbol{W}}_i^{\boldsymbol{Q}}, {\boldsymbol{K}} {\boldsymbol{W}}_i^{\boldsymbol{K}}, {\boldsymbol{V}} {\boldsymbol{W}}_i^{\boldsymbol{V}}\right) ,\\\operatorname{MultiHead}({\boldsymbol{Q}}, {\boldsymbol{K}}, {\boldsymbol{V}})= \\\qquad {{\mathrm{Concat}}}\left({{\bf{head}}}_1, {{\bf{head}}}_2, \cdots, {{\bf{head}}}_h\right) {\boldsymbol{W}}^{\mathrm{O}}.\end{array}\right\} $

式中：${\boldsymbol{Q}}$为查询矩阵，${\boldsymbol{K}}$为键矩阵，${\boldsymbol{V}}$为值矩阵，${d_k}$为缩放因子；${\boldsymbol{W}}_i^{\boldsymbol{Q}} $、${\boldsymbol{W}}_i^{\boldsymbol{K}} $、${\boldsymbol{W}}_i^{\boldsymbol{V}} $为第i个头的可训练的线性变换矩阵；head_i为多头注意力机制中第i个并行的注意力计算单元；${\boldsymbol{Q}}{{\boldsymbol{K}}^{\text{T}}}$为内积，计算每对查询和键之间的相似度，以衡量相关性，高相似度的值会被softmax操作增强并加权至值矩阵；$h$为头的数量，增加头的数量可以帮助捕捉不同的特征；${\text{Concat}}\left( \cdot \right)$为拼接操作；${{\boldsymbol{W}}^{\mathrm{O}}}$为共享的线性变换矩阵，它将所有头拼接后的结果进行线性投影，以整合信息并输出到最终的维度.

Transformer并行处理多个头，每个头从不同的子空间中提取信息，增强模型捕获多样化特征的能力. 然而，Transformer对局部信息的处理能力较弱，会忽略一些关键的局部特征，特别是对图像重建细节有着决定性作用的高频局部边缘信息.

相较于单纯CNN或Transformer网络，两者结合能够进一步提高网络的SISR性能. 以下为两者结合的表达形式，先对式（1）中CNN输出${ \boldsymbol{X}_{{\text{out}}}}$重塑形状，得到

(3)$ \boldsymbol{X}_{\mathrm{f}}=\operatorname{reshape}\left(\boldsymbol{X}_{\mathrm{out}}\right) . $

式中：${\boldsymbol{X}_{\text{f}}} \in {{\bf{R}}^{H' \times W' \times C}}$表示重塑后的特征，$H' \times W'$表示重塑维度，${\text{reshape}}\left( \cdot \right)$为重塑操作.

接着，将原始特征映射线性变换为特征矩阵：

(4)$ {\boldsymbol{Q}}=\boldsymbol{X}_{\mathrm{f}} {\boldsymbol{W}}_{\boldsymbol{Q}}, {\boldsymbol{K}}=\boldsymbol{X}_{\mathrm{f}} {\boldsymbol{W}}_{\boldsymbol{K}}, {\boldsymbol{V}}=\boldsymbol{X}_{\mathrm{f}} {\boldsymbol{W}}_{\boldsymbol{V}} . $

式中：${{\boldsymbol{W}}_{\boldsymbol{Q}}}$、${\boldsymbol{W}}_{\boldsymbol{K}} $、${\boldsymbol{W}}_{\boldsymbol{V}} $为映射变换矩阵. 然后，利用式（2）捕捉全局特征，再加入残差连接和层归一化，保持信息的流动：

(5)$ {\boldsymbol{Y}}=\operatorname{LayerNorm}\left(\boldsymbol{X}_{\mathrm{f}}+\operatorname{MultiHead}({\boldsymbol{Q}}, {\boldsymbol{K}},{\boldsymbol{ V}})\right) . $

式中：${\boldsymbol{Y}}$为中间层特征.

最终，将输出通过上采样或反卷积操作得到超分辨率图像：

(6)$ \boldsymbol{X}_{\mathrm{SR}}=g\left(\text { LayerNorm }\left(\boldsymbol{X}_{\mathrm{f}}+\operatorname{MultiHead}({\boldsymbol{Q}}, {\boldsymbol{K}}, {\boldsymbol{V}})\right)\right) . $

式中：${\boldsymbol{X}_{{\text{SR}}}}$为重建超分图像，$g\left( \cdot \right)$为上采样或反卷积操作.

结合CNN的局部特征提取能力和Transformer的全局上下文建模能力，可以高质完成SR任务，生成更清晰细致的高分辨率图像.

CGT的独特之处在于其双维度深层语义特征聚合架构设计的独特性、复杂信息融合的高效性以及在不同特征维度上的深度融合. 本研究致力于充分利用CNN与Transformer的优势，并借助信息融合策略结合两者的深层特征，解决图像深层语义信息未能全面提取的问题，提升图像重建质量.

设计CGT模型，其浅层采用CNN卷积，深层主框架采用Transformer注意力与前馈网络的编码层结构，构建核心模块CGTB捕捉深层语义信息，通过交叉融合模块CFB结合来自CNN卷积与注意力模块提取的底层和高层语义信息，最终利用Pixel Shuffle和2次卷积完成重建.

具体而言，首先，在空间和通道维度上分别利用Transformer的注意力机制，搭建空间密集注意力（spatial intensity global attention, SIGA）和通道交叉注意力（channel cross attention, CCA）以充分挖掘多维度高相关性的特征映射信息，把握图像整体语义结构. 其次，对SIGA与CCA分别并联深度可分离卷积，增强深层局部特征因子提取能力. 接着，鉴于注意力模块与卷积提取区域信息存在差异，简单叠加两者效果不佳，对双分支信息流使用不同的空间压缩策略构建CFB，完成特征信息自适应加权并交叉融合. 然后，利用SIGA、深度可分离卷积与CFB构建SGB，利用CCA、深度可分离卷积与CFB构建CGB. 最后，使用多组“SGB+CGB”构成CGTB，实现空间与通道深层信息的全面细粒交互，进一步提升特征融合效果.

按照上述思想搭建如图1所示的CGT模型，包括浅层特征提取、深层特征提取和图像重建模块. 浅层特征提取模块负责对输入图像低频特征进行初步的提取. 深层特征提取模块进一步提取图像的高频特征信息. 最后，结合浅层和深层提取的特征信息传送至重建模块进行上采样，完成对SR图像的重建.

首先，定义输入图像为$ {\boldsymbol{I}}_{\text{LR}}\in {{\bf{R}}}^{H\times W\times C} $，借鉴IMDN^[17]、CMSN^[18]、HAN^[19]，对浅层特征提取仅使用一个3×3卷积，其结构简单且能将低级语义信息有效地映射到高维空间，实现过程为

(7)$ \boldsymbol{F}_0=C_{3 \times 3}\left(\boldsymbol{I}_{\mathrm{LR}}\right) . $

式中：${C_{3 \times 3}}\left( \cdot \right)$为3×3卷积运算，${{\boldsymbol{F}}_0}$表示提取的浅层特征.

接着，传至深层特征提取部分. 作为CGT的核心模块，深层特征提取模块包括$l$（$ l \in {{\bf{N}}^+} $）层CGTB，单个CGTB由$ n(n \in {{\bf{N}}^+}) $个“SGB+CGB”模块串联而成. $l$层CGTB组成的深层特征提取过程可表示为

(8)$ \boldsymbol{F}_{\mathrm{d}}=H_{\mathrm{CGTB}_l}\left(H_{\mathrm{CGTB}_{l-1}}\left(\cdots H_{\mathrm{CGTB}_1}\left(\boldsymbol{F}_0\right) \cdots\right)\right) . $

式中：${H_{{\text{CGT}}{{\text{B}}_l}}}\left( \cdot \right)$表示第$l$层CGTB，${{\boldsymbol{F}}_{\text{d}}}$表示经过$l$层CGTB提取到的高频特征. 与SwinIR^[10]相同，在CGTB最后引入一个3×3卷积层以细化每个块内提取的特征，并且每个CGTB内部也采用残差连接提高网络稠密程度. 提取深层特征为

(9)$ \boldsymbol{F}_{\mathrm{D}}=C_{3 \times 3}\left(\boldsymbol{F}_{\mathrm{d}}\right) . $

最后，重建模块采用Pixel Shuffle与2层3×3卷积层直接整合浅层特征${\boldsymbol{F}_0}$与深层特征${\boldsymbol{F}_{\text{D}}}$，并将已提取好的特征重建为高清图像. 该过程为

(10)$ \boldsymbol{I}_{\mathrm{SR}}=H_{\mathrm{RC}}\left(\boldsymbol{F}_0+\boldsymbol{F}_{\mathrm{D}}\right) . $

式中：${H_{{\text{RC}}}}\left( \cdot \right)$表示重建映射函数，$\boldsymbol{I}_{\mathrm{SR}} \in {{\bf{R}}}^{H \times W \times C}$为输出的SR图像.

使用${L_1}$损失函数对模型优化：

(11)$ L(\theta)=\frac{1}{N} \sum_{i=1}^N\left\|\boldsymbol{I}_{\mathrm{SR}}^i-\boldsymbol{I}_{\mathrm{HR}}^i\right\|_1. $

式中：${\boldsymbol{I}_{{\text{SR}}}}$为${\boldsymbol{I}_{{\text{LR}}}}$经CGT的输出，$\boldsymbol{I}_{{\text{HR}}}$为原高清图像，$N$为训练集样本数.

CNN的固有特性决定了它对整体特征建模能力差，而Transformer容易忽略重要的深层纹理信息. 借鉴Peng等^[15]的经验，将两者并联并添加融合单元FCU，设计双分支交叉融合模块CFB，增强对局部和全局特征的建模能力.

重建高质量图像意味着需要更多的深层语义信息. 单维度特征提取方法^[6]效果较差，并且随着网络加深，重要图像信息会分散在不同维度. 为了更全面地挖掘出分布于不同维度的深层次信息，在空间、通道双维度上设计CGTB，见图1，整体采用Transformer的注意力和前馈网络框架，参考ScalableViT^[12]双注意力先空间后通道的交替级联方式，从空间与通道维度建立特征聚合模块SGB与CGB. 两者采用相同结构，即深度可分离卷积并联注意力模块，接着分别连接CFB的局部分支和全局分支，最后，再通过层归一化和多层感知机MLP对各维度特征进一步整合.

此外，为了获取相关度更高的双维度深层次特征信息，对空间和通道注意力分别进行优化，提出了SIGA与CCA. 每个CGTB模板使用$ n(n \in {{\bf{N}}^+}) $个“SGB+CGB”模块串联，再利用残差结构和3×3卷积组成单层的CGTB，该模块能够利用空间与通道信息的互补性，更全面地捕捉到深层次高频图像特征因子.

空间注意力旨在从空间维度赋予相关性较高的区域更高的关注度，而非平等考虑图像中的所有空间区域. 现有的空间注意力模块使用Softmax激活函数，用以保持查询矩阵${\boldsymbol{Q}}$和键矩阵$ {\boldsymbol{K }}$之间所拥有的相似性. 然而，并非所有来自${\boldsymbol{Q}}$与${\boldsymbol{ K}} $的信息都相关. 使用Softmax生成的注意力会降低模型的空间整体建模能力，影响后续特征聚合. ReLU可以保留图像积极特征，屏蔽消极特征，提升图像重建能力^[20]. 在空间注意力模块的基础上，使用ReLU搭建SIGA，结构见图2. 同时，为了提高空间维度整体特征的建模能力，保持全文上下空间信息因子有效聚合，借鉴SwinIR^[10]中的移位窗口操作，在SIGA中使用矩形移位窗口获取更丰富的深层空间特征.

对于输入${\boldsymbol{X}_{\rm{in}}} \in {{{\bf{R}}}^{H \times W \times C}}$，使用线性映射得到查询矩阵${\boldsymbol{Q}}$,键矩阵$ {\boldsymbol{K}} $和值矩阵$ {\boldsymbol{V}} $（其中${\boldsymbol{Q}}$，$ {\boldsymbol{K}} $，$ {\boldsymbol{V}} \in $$ {{{\bf{R}}}^{H \times W \times C}}$），该过程可表示为

(12)$ {\boldsymbol{Q}}=\boldsymbol{X}_{\rm{i n}} {\boldsymbol{W}}_{\boldsymbol{Q}},\; {\boldsymbol{K}}=\boldsymbol{X}_{\rm{i n}} {\boldsymbol{W}}_{\boldsymbol{K}}, \;{\boldsymbol{V}}=\boldsymbol{X}_{\rm{i n}} {\boldsymbol{W}}_{\boldsymbol{V}} . $

式中：${{\boldsymbol{W}}_{\boldsymbol{Q}}}$、${{\boldsymbol{W}}_{\boldsymbol{K}}}$、${{\boldsymbol{W}}_{\boldsymbol{V}}}$为省略偏置的线性映射.

将${\boldsymbol{Q}}$，$ {\boldsymbol{K}} $，$ {\boldsymbol{V}} $划分为不重叠的窗口并展平，窗口大小为$N$. 然后利用多头注意力将它们划分并分别计算$h$次局部注意（$h$为多头注意力的头数）. 激活函数ReLU计算注意力的表达式为

(13)$ {\bf{S A}}\left({\boldsymbol{Q}}_i, {\boldsymbol{K}}_i, {\boldsymbol{V}}_i\right)_i={\boldsymbol{V}}_i \cdot {\mathrm{R e L U}}\left(\frac{{\boldsymbol{K}}_i^{\mathrm{T}} \cdot {\boldsymbol{Q}}_i}{\sqrt{d_k}}+\boldsymbol{b}\right);\; i=1,2, \cdots, h. $

式中：$ {\bf{SA}}{\left( \cdot \right)_i} $为第$i$个局部注意力，${\boldsymbol{Q}}_i $、${\boldsymbol{K}}_i $、${\boldsymbol{V}}_i $分别为第i个头的查询、键、值矩阵，$\sqrt {{d_k}} $为可学习缩放参数，$\boldsymbol{b}$为可学习的相对位置编码.

将所有局部注意进行拼接操作得到完整的空间注意力：

(14)$ {\text{SIGAtten}}\left( {{\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}} \right) = {\text{Concat}}\left( {{{\bf{SA}}_1},{{\bf{SA}}_2}, \cdots ,{{\bf{SA}}_h}} \right){{\boldsymbol{W}}_{\text{s}}}. $

式中：$ {\text{SIGAtten}}\left( {{\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}} \right) $为完整空间注意力，${\text{Concat}}\left( \cdot \right)$为拼接操作，${{\boldsymbol{W}}_{\text{s}}}$为输出线性变换矩阵，SA_i为空间注意力中第i个并行的注意力计算单元. 最后再经线性映射保持维度为$H \times W \times C$就得到输出${\boldsymbol{X}_{{\text{out}}}} \in {{{\bf{R}}}^{H \times W \times C}}$.

为了促进通道间信息的相互作用，增强不同通道之间的协同效应，使用通道注意力获取通道间特征关联信息，从而拓宽空间窗口感受域. 模块沿通道维度计算注意力需要大量的计算开销为支撑. 对于输入图像${\boldsymbol{X}_{\rm{in}}} \in {{{\bf{R}}}^{H \times W \times C}}$，计算任意2个像素间的相似度，其复杂度可表示为$ P({W^2}{H^2}) $. 显然，图像越大需要的计算成本越高，会限制网络性能提升.

Lin等^[21]提出的交叉注意力，其核心思想为在图像块内捕获特征信息而非传统的在整幅图像上捕获，不仅降低了注意力层的计算开销，同时提高了通道间特征交互信息的捕获能力，有助于减少模型计算消耗. 受其启发，为了补充空间维度通道间特征关系，本研究使用通道交叉策略构建通道交叉注意力CCA，结构见图3. 对输入图像${\boldsymbol{X}_{\rm{in}}} \in {{{\bf{R}}}^{H \times W \times C}}$，经线性投影得到查询矩阵${\boldsymbol{Q}}$、键矩阵$ {\boldsymbol{K}} $和值矩阵$ {\boldsymbol{V}} $，并重塑其形状大小为$ {{{\bf{R}}}^{HW \times C}} $，用$ {{\boldsymbol{Q}}_{\text{c}}} $、$ {{\boldsymbol{K}}_{\text{c}}} $和$ {{\boldsymbol{V}}_{\text{c}}} $表示重构至通道维度的矩阵，其映射的过程为

(15)$ {\boldsymbol{Q}}_{\mathrm{c}}=\boldsymbol{X}_{\rm{i n}} {\boldsymbol{W}}_{\boldsymbol{Q}},\; {\boldsymbol{K}}_{\mathrm{c}}=\boldsymbol{X}_{\rm{i n}} {\boldsymbol{W}}_{\boldsymbol{K}},\; {\boldsymbol{V}}_{\mathrm{c}}=\boldsymbol{X}_{\rm{i n}} {\boldsymbol{W}}_{\boldsymbol{V}}. $

式中：${{\boldsymbol{W}}_{\boldsymbol{Q}}}$、${{\boldsymbol{W}}_{\boldsymbol{K}}}$、${{\boldsymbol{W}}_{\boldsymbol{V}}}$为线性投影，为简化省略了偏差.

随后，将通道分成$h$个头并行计算其注意力：

(16)$ \begin{split} {\mathrm{ C A}}&\left({\boldsymbol{Q}}_{\mathrm{c}}^i, {\boldsymbol{K}}_{\mathrm{c}}^i, {\boldsymbol{V}}_{\mathrm{c}}^i\right)_i={\boldsymbol{V}}_{\mathrm{c}}^i \cdot \operatorname{SoftMax}\left(\frac{\left({\boldsymbol{Q}}_{\mathrm{c}}^{i}\right)^{\mathrm{T} } \cdot {\boldsymbol{K}}_{\mathrm{c}}^i}{\sqrt{c_k}}\right); \\& i=1,2, \cdots, h.\end{split} $

式中：$ {\mathrm{CA}} {\left( \cdot \right)_i} $为第$i$个通道局部注意力，$\sqrt {{c_k}} $表示可学习参数，${\mathrm{SoftMax}}\left( \cdot \right)$表示SoftMax激活函数.

接着，拼接所有局部注意通道，得到完整的通道注意力：

(17)$ {\text{CCAtten}}({\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}) = {\text{Concat}}({{\bf{CA}}_1},{{\bf{CA}}_2}, \cdots ,{{\bf{CA}}_h}){{\boldsymbol{W}}_{\text{c}}}. $

式中：$ {\text{CCAtten}}({\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}) $为完整通道注意力，${{\boldsymbol{W}}_{\text{c}}}$为输出线性变换矩阵. 最后对拼接好的注意力再通过Reshape操作，将交叉注意力进行重构得到输出${\boldsymbol{X}_{{\text{out}}}} \in {{{\bf{R}}}^{H \times W \times C}}$.

Transformer注意力机制与深度可分离卷积对应的感兴趣区域特征存在显著差异，单纯增加卷积或激活分支并不能有效地耦合全局与局部特征. SENet^[7]沿维度压缩输入，通过卷积、激活操作自适应生成相应的权重. 受其启发，对两者分支提取到的信息流分别采取不同空间压缩策略，使用分支交叉结构设计如图4所示的CFB.

对卷积分支输入$ {\boldsymbol{X}_{\text{L}}} $，经1×1卷积和ReLU操作得到$ {\boldsymbol{Y}_{\text{L}}} $，再经Sigmoid操作得到注意力分支的权重$ {\boldsymbol{F}_{\text{G}}} $. 注意力分支的输入$ {\boldsymbol{X}_{\text{G}}} $经平均池化、1×1卷积和ReLU等操作得到$ {\boldsymbol{Y}_{\text{G}}} $，随后经Sigmoid操作得到卷积分支的权重$ {\boldsymbol{F}_{\text{L}}} $. 上述计算过程可以表示为

(18)$ \boldsymbol{Y}_{\mathrm{G}}=H_{{\mathrm{A p}}}\left(C_{1 \times 1}\left(\operatorname{ReLU}\left(C_{1 \times 1}\left(\boldsymbol{X}_{\mathrm{G}}\right)\right)\right)\right), $

(19)$ \boldsymbol{Y}_{\mathrm{L}}=C_{1 \times 1}\left(\operatorname{ReLU}\left(C_{1 \times 1}\left(\boldsymbol{X}_{\mathrm{L}}\right)\right)\right) , $

(20)$ \boldsymbol{F}_{\mathrm{G}}=\sigma\left(\boldsymbol{Y}_{\mathrm{L}}\right), \quad \boldsymbol{F}_{\mathrm{L}}=\sigma\left(\boldsymbol{Y}_{\mathrm{G}}\right). $

各分支得到对应权重后与权重相乘，最后对2个分支相加得到输出$ { \boldsymbol{X}_{{\text{out}}}} $：

(21)$ \boldsymbol{X}_{\text {out }}=\left(\boldsymbol{X}_{\mathrm{G}} \cdot \boldsymbol{F}_{\mathrm{G}}\right)+\left(\boldsymbol{X}_{\mathrm{L}} \cdot \boldsymbol{F}_{\mathrm{L}}\right) . $

式中：$ {H_{{\mathrm{Ap}}}}\left( \cdot \right) $表示平均池化，$ {C_{1 \times 1}}\left( \cdot \right) $表示1×1卷积，$\cdot $表示元素相乘，$ \sigma \left( \cdot \right) $表示Sigmoid操作，$ {\boldsymbol{X}_{\text{G}}} $，$ {\boldsymbol{X}_{\text{L}}} $，$ {\boldsymbol{X}_{{\text{out}}}} $$ \in {{{\bf{R}}}^{H \times W \times C}} $. 通过对各个分支特征信息进行不同的压缩加权操作，有效促进卷积和注意力模块特征的交互与融合.

实验基于PyTorch框架，1块NVIDIA GeForce RTX 3080Ti的GPU实现. 通道维度为180，扩展因子为2，空间窗口设置成8×16，块大小（patch size）为64×64，批大小（batch size）为32，多头注意力头数为6^[22]. 采用${L_1}$损失函数和Adam优化器^[23]（$ \beta_ 1 $=0.9，$ \beta_2 $=0.99）优化模型性能. 训练时，学习率初始值大小为2×10⁻⁴，并在迭代次数分别为[250000，400000，450000，475000]时减半，总训练迭代次数设置成500000. 重建的比例因子为×2、×3和×4.

训练数据集DF2K，由DIV2K^[24]和Flick2K组成，包含3000张分辨率为2000的高质量图像. 除裁剪外，还进行了90°、180°、270°和水平翻转. 测试集选择5个数据集：Set5^[25]、Set14^[26]、BSD100^[27]、Urban100^[28]和Manga109^[29]. LR图像由HR图像经过双三次退化生成. 在YCbCr色彩空间的Y通道（亮度）上计算峰值信噪比（PSNR）和结构相似度（SSIM）^[30]. PSNR与SSIM越大，说明模型重建后的图像质量越高.

为了验证CGT各组成结构的有效性，对其进行消融实验，浮点数（FLOPs）均通过输入为3×64×64计算得出. 模型参数量用PM表示，模型浮点数用FL表示.

参考SwinIR^[10]先固定内部为3个“SGB+CGB”串联，仅改变CGTB层数p，在Manga109（×4）上测试，结果如图5和表1所示. 由图5可知，模型性能指标PSNR与SSIM均在CGTB个数为6之前上升趋势较为明显，在CGTB层数超过6时，虽然性能指标仍在上升但变化趋势较为缓慢.

由表1可以看出，随着CGTB数量的增加，模型参数量与训练计算量也在增加，10层CGTB参数量达到18.22×10⁶，但模型性能并未有较大提升. 实验结果表明，在CGTB层数为6时模型不仅可以保持较低参数量，同时有着良好的表现能力，所以CGT中选择6层CGTB作为深层特征提取模块.

固定6层CGTB，研究不同数量“SGB+CGB”串联或并联对CGTB性能的影响，在5个数据集（比例因子为4）中对其总数量分别为2、3和4进行测试，结果见表2. 其中，N_SC为“SGB+CGB”数量. 可以看出，当“SGB+CGB”串联，数量为3时，CGTB在5个数据集中均为最优值，且“SGB+CGB”并联的参数量与浮点数较之增加了5.14×10⁶与15.671×10⁹. 数量为4时，由于参数冗余数量增加，串联或并联方式下的模型性能均出现下降. 综上，选择3个“SGB+CGB”串联组成CGTB，6层CGTB组成深层特征提取模块.

利用CGT的退化网络研究CGTB内部组成模块的有效性，在4个数据集（比例因子为4）上测试，结果见表3. 基准模块由CGT的浅层提取模块和重建模块组成，深度提取模块层数与CGT保持一致，仅对每个CGTB做改变.

在空间维度上，CGT-S与CFB组合成CGT-SF，可以验证空间的维度融合效果. 在Set14上，CGT-SF相较于CGT-S，PSNR增加了0.0154 dB，SSIM提高了0.0093，在Urban100中，PSNR提升0.0476 dB，SSIM提升0.0009. 在通道维度上，CGT-C与CFB组合为CGT-CF. 在Set14上，CGT-CF相较于CGT-C，PSNR提升0.0099 dB，SSIM增加0.0006，在Urban100中，PSNR提升0.0176 dB，SSIM指标提升0.0010. 由此证明，SIGA或CCA与深度可分离卷积在单个空间或通道维度内得到了有效结合，验证了所提出并行式交叉融合结构的合理性，证明了CFB的有效性.

CGT-SC含有双维度注意力SIGA和CCA. 相较于单维度网络，CGT-SC提取的特征包含2个维度的信息，因此在5个数据集上性能均有不同程度的提升. 在Set14中，相较于CGT-SF、CGT-CF，PSNR分别提升0.01、0.10 dB. 由此验证，双维度架构能够捕获更多的深层次特征信息.

CGT包含所有子模块，其参数量为11.21×10⁶，FLOPs为50.83×10⁹，低于CGT-S与CGT-SF的，并且在5个数据集上的PSNR与SSIM均为最优值. 综上，通过消融实验证明了CGT各设计组成的合理性与有效性.

为了更直观感受CGT各阶段的特征提取效果，对不同维度区域的特征进行了可视化，见图6. 其中图6（a）为原图；图6（b）的浅层特征较为模糊；图6（c）、（d）、（e）、（f）分别为双维度深层局部与全局特征，含有更多的纹理与细节；图6（g）、（h）为融合后的特征，表现出更为清晰的纹理以及边缘细节. 由此进一步验证本研究提出从双维度融合Transformer注意力与CNN卷积的可行性与有效性.

网络参数的大小也是衡量模型优劣的指标之一，更少的网络参数意味着更低的计算成本. 为了衡量CGT的参数量，在Urban100（×4）上，与RCAN^[6]、EDSR^[8]、SwinIR^[10]、HAN^[19]、RDN^[31]、SAN^[32]、RFANET^[33]和NLSA^[34]开展了对比测试，结果见图7. SwinIR^[10]在Urban100（×4）中PSNR为27.07 dB，参数量为11.9×10⁶. RFANET^[33]虽然获得了最低的参数量，但重建效果不佳. 针对Transformer的高计算开销，CGT通过优化其核心注意力模块，并引入CNN降低计算量. CGT参数量为11.21×10⁶，比SwinIR小0.69×10⁶，而PSNR较之提升了0.05 dB，可见在保持较低参网络数量的同时，依旧能拥有优秀的性能表现.

为了衡量CGT的重建效果，在5个数据集上开展测试，对比方法包括IMDN^[17]、HAN^[19]、SAN^[32]、RFANET^[33]、NLSA^[34]、EMT^[35]、BiGLFE^[36]、CMSN^[37]和CGT. 具体见表4，其中黑体字代表最优数值，斜体下划线代表次优值. 可以看出，CGT在5个数据集×2，×3和×4的比例因子下都表现优异. 与同为双注意力的NLSA^[34]相比，为了从高级语义中充分提取底层特征，CGT模型通过融合双维度注意力与并联深度可分离卷积的策略来实现这一目标. 与NLSA^[34]相比，在Urban100（×4）和Manga109（×4）中，PSNR分别提高0.27、0.39 dB. 当前最新方法CMSN^[37]使用多尺度通道注意力有效捕获通道维度特征，但对空间维度信息提取不充分，CGT从空间与通道双维度更全面地捕获高级局部与全局信息，从而取得了更好的重建效果，在Urban100（×2）中PSNR提高了0.83 dB，在Urban100（×4）中PSNR提高了0.68 dB. 此外，训练数据集丰富度欠佳会导致模型泛化性能下降，面对Set14与BSD100之类包含更多复杂现实场景的数据集，在比例因子为2时CGT未能表现最优. 后续将针对现实复杂场景，丰富训练数据集并优化模型结构.

模型定量分析表明，相比于现有基于注意力的SR方法，CGT通过CFB高效融合来自注意力模块与深度可分离卷积的深层语义信息，SGB与CGB级联交互，进一步保证了模型在空间和通道维度上的深层语义信息交织互补，提高了模型整体的特征表达能力.

如图8~10所示为CGT与不同先进算法重建图像的细节对比. 左侧为原高清图像，右侧部分为不同方法重建图像红框部分放大图，包括原图、Bicubic、IMDN^[16]、EDSR^[8]、SAN^[32]、SwinIR-S^[10]、RFANet^[33]和CGT. 主观视觉上，图8（b）~（f）重建的纵向斜纹细节均存在明显缺失，图8（g）左上角的纵向斜纹重建不充分，视觉上CGT对纹理和边缘细节的恢复比其余方法更为清晰；图9（b）~（g）均存在不同程度的边缘扭曲；图10（b）~（g）的远处物体边缘轮廓均表现出不同程度的模糊和伪影. 通过对比各方法重建后的图像，展示了CGT能更有效地恢复图像的边缘以及局部纹理细节，且恢复的图像更接近原图. 综上，通过定量与定性比较与分析，验证了本研究提出的CNN与Transformer驱动的双维度融合方法的有效性.

提出以CNN与Transformer驱动的，在空间、通道双维度融合的图像超分辨率重建方法. 该方法利用深度可分离卷积与自注意力模型，分别从空间域和通道域对各自维度的局部细节以及全局特征信息高效提取. 搭建的交叉融合模块CFB，能够沿着对应的分支将提取好的局部与全局特征相融合，从而更充分地弥补深层语义特征中的局部表征信息，有效提升重建图像质量，保留更丰富的细节纹理信息. 实验结果表明，CGT在比例因子为2和4的定量实验中，在Urban100（×2）和Urban100（×4）中，相较于BiGLFE，PNSR分别提升了1.4%和1.2%. 因模型感受域大小固定，其性能受限，在后续的研究中，将考虑扩大网络有效感受域，进一步降低网络参数量，构建更轻的模型并保持高质量图像重建性能.