单幅图像超分辨率(single image super-resolution, SISR)重建是计算机视觉领域中一项重要的图像处理技术，在卫星遥感^[1]、医学成像^[2]和人脸识别^[3]等诸多领域有着广泛应用，其目的主要为从低分辨率（low resolution, LR）图像中重建出高分辨率（high resolution, HR）图像.

图像降质是一个病态过程，高-低分辨率图像之间不存在一一对应的关系，即同一张HR图像在不同环境下有不同退化方向. 早期基于插值^[4]的方法使用同一个插值核而忽略图像的局部结构，无法分辨图像中存在的局部复杂结构；基于重建^[5]的方法容易受到输入数据和随机噪声的影响，导致重建效果提升不显著，因此这2类方法都难以改善图像超分辨率重建的效果. 近些年，随着深度学习^[6]的快速发展，Dong等^[7]在图像超分辨率重建领域中运用深度学习方法，提出了基于卷积神经网络的SRCNN (super resolution using convolutional neural network)算法，实现了网络端对端的学习，但由于只进行了3层卷积操作，该算法提取的图像信息有限. 针对此问题，Dong等^[8]在SRCNN算法的基础上提出FSRCNN (accelerating the super-resolution convolutional neural network)算法，该算法在上采样操作中使用反卷积层代替双三次插值，并且将网络由3层加深为8层. 随后，许多研究者在此基础上，致力于研究重建效果更好的算法. 网络的加深会带来大量参数的计算，针对此问题，Lim等^[9]提出基于增强型深度残差网络的EDSR (enhanced deep residual network for single image super-resolution) 算法，该算法在残差网络的基础上将批标准化层移除，加快网络收敛速度. Tai等^[10]提出基于持续记忆网络的MemNet (persistent memory network)算法，其利用密集连接结构构建了一个深度神经网络，使算法具有较强的学习LR图像与HR图像之间映射函数的能力. Ahn等^[11]提出基于级联残差网络的CARN(cascading residual network)算法，通过使用局部和全局的级联模块来避免以往使用递归网络造成的信息损失. Wang等^[12]提出基于自适应加权网络的AWSRN(adaptive weighted super-resolution network)算法，提出一种自适应加权多尺度重构模块，在不减少性能的情况下，通过自适应权值去除一些贡献较低的分支，来减少网络参数.

尽管上述基于深度学习的图像超分辨率算法取得了较好的重建效果，但仍存在一些问题，比如这些算法大多都通过增加网络的宽度和深度来实现更好的重建效果. 在现实世界中，高昂的计算成本限制了它们的应用^[13]. 为此，一些使用注意力机制的超分辨率重建算法被提出，Dai等^[14]提出基于二阶注意力网络的SAN(second-order attention network)算法，利用二阶特征的分布自适应地学习特征的内部依赖关系. Zhang等^[15]提出将基于残差非局部注意网络的RNAN (residual non-local attention network)算法用于图像修复，通过在分支中提出残差局部和非局部注意力块，进一步增强网络表征能力. 上述大多数方法都专注于开发复杂的注意力模块以获得更好的性能或采用均等处理的方式来运用各种注意力机制，但是不同注意力机制所提取的特征存在不同的重要程度，均等处理的方式会使得大量计算资源分配到无用特征上，从而导致计算资源无法得到有效利用.

针对上述问题，本研究提出基于动态注意力网络（dynamic attention network, DAN）的图像超分辨率算法. 与以往均等处理注意力机制方式不同的是，本研究算法提出了动态注意力（dynamic attention, DA）模块，为2种不同注意力分支生成其相应的权重，增强高贡献特征，从而自适应地分配计算资源到重要特征上，提高模型的有效性. 其中，权重根据输入特征动态地发生变化，并且该模块在训练过程中也能自适应地学习. 同时设计了一种双蝶式（double butterfly, DB）结构，可以充分融合2个注意力分支的信息，相互弥补不同注意力在网络训练中所忽视的特征信息.

Jia等^[16]首次将动态学习的概念引入到深度学习之中，提出一种新的学习框架. Yang等^[17]提出条件参数卷积，可以为每个特征学习一个特定的卷积核参数，在提升模型的尺寸与容量的同时保持高效推理. Chen等^[18]提出动态卷积，与普通卷积不同的是，动态卷积没有使用单个卷积核，而是根据输入的关注度动态地聚合多个并行卷积核. Zang等^[19]提出用于加速卷积神经网络的自适应卷积，基于图像内容生成可调节的卷积核，以解决卷积核之间存在冗余信息的问题. 其中，动态卷积^[18]的框架图如图1所示. 图中，FC、BN分别表示全连接层和批归一化层.

与常规卷积中单一的卷积核不同，动态卷积会根据输入自适应地调整卷积参数，通过Softmax函数集成多个并行的卷积核，其通过注意力的方式以非线性形式进行融合，不仅计算高效，而且具有更强的调整表达能力，同时无须提升网络的深度与宽度. 定义传统卷积表达式如下：

(1) $ {{\boldsymbol{y}}} = g\left( {{{{\boldsymbol{W}}}^{\text{T}}}{{\boldsymbol{x}}}+{{\boldsymbol{b}}}} \right) . $

式中： $ {{\boldsymbol{W}}} $表示权值， $ {{\boldsymbol{b}}} $表示偏置， $ g $表示激活函数. 则动态卷积表达式如下：

(2) $ \left. \begin{aligned} & {{\boldsymbol{y}}} = g\left( {{{{\tilde {\boldsymbol{W}}}}^{{\rm{T}}} }{{\boldsymbol{x}}}+{\tilde {\boldsymbol{b}}}} \right) ; {\tilde {\boldsymbol{W}}}\left( {{\boldsymbol{x}}} \right) = \sum\limits_{k = 1}^K {{\pi _k}\left( {{\boldsymbol{x}}} \right)} {{{\tilde {\boldsymbol{W}}}}_k} ;\\& {\tilde {\boldsymbol{b}}}\left( {{\boldsymbol{x}}} \right) = \sum\limits_{k = 1}^K {{\pi _k}\left( {{\boldsymbol{x}}} \right)} { {{\tilde {\boldsymbol{b}}}} _k} ; \sum\limits_{k = 1}^K {{\pi _k}\left( {{\boldsymbol{x}}} \right)} = 1,0 \leqslant {\pi _k}\left( {{\boldsymbol{x}}} \right) \leqslant 1 . \end{aligned}\right\} $

式中： $ {\tilde {\boldsymbol{W}}}$和 $ {\tilde {\boldsymbol{b}}}$分别表示注意力权值加权后的卷积核和偏置， $ {{\tilde {\boldsymbol{W}}}_k} $和 $ {{\tilde {\boldsymbol{b}}}_k} $分别表示第 $ k $个卷积核及其偏置， $ {\pi _k} $表示第 $ k $个卷积核的注意力权值，K为卷积核总数.

本研究提出了基于动态注意力网络的图像超分辨率重建算法，该算法整体网络结构图如图2所示. 网络框架由3部分组成，分别为浅层特征提取单元、动态融合单元和图像重建单元. 其中浅层特征提取单元由一个 $ 3 \times 3 $的卷积层组成；动态融合单元仅由32个DA模块组成；图像重建单元由上采样模块和一个 $ 3 \times 3 $的卷积层组成.

假设 $ {{{\boldsymbol{I}}}_{{\rm{LR}}}} $和 $ {{{\boldsymbol{I}}}_{{\rm{SR}}}} $为输入的低分辨率图像和重建的高分辨率图像，首先，通过初始卷积层进行特征维度转换，从低分辨率图像中提取初始特征 $ {{{\boldsymbol{x}}}}' $：

(3) $ {{{\boldsymbol{x}}}}' = {f_0}\left( {{{{{\boldsymbol{I}}}}_{{{\rm{LR}}} }}} \right) . $

式中： $ {f_0} $为浅层特征提取函数. 紧接着，将浅层特征信息传递到多个DA模块堆叠构成链式结构的非线性映射模块中，进一步生成特征图：

(4) $ {{\boldsymbol{x}}_n} = \left( {f_{{{\rm{DA}}} }^n\left( {f_{{{\rm{DA}}} }^{n - 1}\left( { \cdots f_{{{\rm{DA}}} }^0\left( {{\boldsymbol{x}}'} \right) \cdots } \right)} \right)} \right) . $

式中： $ f_{{{\rm{DA}}} }^i $表示第 $ i $个DA模块， $ {{\boldsymbol{x}}_n} $为第 $ n $个DA模块输出的特征图. 将提取到的深层特征信息通过跳线连接^[20]的方式进行连接，以此简化学习过程，增强梯度传播，同时缓解梯度爆炸问题，具体操作如下：

(5) $ {{{\boldsymbol{F}}}_{\rm{n}}} = {f_{\rm{f}}}\left( {{{{\boldsymbol{x}}}_n}} \right)+{{\boldsymbol{x}}}' . $

式中： $ {f_{{\rm{f}}} } $表示 $ 3 \times 3 $卷积核的卷积层运算. 随后，利用上采样模块对得到的特征信息 $ {{{\boldsymbol{F}}}_{{\rm{n}}} } $进行上采样：

(6) $ {{{\boldsymbol{F}}}_{{\rm{up}}}} = {f_{{\rm{up}}}}\left( {{{{\boldsymbol{F}}}_{\rm{n}}}} \right) . $

式中： $ {f_{{\rm{up}}}}$表示上采样运算， ${{{\boldsymbol{F}}}_{{{\rm{up}}} }}$表示得到的上采样特征. 最后，利用重建卷积层 $ {f_{{\rm{rec}}}} $对上采样特征进行重建：

(7) $ {{{\boldsymbol{I}}}_{{{\rm{SR}}} }} = {f_{{\rm{rec}}}}\left( {{{{\boldsymbol{F}}}_{{\rm{up}}}}} \right) . $

式中： $ {f_{{\rm{rec}}}} $表示 $ 3 \times 3 $卷积核的卷积层运算.

先前的文献^[21]表明，低分辨率图像中的信息具有丰富的低频和有价值的高频成分，使用注意力机制可以帮助网络更加关注高频特征，避免所有特征都被平等对待. 通常，在使用不同注意力机制的过程中，都是采取均等处理的方式，即通过简单的串联或并联，直接将产生的不同特征图融合，而没有考虑到不同注意力机制所提取的图像特征具有不同的重要程度，以及花费大量计算资源在相似的特征信息上的问题. 为此，本研究提出了一种可学习的DA模块，如图3所示. 图中，CA和PA分别表示通道注意力块和像素注意力块. 2种注意力结构图如图4所示.

本研究所提出的DA模块可以自适应地选择更重要的特征信息，以及有侧重地平衡2条注意力支路，产生更动态的特征，从而提高深度网络的表达能力. 其中的动态模块如同动态卷积一样，可以随着输入的变换而产生变换，具体来说，每个动态模块会根据其输入特征生成相应的权重，并通过加权总和的方式控制2条不同的注意力分支：

(8) $ {{{\boldsymbol{x}}}_n} = {f_{1 \times 1}}\left( {\pi _{n - 1}^{{{\rm{ca}}} } \times {{\boldsymbol{x}}}_{n - 1}^{{{\rm{ca}}} }+\pi _{n - 1}^{{{\rm{pa}}} } \times {{\boldsymbol{x}}}_{n - 1}^{{{\rm{pa}}} }} \right)+{{{\boldsymbol{x}}}_{n - 1}} . $

式中： $ {{\boldsymbol{x}}}_{n - 1}^{{{\rm{ca}}} } $为通道注意力分支输出结果， $ {{\boldsymbol{x}}}_{n - 1}^{{{\rm{pa}}} } $为像素注意力分支输出结果， $ \pi _{n - 1}^{{{\rm{ca}}} } $和 $ \pi _{n - 1}^{{{\rm{pa}}} } $分别为通道注意力分支和像素注意力分支的权重， $ {f_{1 \times 1}} $为 $ 1 \times 1 $卷积核的卷积层运算.

动态权重的计算过程如下：

(9) $ {\pi _{n - 1}} = {f_{{\rm{am}}}}\left( {{{{\boldsymbol{x}}}_{n - 1}}} \right) . $

式中： $ {f_{{\rm{am}}}} $表示动态模块的函数. $ {f_{{\rm{am}}}} $过程如图3所示， $ {{{\boldsymbol{x}}}_{n - 1}} $首先经过全局平均池化，接着通过具有ReLU激活的2个全连接层，最后经过Softmax激活函数，为2个注意力分支生成归一化权重. 动态模块在训练过程中也一直处于学习过程，因此生成的权重并非固定，而是随着输入的变化而变化. 如文献[19]所述，通过约束动态权重可以促进动态模块的学习，即定义了一个约束 $ \pi _{n - 1}^{{{\rm{ca}}} }+\pi _{n - 1}^{{{\rm{pa}}} } = 1 $，通过这个约束可以压缩内核空间，以简化学习过程，减少网络训练时间.

为了弥补不同注意力间所忽视掉的特征，在2个注意力支路中添加DB结构，如图5所示. 具体来说，输入 $ {{\boldsymbol{x}}} $首先经过一个注意力模块 $ {A_1} $得到输出 $ {{{\boldsymbol{x}}}_1} $：

(10) $ {{{\boldsymbol{x}}}_1} = {A_1}\left( {{\boldsymbol{x}}} \right) .$

其次，通过特征复用的方式，将所得到的输出 $ {{{\boldsymbol{x}}}_1} $输入到另一个注意力模块：

(11) $ {{{\boldsymbol{x}}}_2} = {A_2}\left( {{{\boldsymbol{x}}}+{{{\boldsymbol{x}}}_1}} \right). $

随后，再次使用特征复用的方式，将提取到的 $ {{{\boldsymbol{x}}}_2} $输回到另一支路，进而得到相应的输出 $ {{\bf{out}}}_1 $及 $ {{\bf{out}}}_2 $.

在训练阶段，使用公开的DIV2K^[22]数据集作为训练数据集，其包含了800张2K分辨率的高清图像，对这些高分辨率图像进行90°、180°、270°旋转以及比例缩放来进行数据增强. 训练所用的低分辨率图像由高分辨率图像经过双三次下采样获得，将高分辨率图像和对应的低分辨率图像分别裁剪成尺寸为 $ 48s \times 48s $和 $ 48 \times 48 $的图像块，其中 $ s $表示放大倍数. 在测试阶段，使用5个标准数据集：Set5^[23]、Set14^[24]、BSD100^[25]、Urban100^[26]和Manga109^[27]. 本研究在RGB通道上训练网络，在YCrCb空间中的Y通道上进行批次测试，同时使用峰值信噪比（peak signal-to-noise ratio, PSNR）^[28]和结构相似度（structural similarity, SSIM）^[29]进行评估.

网络训练所用平台为Ubuntu18.04，编程框架为Pytorch，处理器为Intel Core i9-9900K，显卡为RTX2080Ti，11 G显存，系统内存为64 G. 网络使用Adam算法^[30]进行优化，其具体参数设置为 $ \,\beta _1 = 0.9 $、 $ \,\beta _2 = 0.999 $、 $ \varepsilon = {10^{ - 8}} $. 使用 $ {L_1} $函数作为本研究网络的损失函数，图像批处理^[9]大小设置为16，整个网络共训练1000个epoch，初始学习率为0.0001，每200个epoch减少一半.

为了保证实验的公平性，所有实验训练批次为400个epoch.

对于给定的特征图 $ {{\boldsymbol{F}}} \in {{{\bf{R}}}^{C \times H \times W}} $，其中 $ C $、H和 $ W $表示该特征图的通道数、高度和宽度. 当特征图通过一个注意力机制 $ {H_{\rm{A}}} $时，将会产生一个注意力图 $ {H_{\rm{A}}}\left( {{\boldsymbol{F}}} \right) \in {{\bf{R}}^{{C'} \times {H'} \times {W'}}} $，其中 $ {C'} $、 $ {H'} $和 $ {W'} $取决于该注意力机制的功能，例如通道注意力机制针对通道数方面，生成一个一维注意力图（ $ {{\mathbf{R}}^{C \times 1 \times 1}} $），空间注意力机制则针对高度和宽度方面生成一个二维注意力图（ $ {{\mathbf{R}}^{1 \times H \times W}} $），而像素注意力机制针对通道数、高度和宽度3个方面生成一个三维注意力图（ $ {{\mathbf{R}}^{C \times H \times W}} $）. 当不同的注意力机制以并联的方式结合在一起时，不同维度的注意力图可能会相互产生影响.

本研究共设置了3种不同组合方式，“CA+PA”表示通道注意力模块和像素注意力模块以DB结构并行连接；“SA+PA”表示空间注意力模块和像素注意力模块以DB结构并行连接；“SA+CA”表示空间注意力模块和通道注意力模块以DB结构并行连接. 其中，通道注意力模块和像素注意力模块如图4所示，DB结构及空间注意力如图5、6所示. 在Set5数据集上进行测试（放大倍数s=4），统计400个epoch的平均PSNR. “CA+PA”、“SA+PA”、“SA+CA”组合方式下的平均PSNR分别为32.16、32.14、31.96 dB. 可以看出，“CA+PA”的组合方式更有利于产生较好的超分辨率重建结果，因此本研究选择“CA+PA”的组合方式.

为了验证本研究所提出的动态模块的有效性，将本研究算法和无动态模块的算法进行比较. 在Set5数据集上进行测试（放大倍数s=4），统计400个epoch的平均PSNR. 无动态模块时PSNR为32.16 dB，而存在动态模块时PSNR为32.32 dB，提升了0.16 dB. 由此可见，本研究所提出的动态模块，能够有效地将计算资源分配到重要特征上，对于提升网络的学习能力，作用是明显的.

为了验证DB结构的提升效果，在没有动态模块的影响下，将没有DB结构的本研究算法与存在DB结构的本研究算法进行对比. 在Set5数据集上进行测试（放大倍数s=4），统计400个epoch的平均PSNR. 无DB结构时PSNR为32.10 dB，而存在DB结构时PSNR为32.16 dB，提升了0.06 dB，说明DB结构能够更好地弥补不同支路间所忽视的特征信息，有利于提升图片重建质量.

为了验证本研究算法的有效性，进行客观效果的评估，在Set5、Set14、BSD100、Urban100和Manga109标准测试集上，将本研究算法的重建结果与当前先进的超分辨率算法Bicubic、EDSR-baseline^[9]、MemNet^[10]、CARN^[11]、IMDN^[31]、SeaNet-baseline^[32]、Cross-SRN^[33]和SRMDNF^[34]进行2倍、3倍、4倍放大倍数下的PSNR性能对比，对比结果如表1所示. 表中，加粗的为最优结果，下划线为次优结果. 可以看出，本研究所提出的DAN的平均PSNR和SSIM均显著优于其他主流对比方法的，在Set14测试集的放大2、3、4倍的情况下，与次优结果相比，平均PSNR分别提升了0.02、0.04、0.07 dB；而在BSD100测试集的放大2、3、4倍情况下，与次优结果相比，平均PSNR提升了0.01、0.01、0.04 dB. 同时，横向来看，当放大系数为4时，在5个测试集上，与次优结果相比，平均PSNR分别提升了0.08、0.07、0.04、0.15、0.15 dB. 在参数量方面，DAN算法能够在付出较小参数量提升的情况下，获得较高的重建性能提升幅度，例如，在放大系数为4的情况下，与次优结果相比，在参数量上仅提高了41 K. 这些实验结果表明，DAN对于不同放大系数及不同类型的图像均有良好的重建效果，但其能更好地适应重建难度更大的放大倍数较大的图像，也更善于重建存在不同频段细节特征的图片，同时可以在图像超分辨率性能和模型复杂度之间取得更好的平衡.

进一步进行主观效果的评估，如图7所示为在Set14、BSD100、Urban100这3种数据集上4倍放大倍数下的视觉效果图. 可以看出，DAN显著优于其他对比方法. 就Set14中的图像barbara，对于椅子上的线条纹路，虽然IMDN、CARN、EDSR_baseline可以判断出纹路间的区别，但本研究提出的DAN对于蓝色线条与杏色线条之间的纹理重建结果更为清晰并且整体视觉效果更好；就BSD100中的图像78004，对于图片中间的建筑纹路，DAN几乎完美地复原了图片中的纹理和网格信息；就Urban100中的图像img096，对于大厦右上角的区域，相比于重建质量好的CARN，DAN不仅避免了几何结构的失真现象，同时构建了更规则的纹理. 本研究提出的DAN之所以能够重建出更好的纹理和网格信息，主要得益于DB结构及DA模块：DB结构可以有效地避免特征信息的丢失；DA模块能够动态地调整不同注意力机制间的权重，进而有助于注意力机制在不同层次之间对不同特征信息进行适应性地选择.

本研究提出基于动态注意力网络的图像超分辨率重建算法. 通过构建的动态注意力模块，为不同注意力支路赋予权重，动态地调整不同注意力机制间的贡献，使网络更专注于所需要的信息，不仅降低了网络的计算复杂度，同时避免了均等处理方法中关注低频信息浪费计算资源的问题. 与单一的并行结合方式相比，本研究构建的双蝶式结构，更好地弥补了不同注意力机制间所遗漏的特征信息. 实验结果表明，在放大倍数为2、3、4的测试集上，本研究算法相比其他主流算法在评价性能指标和视觉效果上都能获得更好的效果. 然而在实际应用中往往需要任意倍数的图像超分辨率重建，因此，未来计划在本研究算法的基础上进行任意倍数的图像超分辨率重建算法的研究.