水下图像是海洋信息的重要载体，在水下考古、海洋生态研究、海洋工程等领域扮演着重要的角色^[1]. 与陆地拍摄的图像不同，复杂的水下成像环境使水下图像出现严重的质量退化问题^[2]：1）不同波长的光在水中传播时衰减程度不同，使得水下图像产生严重的颜色偏差，以蓝绿色偏为主；2）水体的散射导致水下图像对比度低、纹理模糊；3）水中的杂质和悬浮物导致图像引入噪声，并且放大后向散射的影响^[3]. 退化的水下图像极大地影响了主观视觉质量，以及基于计算机视觉的水下监视、水下目标跟踪等应用的性能^[4]. 因此，水下图像增强算法的研究具有重要的意义.

现有的水下图像增强算法大致可分为2类：传统的水下图像增强算法和基于深度学习的水下图像增强算法. 传统的水下图像增强算法大多基于特定的场景，利用假设和先验知识对图像进行增强处理，往往存在鲁棒性不高、实时性较差等问题. 例如Singh等^[5]提出基于曝光的递归直方图均衡化图像增强方法，该方法可以获得较高的峰值信噪比和较低的均方误差，但未能有效解决不同水下场景中的色偏问题. Zhang等^[6]提出扩展多尺度Retinex的水下图像增强算法，将具有色彩恢复的多尺度视网膜增强算法扩展到CIELab颜色空间，可以有效抑制图像增强过程中的光晕现象，但该方法引入过多参数导致鲁棒性较差.

基于深度学习的水下图像增强算法主要利用卷积神经网络自动提取水下图像特征，得到原始水下图像与增强图像之间的映射关系，实现水下图像清晰化. 基于监督学习的方法需要大量成对的样本进行监督训练，但实际中收集足够多成对的水下图像极其困难. Li等^[7]将水下图像生成模型嵌入生成对抗网络（generative adversarial network，GAN）结构中，利用清晰的陆地图像生成浑浊的水下图像；然后利用该成对数据集训练水下图像增强网络模型. Chen等^[8]通过水下图像成像模型，将浑浊的水下图像转化为清晰的水下图像，然后用该成对的数据集训练条件生成对抗网络实现水下图像增强. 但由于合成图像与真实水下图像的分布存在差异，这类方法在真实图像增强效果方面并不理想. Zhu等^[9]提出的循环对抗神经网络（cycle-consistent adversarial networks，CycleGAN）设计了一种双路GAN结构并引入了循环一致性损失，放宽了对成对训练集的需求，但该算法不能完整地恢复原始图像中的内容信息. Li等^[10]在CycleGAN的基础上提出了一种弱监督水下图像颜色转换方法，该网络模型设计的多项损失函数在去除水下图像色偏的同时，保留了原始图像中的内容信息，但该方法对图像对比度的增强效果不佳.

针对现有的基于深度学习的水下图像增强算法存在的问题，本文提出一种融入注意力机制的弱监督水下图像增强算法. 由于不同波长的光在水中传播时存在衰减差异，因此将红通道衰减图作为注意力图与水下图像同时输入生成网络，进行融入注意力机制的对抗网络训练。同时采用全局和局部2种判别器约束生成网络模型，提高生成图像清晰度. 实验结果表明，本文算法能有效地提高水下图像对比度，增强细节，校正色偏.

在水下环境中，不同波长的光具有不同的衰减程度. 一般情况下，红光的波长最长，在水中的穿透力最弱，因此最先消失. 蓝光因为具有最短的波长，在水中的穿透力最强，所以在水中传播距离最远. 这种与波长相关的光传播是导致水下图像颜色偏差的主要原因^[11].

根据光在水中传播时的选择性衰减特点，若假设背景光已知，则可以利用红通道与蓝绿通道之间的差异估计介质透射率图^[12]. 各通道之间的衰减差异可以通过比较红通道的最大值与蓝绿通道的最大值得到:

(1) $D\left( x \right) = \max {I_{\rm{R}}}\left( x \right) - \max {I_{{\rm{BG}}}}\left( x \right).$

式中： $x$为像素点， $D\left( x \right)$为红通道的最大值与蓝绿通道的最大值之差， ${I_{\rm{R}}}\left( x \right)$为红通道的像素值， ${I_{\rm{BG}}}\left( x \right)$为蓝绿通道的像素值. 估计的红通道介质透射率 ${{\tilde t_{\rm{r}}}}$计算公式为

(2) $ {{ \tilde t_{\rm{r}}}}\sim \left( x \right) = D\left( x \right) + \left[ {1 - \mathop {\max }\limits_x D\left( x \right)} \right].$

由式（2）可得红通道衰减 ${A_{\rm{r}}}\left( x \right)$：

(3) ${A_{\rm{r}}}\left( x \right) = 1 - {{\tilde t_{\rm{r}}}} \left( x \right).$

生成对抗网络是蒙特利尔大学Goodfellow Ian于2014年提出的一种网络模型^[13]. 该网络模型中包含一个生成器模型G和一个判别器模型D，其基本网络如图1所示.

图1中，生成器G根据随机变量z生成一幅图像，然后与真实图像同时输入判别器D进行二分类神经网络训练. G的目标是用生成图像去欺骗D，D若能辨别该生成图像是真实图像就直接输出该生成图像，否则将判别该生成图像是虚假图像的结果反馈给G，G再重新生成图像欺骗D，直到D判别生成图像是真实图像为止. Goodfellow等^[13]提出优化的目标函数为

(4) $\begin{split} \mathop {\min }\limits_G \mathop {\max }\limits_D V\left( {D,G} \right) =& {E_{x \sim {p_{\rm{d}}}\left( x \right)}}\left[ {\log \;D\left( x \right)} \right] + \\ &{E_{z \sim {p_z}\left( z \right)}}\left[ {\log \;\left( {1 - D\left( {G\left( z \right)} \right)} \right)} \right] . \end{split} $

式中： ${p_{\rm{d}}}\left( x \right)$为真实图像的概率分布， ${p_z}\left( z \right)$为输入随机变量的概率分布， $E$为期望值， $G\left( z \right)$为通过随机变量生成的图像. 生成对抗网络模型通过最大化D，再最小化G，最终实现目标函数的最优化.

为了解决监督学习的水下图像增强算法所需成对训练集获得困难的问题，提出一种融入注意力机制的弱监督水下图像增强算法，算法流程如图2所示. 首先原始水下图像通过逐像素值运算得到注意力图像，这里采用红通道的衰减图作为注意力图，再将原始图像和注意力图像同时输入融入注意力机制的生成器中，在注意力图像的引导下生成器输出生成图像. 然后将生成图像与真实图像输入全局判别器，生成图像块与真实图像块输入局部判别器，2个判别器共同判别该生成图像是真是假. 若辨别该生成图像是真实图像就直接输出该生成图像（增强后的水下图像），否则将判别结果反馈给生成器，生成器继续生成图像欺骗2个判别器，直到2个判别器均无法辨别生成图像与真实图像真假为止.

算法核心网络主要包括融入注意力机制的生成器和全局-局部判别器，其网络结构如图3所示. 如图3（a）所示为融入注意力机制的生成器，由介质透射率图变换得到红通道衰减图作为注意力图，引导网络学习水下图像红通道的衰减权重，将权重与原图矩阵点乘，再与原图相加，得到生成图像. 如图（b）所示为全局-局部判别器，全局判别器判别生成图像与真实图像的真假，局部判别器判别随机裁取的生成图像与真实图像的局部小块的真假.

注意力机制一方面可以减轻计算高维数据的负担，降低数据的维度；另一方面可以帮助网络更专注于学习与任务最相关的信息，从而提高网络的学习能力. 注意力机制模型的最终目的是帮助网络学到更多不同信息之间隐蔽、复杂的映射关系. 这种关系对于弱监督/无监督学习网络尤为有效. 水下图像与陆地图像最大不同是存在色偏问题，根据不同颜色的光在水中传播时的衰减程度不同，估计出介质透射率图. 蓝绿通道的透射率图是由红通道透射率图求出，所以红通道的透射率图就已经包含了蓝绿通道的透射率图的信息. 因此，这里采用处理后的红通道的透射率图（红通道的衰减图）作为注意力图来引导网络进行水下图像颜色修正.

通过将注意力机制融入改进的U-Net^[14]，构成注意力图引导的生成器，如图3（a）所示. U-Net通过从不同的深度层中提取多层次的特征，利用多尺度的内容信息合成高质量的图像，保留了图像丰富的纹理信息，在语义分割、图像复原和增强^[15]等方面获得了较好的性能，因此采用U-Net作为生成器的基础网络结构.

生成器的运算过程是：先通过5次卷积操作实现图像下采样，再通过4次反卷积操作实现图像上采样. 为了避免信息丢失，在下采样阶段，采用卷积替代最大池化，以保留更多的内容信息. 为了减少栅格效应，在上采样阶段，将标准的反卷积层替换为一个双线性上采样层和一个卷积层，以保留更多的纹理信息. 此外，为了保证注意力图像的大小适应每个对应特征图像，将注意力图像与水下图像同时输进网络模型进行下采样. 再将每层下采样的注意力图像与对应的特征图像点乘并与上采样中对应大小的特征图像相连，从而发挥注意力图像的引导作用，来提高生成网络模型增强水下图像的性能.

全局判别器判别整张图像的真假，只能实现图像全局增强. 当输入图像有局部区域需要不同于其他部分进行增强时，全局判别器无法对局部区域进行特定增强. 因此，为了自适应地对图像局部区域进行增强，采用一种全局-局部判别器结构^[16]，即除了全局判别器外，增加一个局部判别器，如图3（b）所示. 局部判别器能够从增强图像和真实图像中随机选取局部小块，并分辨它们是来自真实的图像还是生成的图像. 全局-局部判别器结构保证了增强图像的局部区域在主观视觉上更加真实自然，这对于避免局部失真至关重要.

对于全局判别器，Alexia^[17]提出相对判别器. 该结构分为2部分： ${D_{{\rm{ra}}}}\left( {{x_{\rm{r}}},{x_{\rm{f}}}} \right) $估计真实数据比生成数据更真实的概率， ${D_{{\rm{ra}}}}\left( {{x_{\rm{f}}},{x_{\rm{r}}}} \right) $估计生成数据比真实数据更不真实的概率. 理想状态下，希望 $ {D_{{\rm{ra}}}}\left( {{x_{\rm{r}}},{x_{\rm{f}}}} \right)$无限趋近于1， ${D_{{\rm{ra}}}}\left( {{x_{\rm{f}}},{x_{\rm{r}}}} \right) $无限趋近于0. 相对判别器的标准函数为

(5) ${D_{{\rm{ra}}}}\left( {{x_{\rm{r}}},{x_{\rm{f}}}} \right) = \sigma \left( {C\left( {{x_{\rm{r}}}} \right) - {E_{{x_{\rm{f}}} \sim {P_{\rm{f}}}}}\left[ {C\left( {{x_{\rm{f}}}} \right)} \right]} \right).$

(6) ${D_{{\rm{ra}}}}\left( {{x_{\rm{f}}},{x_{\rm{r}}}} \right) = \sigma \left( {C\left( {{x_{\rm{f}}}} \right) - {E_{{x_{\rm{r}}} \sim {P_{\rm{r}}}}}\left[ {C\left( {{x_{\rm{r}}}} \right)} \right]} \right).$

式中： $C$为网络的判别器， ${x_{\rm{r}}}$、 ${x_{\rm{f}}}$分别为真实图像分布和生成图像分布， ${P_{\rm{r}}}$为真实图像的概率分布， ${P_{\rm{f}}}$为生成图像的概率分布， $E$为期望值， $\sigma $为Sigmoid激活函数. 采用Mao等^[18]提出的损失函数，最终全局判别器D和生成器G的损失函数为

(7) $\begin{split} L_D^{\rm{G}} = & {E_{{x_{\rm{r}}} \sim {p_{\rm{r}}}}}\left[ {{{\left( {{D_{{\rm{ra}}}}\left( {{x_{\rm{r}}},{x_{\rm{f}}}} \right) - 1} \right)}^2}} \right] + \\ & {E_{{x_{\rm{f}}} \sim {p_{\rm{f}}}}}\left[ {{D_{{\rm{ra}}}}{{\left( {{x_{\rm{f}}},{x_{\rm{r}}}} \right)}^2}} \right] , \end{split}$

(8) $\begin{split} L_G^{\rm{G}} = &{E_{{x_{\rm{f}}} \sim {p_{\rm{f}}}}}\left[ {{{\left( {{D_{{\rm{ra}}}}\left( {{x_{\rm{f}}},{x_{\rm{r}}}} \right) - 1} \right)}^2}} \right] + \\ & {E_{{x_{\rm{f}}} \sim {p_{\rm{f}}}}}\left[ {{D_{{\rm{ra}}}}{{\left( {{x_{\rm{r}}},{x_{\rm{f}}}} \right)}^2}} \right] . \end{split} $

对于局部判别器，从每次生成图像和真实图像中分别随机裁剪出6个小块，大小均为32×32. 局部判别器D和生成器G的损失函数为

(9) $ L_D^{\rm{L}} = {E_{{x_{\rm{r}}} \sim {P_{{\rm{rp}}}}}}\left[ {{{\left( {D\left( {{x_{\rm{r}}}} \right) - 1} \right)}^2}} \right] + {E_{{x_{\rm{f}}} \sim {P_{{\rm{fp}}}}}}\left[ {D{{\left( {{x_{\rm{f}}}} \right)}^2}} \right] , $

(10) $L_G^{\rm{L}} = {E_{{x_{\rm{r}}} \sim {P_{{\rm{fp}}}}}}\left[ {{{\left( {D\left( {{x_{\rm{f}}}} \right) - 1} \right)}^2}} \right].$

式中： ${P_{{\rm{rp}}}}$为真实图像块的概率分布， ${P_{{\rm{fp}}}}$为生成图像块的概率分布.

全局判别器的运算过程是：先通过5次下采样操作再经过1次激活函数处理来实现图像判别. 每次下采样包括1个卷积层（convolution layer）和1个批量标准化层（batch normalization layer），采用Leaky Relu激活函数，在第5次下采样操作后通过Sigmoid激活函数输出最终结果. 局部判别器的运算过程是：先通过4次下采样操作再经过1次Sigmoid激活函数处理来实现局部图像判别. 其中，每次下采样操作均与全局判别器的下采样操作相同.

结构相似性^[19]从图像组成的角度定义结构信息，反映物体的结构属性. 使用均值估计亮度，标准差估计对比度，协方差估计结构相似程度，结构相似性 $S\left( p \right)$可表示为

(11) $S\left( p \right) = \frac{{2{\mu _x}{\mu _y} + {C_1}}}{{\mu _x^2 + \mu _y^2 + {C_1}}} \cdot \frac{{2{\sigma _{xy}} + {C_2}}}{{\sigma _x^2 + \sigma _y^2 + {C_2}}}.$

式中： $p$为一个图像块的中心像素， $x$为大小为 $11 \times $ $ 11$的水下图像块， $y$为大小为 $11 \times 11$的生成图像块， ${\mu _x}$为 $x$的均值， ${\sigma _x}$为 $x$的标准差， ${\mu _{{y}}}$为 $y$的均值， ${\sigma _y}$为 $y$的标准差， ${\sigma _{xy}}$为 $x{\text{、}}y$的协方差， ${C_1}$=0.02， ${C_2}$=0.03. 当结构相似性已知，输入的水下图像 $x$与生成图像 $G\left( x \right)$之间的全局结构相似性损失为

(12) $L_S^{\rm{G}}\left( {x,G\left( x \right)} \right) = 1 - \frac{1}{N}\sum\limits_{p = 1}^N {\left( {S\left( p \right)} \right)} .$

对于局部判别器，从水下图像中随机裁剪出的局部小块 ${x^{'}}$和对应的生成图像局部小块 $G\left( {{x^{'}}} \right)$之间的局部结构相似性损失为

(13) $L_S^{\rm{L}}\left( {{x^{'}},G\left( {{x^{'}}} \right)} \right) = 1 - \frac{1}{M}\sum\limits_{p = 1}^M {\left( {S\left( p \right)} \right)} .$

网络模型总体损失函数为

(14) ${\rm{Loss}} = {\lambda _1}L_S^{\rm{G}} + {\lambda _2}L_S^{\rm{L}} + {\lambda _3}L_G^{\rm{G}} + {\lambda _4}L_G^{\rm{L}}.$

根据训练数据和实验结果，选取权重 ${\lambda _1}$、 ${\lambda _2}$、 ${\lambda _3}$和 ${\lambda _4}$的值分别为5、3、5、3. 基于训练集的启发式实验发现结构相似性损失与生成器损失同样重要，因此所有结构相似性损失之和与所有生成器损失之和占有相同的权重比例. 同时为了避免局部损失过高导致全局效果不理想的现象，适当降低局部结构相似性损失和局部生成器损失的权重，以达到全局损失与局部损失的平衡.

训练集包括3 800张水下图像和3 800张清晰的陆地图像，这些图像来自于Li等^[20-21]提供的数据集. 所有训练图像都调整为256×256大小. 采用Adam优化器，学习率设为0.000 1，批量处理大小为16. 网络实现基于Pytorch框架，使用NVIDIA 1080Ti GPU.

将本文算法与文献[12]、[9]、[10]、[21]这4种经典的水下图像增强算法分别从主观评价和客观指标上进行对比分析，测试集为3 600张水下图像，所用图片来源于网络和Islam等^[22]提供的数据集.

本文算法与现有的4种经典水下图像增强算法的对比结果如图4所示. 文献[12]算法处理后的图像远景处理效果不够理想，远景色偏仍然存在，有些图像还出现了颜色过饱和问题. 该算法引入过多的参数，导致该算法鲁棒性不高. 文献[9]算法处理后的图像整体偏黄，局部视觉效果不够自然. 文献[10]算法处理后的图像噪声明显，图像整体偏暗，局部清晰度不高. 文献[21]算法处理后的图像有局部色偏没有去除，局部对比度较低. 这4种算法都仅对全局图像进行增强，无法实现局部区域特定增强，导致整体视觉效果不佳. 通过与这4种算法对比，本文算法修正了图像色偏，实现了图像局部区域的特定增强，整体亮度提升，视觉效果更为清晰自然.

为了突出本文算法能够有效地保留更多的图像细节，将本文算法增强后的图像与文献[12]、[9]、[10]、[21]这4种经典的水下图像增强算法增强后的图像进行相同位置、相同倍数的放大处理，对比结果如图5所示. 经过局部放大后，本文算法处理后的图像比原始水下图像以及4种经典的水下图像增强算法增强后的图像具有更加清晰的纹理结构. 本文算法可以修复图像更多细节，具有较好的图像增强效果.

采用4种水下图像质量评价指标，分别是水下图像质量指标（underwater image quality measure，UIQM）^[23]、水下图像对比度度量指标（underwater image contrast measure，UIConM）、水下图像质量评估度量指标（underwater color image quality evaluation，UCIQE）^[24]和信息熵（entropy）. UIQM和UCIQE是目前较为公认的2种综合性水下图像质量评价指标. UIQM从色彩度量指标（UICM）、清晰度度量指标（UISM）、对比度度量指标（UIConM）3个方面对增强后的图像进行客观评价. UIQM的值越高说明图像的综合质量越好，UIConM的值越高说明图像的对比度越好. UCIQE是从色度、饱和度和对比度3个方面对增强后的水下图像进行综合评价，该值越高，说明增强图像的总体效果越好. 信息熵度量图像所含信息量，该值越高说明图像所含信息量越大，内容越丰富.

为减小随机误差，对3 600张测试图像的客观评价指标结果取均值，均值精确到0.000 1. 与各算法的对比结果如表1所示. 本文算法在综合度量UIQM、对比度度量UIConM和信息量度量Entropy指标上均高于其他算法，说明本文算法增强后的图像整体效果更好，对比度更高，内容细节更丰富. 本文算法在UCIQE指标上取得了次优结果，结合UIQM评价指标结果可知，文献[12]算法增强后的水下图像的饱和度更高. 但是饱和度越高，并不代表图像的质量就越高，当饱和度过高时，图像会给人产生不真实、不自然的效果. 总体来说，本文算法的客观指标在对比度、综合效果以及信息量上表现更好，图像更为清晰.

综合主观评价和客观指标，本文算法能够有效去除色偏，具有较高的对比度，恢复更多图像细节与内容信息，提高了图像的亮度，具有更加自然清晰的视觉效果. 不管是在主观视觉上还是客观指标上均优于其他算法.

为了突出融入注意力机制在算法中的重要作用，开展消融实验. 在保证其他实验条件相同的情况下，去除注意力机制进行实验.

采用相同测试集进行未融入注意力机制的消融实验，并给出了由原始水下图像生成的注意力图（红通道衰减图）. 主观对比结果如图6所示.

图6中，未融入注意力机制的增强图像与原始水下图像相比，在一定程度上去除了色偏，提高了图像对比度，具有一定的增强效果，但是仍有色偏存在，图像视觉效果不够清晰. 将融入注意力机制的增强图像和未融入注意力机制的增强图像相比，融入注意力机制后的增强图像修正了色偏，对比度更高，细节更明显，具有更加清晰的视觉效果.

采用相同测试图像进行未融入注意力机制的消融实验并计算处理后图像的客观评价指标，结果取均值精确到0.000 1. 融入注意力机制的增强图像与未融入注意力机制的增强图像的客观评价指标对比如表2所示.

融入注意力机制的增强图像在综合度量UIQM、UCIQE以及UIConM和Entropy指标上均高于未融入注意力机制的增强图像，说明本文算法增强后的图像整体效果更好，对比度更高，内容细节更丰富. 因为未融入注意力机制的增强图像仍有部分色偏未能去除，导致未融入注意力机制的增强图像在色彩度量UICM指标上高于融入注意力机制的增强图像.

综合主观评价和客观指标，融入注意力机制的增强算法能够有效去除色偏，提高图像对比度，增强后的图像具有更加清晰自然的视觉效果. 不管是在主观视觉上还是客观指标上均优于未融入注意力机制的增强算法.

本文算法充分考虑了水下图像与陆地图像的差异，利用卷积神经网络本身的学习能力自动提取特征，采用注意力机制引导网络学习，最终实现水下图像增强. 本文算法解决了监督学习的水下图像增强算法所需成对训练集获得困难，现有无监督学习的水下图像增强算法增强效果欠佳的问题. 对水下图像增强的研究具有重要意义.

本文算法主要考虑水下图像颜色校正和对比度增强，在极度浑浊的水下图像增强方面存在不足. 在未来的研究中，将会提高传输图估计的准确性，增强算法的鲁棒性.