当人们从大雾天气中拍摄所需图像时，图像中的雾霾可能会影响图像的质量和美观. 其中光的衰减和成分污染是影响雾霾产生的重要因素. 具体来说，室外环境中的雾霾会导致图像质量较差，并且使图像中的对象特征难以区分^[1-3]. 因此，图像的去雾已经成为计算机视觉的重要研究领域.

在过去的几十年中，提取图像中的有效特征来解决除雾问题引起了人们的广泛关注.现阶段主流去雾算法可以大致分类为2种：基于模型的传统算法^[4-6]和基于深度学习的算法^[7-10]. 基于模型的去雾算法采用物理模型分析雾霾的原因，并通过修复图像的损失信息来恢复无雾图像. 而基于深度学习的算法可以使网络智能地学习雾霾的特征， 解决须人工设计雾霾图像特征的困难.

基于模型的传统算法是根据产生大雾天气的原因进行分析的，通过建立大气散射模型研究图像降解的物理原理以恢复原无雾图像，因此，采用这类算法不易出现图像特征明显丢失的情况，不过在实际应用中这类算法效果欠佳. 2010年，He等^[11]根据在室外环境中捕获的图像包含许多暗像素的现象，提出一种新颖的暗通道先验算法，得到了良好的效果. 但若图像的大部分都被光线或其他类似物体覆盖，该方法无法使用. 因此，金仙力等^[12]根据此问题提出基于引导滤波和自适应容差的图像去雾算法，在一定程度上解决了暗通道先验算法在对天空区域存在失真的问题. 总的来说，传统算法效果仍具有一定局限性，不能适用所有场景图像.

深度学习在各个领域取得了良好的发展, 因此, 采用深度学习方法解决去除雾霾的问题成为现阶段较流行的算法. Li等^[13]提出 AOD-Net模型, 通过轻量级的卷积神经网络结合大气散射模型直接生成清晰图像. 肖进胜等^[14]提出基于生成对抗网络的雾霾场景图像转换算法, 实现了有雾图像和无雾图像之间的相互转换. 因此，采用深度学习的方法可以解决传统方法不能解决的问题, 具有良好的前景.

基于深度学习算法的去雾模型也有缺陷. 深度学习算法采用卷积、池化、特征融合等方法提取图像中关键的特征来解决各样的问题，但提取特征的效率低于特征算法. 这会导致2种问题：1）网络学习到了使用传统算法获得的特征，但消耗了大量的时间和计算资源. 2）网络没有学习到使用传统算法获得的特征，降低了重建图像某一方面的精度. 因此，基于上述问题，考虑深度学习结合传统方法是一项十分有必要的工作.

Goodfellow提出生成对抗网络模型(generative adversarial network，GAN)^[15], GAN由2个网络构成: 生成网络和判别网络，生成网络生成假图使其与真图难以区分，而判别网络学习区分真图与假图.与传统深度学习有所不同，GAN的参数更新采用判别器的反向传播更新参数，而传统深度学习的参数更新却直接来自数据样本. 因此，GAN在图像去除雾霾的问题上具有良好的前景. Isola等^[16]基于生成对抗网络，提出一种使用匹配数据图像的方法pix2pix GAN，其将一组图像转换为另一组图像，将输入的图像作为对抗网络的条件, 进行网络对抗训练；并提出Patch GAN结构^[17]，对所有矩阵块的输出结果进行平均值计算，实现了匹配图像间的清晰映射. 图像去雾的本质是将一组有雾霾的图像转换至另一组无雾霾的图像，因此采用pix2pix GAN可以解决图像去雾的问题. 不过， pix2pix GAN的缺点也很明显，采用辅助图像作为输入可能致使网络收敛性降低. 另外，其未结合传统模型，存在消耗计算资源和降低重建图像精度的问题.

本研究针对以上问题, 做出如下贡献. 1)提出新型网络结构以解决pix2pix GAN重建图像精度低的问题. 2)使用反向学习机制代替随机裁剪机制，增加网络判断结果的准确性. 3）提出雾霾损失函数，强化网络学习雾霾特征的能力，提高图像转换质量.

相关的物理学知识和光学知识^[18-20] 已经证明，基于大气散射模型的图像去雾算法是有效的. 大气散射模型利用光线在大气中的传播性质搭建物理模型，模型公式为

(1) $ I\left( x \right) = J\left( x \right)t\left( x \right) + A\left[ {1 - t\left( x \right)} \right] . $

式中：J(x)为无雾霾的图像, I(x)为有雾霾的图像, A为大气光值,t(x)为透射率. 现已知条件为有雾图像I(x), 取原始图像中具有最高亮度的值作为A, 若求解J(x), 因含有t(x)未知项, 不加限制条件会有多组解集.

现阶段采用的生成对抗网络算法的逻辑如下：将I(x)作为生成器的输入,将J(x)作为生成器的输出, 通过生成器和判别器的对抗训练使生成器输出较为精确的无雾图像. 这样的方法固然能解决问题, 但物理模型是由前人总结所得的，在输入与输出间有完整的数学映射，若未将已搭建的物理模型添加进网络中，在网络学习过程中则须寻找物理模型中的映射关系，会增加网络寻找最优解的难度.

针对以上问题, 本研究受文献[21]的启发,但又不同于文献[21]，将大气散射模型添加进生成网络中, 旨在降低网络寻优难度, 加快网络的收敛性能. 传统网络结构在监督学习时仅有无雾图像作为Groundtruth优化网络，而本研究采用双解码器结构分别生成无雾图像和透射率图，后根据大气散射模型还原有雾图像，则有无雾图像与有雾图像2项作为Groundtruth优化网络，可以降低因单标准导致的结果单一性和过拟合化.

本模型的生成器如图1所示.可以看出,生成器结构由1个编码器和2个解码器构成. 编码器对有雾图像I(x)进行下采样, 在下采样完成后, 采用2个解码器对编码后的数据进行解码. 解码器1与现有深度学习方法相似, 旨在获得无雾的图像J(x).解码器2用来拟合t(x)，由大气散射模型可知，I(x)和t(x)存在一定的关系, 因此采用I(x)生成t(x)是可行的.真实的无雾图像和透射率使用J(x)和t(x)表示. 生成的无雾图像和透射率使用G₁(x)和G₂(x)表示.

在得到无雾图像G₁(x)和透射率G₂(x)后, 通过式(1)可以计算出有雾图像I'(x), 通过计算原图I(x)和假图I'(x)之间的距离进一步训练生成器的能力, 具体损失函数将在第3章中讨论.

在生成器的结构中,参考Ronneberger等^[22]提出的U-net网络结构, 将下采样中同一维度的特征复制到上采样中, 从而减少网络因内容丢失而导致生成低精度图像的可能性. 网络的下采样采用3×3的卷积层和最大池化层对图像进行特征采集. 在上采样中采用反卷积对还原图像尺度. 生成器网络结构参数如表1所示.

PatchGAN^[17]将输入的图像随机裁剪成多个N×N的Patch块, 判别器对每项Patch块进行真伪判断, 在得到结果真伪矩阵后对其进行平均值计算, 得到最终输出值, 以达到分类目的. 但实验结果发现，采用随机裁剪将输入图像裁剪成Patch块可能会导致选择特征区域重复选择致使判断结果不准确. 因此，提出反向学习PatchGAN结构. 其中反向学习算法（opposition-based learning, OBL）定义^[23]如下：

定义1　给定x为区间[a, b]上一实数, 即x∈[a, b]. 则其反向数为 ${\hat x}$， $\hat x $定义为

(2) $ \hat x = a + b - x . $

定义2　给定P(x₁, x₂$,\cdots, $ x_D)为D维空间上一点，其中x₁, x₂$,\cdots, $ x_D 为实数，且满足x_i∈[a_i,b_i]，i=1, 2 $,\cdots, $ D. 根据反向点定义，其反向点为 $\hat P (\hat {{x}}_1, \hat {{x}}_2,\cdots, $ $ \hat {{x}}_{{D}}$，且满足如下定义：

(3) $ \hat {{x_i}} = {a_i} + {b_i} - {x_i} . $

反向点在一维和二维的表达如图2、3所示.

鉴于OBL算法的良好性能,用反向学习代替随机裁剪, 当裁剪Patch块时, 同时裁剪Patch块的反向块, 旨在有效降低因采用随机裁剪算法而导致特征区域重复选择从而致使判断结果不准确的概率, 有效提高判别器的准确率. 反向学习判别器可视图如图4所示.

区别于传统的70×70图像块,本研究采用30×30大小的图像块,降低模型的计算特征参数量, 提高运算效率.

判别器具有5层网络结构,采用Conv-Batch Normaliation-Leaky ReLU层训练, 其中卷积核的大小为4×4，leak设置为0.2，最后经过1×1卷积将学习到的特征输入进sigmod函数计算得到真伪结果. 网络参数如表2所示.

为了有效提高图像的去雾性能,融合大气散射模型、双解码器结构、反向学习机制对原网络的生成器、判别器、损失函数均做出改进. 提出一种端到端生成对抗网络的图像去雾算法,算法整体结构如图5所示，包括训练数据集、测试数据集、生成对抗网络框架3部分.

先将有雾图像集输入生成网络中，生成网络采用双解码器架构并加入大气散射模型生成所需的无雾图像；随后将生成网络生成的无雾图像与现实中无雾图像同时输入判别网络中，进行图像真假判别，反复进行以上网络训练，得到生成对抗网络模型；最后在模型中输入测试图像，得到本研究所需的无雾图像.

在网络中添加传统的损失函数也可以增加网络的有效性^[24-26]，pix2pix GAN采用条件生成对抗网络(conditional generative adversarial nets，CGAN)损失+L1损失方法获得了较好效果，pix2pix GAN的损失L(G, D)为

(4) $ L\left( {G,D} \right) = {L_{\rm {CGAN}}}\left( {G,D} \right) + \lambda {L_{\rm {L1}}}\left( G \right) , $

(5) $ \begin{split} {L_{{\rm{CGAN}}}}\left( {G,D} \right) = \;&{E_{x,y}}\left[ {{{\log }}\;{\mkern 1mu} D\left( {x,y} \right)} \right] + \\ \;&{E_x}\left[ {{{\log }}\;{\mkern 1mu} \left( {1 - D\left( {G\left( x \right)} \right)} \right)} \right], \end{split} $

(6) $ {L_{{\rm{L}}1}} = {E_{x,y\sim {P_{{\rm {data}}\left( {x,y} \right)}}}}\left[ {{{\left\| {y - G\left( x \right)} \right\|}_1}} \right] . $

式中：G为生成器，D为判别器，L表示损失函数，E表示取均值, x为有雾图像分布，y为无雾图像分布. L1损失为假无雾图像与真无雾图像之间的L1距离. 本研究添加了雾霾损失，即假有雾图像与真有雾图像之间的L1距离.

假有雾图像由假无雾图像G₁(x)和投射率G₂(x)得到：

(7) $ {L_{{\rm{fog}}}} = {E_{x,y\sim {P_{{\rm{data}}}}(x,y)}}\left\| {x - {G_1}(x){G_2}(x) + } {A[1 - {G_2}(x)]} \right\|. $

因此,最终优化函数须解此极大极小值问题：

(8) $ \begin{split} G^* = \;&\arg \mathop {\min }\limits_G \,\mathop {\max }\limits_D\, {L_{\rm {CGAN}}}\left( {G,D} \right) + {\lambda _1}{L_{\rm {L1}}}\left( G \right) + \hfill \\ \;&{\lambda _2}{L_{\rm {fog}}}\left( G \right). \end{split} $

式中：λ₁和λ₂为超参数，按深度学习经验得到λ₁=λ₂=100.

为了验证本研究所提方法在图像去雾算法中的优势,采用NYU数据集和SOTS数据集进行验证，数据集如图6所示. NYU数据集包含1449对无雾图像和相应的合成的雾霾图像，雾霾是由专业的雾霾机器生成的，该机器模仿高保真度的真实雾霾条件. 从SOTS数据集中选择500个室内图像,每一个图像合成10个模糊图像.

实验环境为天阔W580-G20 服务器，CPU处理器为E5-2600V3，GPU处理器为2080ti，实验工具采用python3.6.5，算法采用tensorflow框架实现，并且安装Slim库、Opencv库以简化代码冗余度.

本研究算法采用1399组匹配图像（有雾图像和无雾图像）作为训练数据集，50组无雾图像作为测试数据. 为了固定数据的一致性，每张图像均resize至256×256×3像素，且所有网络均采用Adam算法进行优化. 生成器与判别器前5000代学习率均为1×10⁻⁴大小，后5000代衰减成0. 每迭代10次记录一次loss函数和训练时间，共迭代10000次.

现阶段，针对图像翻译问题公认采用结构相似性(structural similarity index measure, SSIM)^[27]和峰值信噪比(peak signal to noise signal, PSNR)^[28]这2个指标来评估生成器生成图像的质量. SSIM是从图像组成的角度将结构信息定义为独立于亮度、对比度的, 反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构3个不同因素的组合. PSNR是基于对应像素点间的误差,即基于误差敏感的图像质量评价，是最普遍和使用最为广泛的一种图像客观评价指标. 具体地讲，通过这2个指标，可以从结构和信号相似度来判断生成图像质量与真实图像的差异. SSIM和PSNR具体表达式如下：

(9) $ {\rm {SSIM}}{\text{ = }}\frac{{\left( {2\bar x \bar y + {C_1}} \right)\left( {2\sigma xy + {C_2}} \right)}}{{\left( {{{\overline x }^2} + \overline y + {C_1}} \right)\left( {\sigma {x^2} + \sigma {y^2} + {C_2}} \right)}} . $

式中：x为图像A，y为图像B， $\bar x $为x的平均值， $\bar y $为y的平均值，σx²为x的方差，σy²为y的方差，σxy为x和y的协方差；C₁和C₂为使公式趋于稳定的常数，C₁=(k₁, L)²，C₂=(k₂, L)²,L为像素的动态范围，k₁=0.01，k₂=0.03. SSIM的取值范围为0到1.0. 若将2张相同图片输入，SSIM =1.0.

(10) $ {\rm {PSNR}}{\text{ = 10}} \times {\text{lo}}{{\text{g}}_{{\text{10}}}}\;({{255}}/{{\rm {MSE}}}) . $

式中：MSE为原图像与处理图像的均方误差.

(11) $ {\rm {MSE}}{\text{ = }}\frac{1}{N}{\sum {\left( {{x_{\rm r}} - {x_{j}}} \right)} ^2} . $

式中：x_r为原图像，x_j为处理图像.

由3.2节可知，λ₁与λ₂均为网络的超参数，是对L1损失和雾霾损失影响的权重，考虑深度学习的特点，按经验设置λ₁=λ₂=100，使网络更好地寻找梯度. 本研究亦对权重进行了充分的实验，如图7所示，实验结果表明，当λ₁=λ₂=100时，图像去雾效果最好. 如表3所示为如图7所示对比图对应的SSIM和PSNR指标. 可以看出，当λ₁=λ₂=100时，图像指标最高.

为了有效提高训练生成图像的训练质量,采用第3章中所提出的损失函数进行对比实验.采用本研究所提模型作为基准模型，CGAN、CGAN+L1损失、CGAN+雾霾损失作为对比模型，实验结果如表4所示. 可以看出，采用L1损失+雾霾损失+CGAN损失函数的PSNR和SSIM指标均优于其他三者的.

如图8所示为不同损失函数生成图像的对比. 可以看出，使用CGAN损失函数的生成图像质量并不高，在加入正则化L1损失函数后，图片质量提升虽较为明显，但细节纹理损失较为严重，在采用雾霾损失后，虽与原始图像还有差距，但在细节纹理方法明显有较大提升.

不同网络结构对生成图像质量的影响如图9所示. 可以看出，采用pix2pix GAN算法，仍有少量雾气残留；pix2pix GAN+OBL和pix2pix GAN+双解码器算法虽然对pix2pix GAN有一定改进，但生成图像存在着大量的毛刺纹理，影响图像质量；而本研究算法结合了OBL算法和双解码器的优点，去雾质量明显有所提高. 不同网络结构的SSIM和PSNR指标如表5所示.

在实际场景中，雾霾浓度的变化影响提取图像中关键信息的效率，因此本研究对相同场景不同雾霾浓度下的表现进行对比，结果如图10所示.可以看出，在浓度1（雾霾最严重）中，算法的去雾效果稍有些色彩偏差. 在其余浓度的雾霾中，算法去雾效果类似，说明雾霾浓度变化对本研究所提出的算法没有较大影响. 如图11所示为不同雾霾浓度下算法的去雾效果指标.

为了验证本研究所提出算法的有效性，将本研究算法与刘国等^[18]提出的基于自适应暗原色的单幅图像去雾算法ADCP、Gao等^[29]提出的DPDAR算法，Cai等^[30]提出的DeHazeNet算法、Ren等^[31]提出的MSCNN-HE算法、Zhao等^[32]提出的DDcycleGAN进行对比. 对比数据包含天空部分图像、浓雾的白色场景图像与室内光线变换的图像，对比结果如图12、13所示.

如图12(a)所示为输入网络的有雾图像，图12(i)为无雾图像，图12(b)、(c)为根据物理原理去雾算法得到的结果. 可以看出，在不包含天空场景的雾霾图像中DPDAR算法具有优秀的去雾能力，但在包含空中色彩的图像中，算法会导致一定的色彩偏差现象，与原图差距较大. 如图12(d)所示为近些年提出的DeHazeNet网络，可以看出，其对室内、包含空中色彩的图像的去雾能力均较强，但对于浓雾的白色场景图像存在性能偏差. 如图12(e)所示的DDcycleGAN采用非匹配数据的方法，属于无监督学习，而图12(f)的MSCNN-HE采用匹配数据的方法，属于监督学习. 因此，DDcycleGAN去雾的效果稍逊色于MSCNN-HE网络，生成图像呈现部分瑕疵；在室内光线变化的图像中，DDcycleGAN存在着一定的光线过拟合的情况. 如图12(g)所示为本研究算法的结果，可以看出处理图与原图色彩相仿，其原因为网络采用有雾图像与无雾图像2项约束并通过生成对抗网络形成网络对抗训练得到较优结果. 如图12(h)所示为深度网络所生成的透射率参数. 如图13所示，采用柱状图展示了对比算法中测试集场景的平均结果. 可以看出，本研究算法的指标均优于其他算法的.

结合深度学习方法和传统机理模型建模提出结合大气散射模型的生成对抗网络去雾算法. 该算法通过双解码器使网络生成无雾图像和透射率，通过大气散射模型还原有雾图像. 通过缩小生成图像与原图像的距离，优化生成器的性能. 加入OBL算法，通过OBL的良好性能，加强判别器的效率，平衡判别器与生成器的性能，进一步提高生成样本质量.

实验结果表明本研究的去雾算法表现出较高性能，在NYU和SOTS数据集上，相较于MSCNN-HE、DDcycleGAN、DeHazeNet等算法有一定的竞争能力. 但本研究算法仍有些不足，如在训练时内存占用率较高，计算效率偏低，这些将是今后工作的重点.