雾霾是常见的大气现象，由微小的漂浮颗粒吸收和散射其传播方向的光而产生.由于大气光衰减和散射的影响，拍摄的图像亮度和对比度会降低，颜色衰减纹理变得模糊，这给一些基于户外场景的计算机视觉应用带来困难，如户外场景的自动驾驶、行人检测和目标检测等^[1-2]. 这些视觉应用对光照和天气状况极其敏感，雾和低光照使得这些应用算法的性能降低，而去雾是提高这些视觉应用性能的重要一步.

由于真实的成对有雾图像难以得到，研究人员采用大气光散射模型（atmospheric scattering model, ASM）合成数据并训练模型. 目前，在合成数据上的去雾方法性能得到了极大的提升^[3-5].然而，当将这些性能先进的去雾算法应用在真实数据上时，去雾结果会出现雾残留和亮度衰减的质量干扰.

ASM忽略了真实场景中的复合情形，例如低光照雾会吸收光，因此雾与弱光总是相伴而生的. 虽然图像去雾^[5-6]和低光照图像增强^[7]的研究不断在发展，但真实有雾且低光照的图像图及其对应的无雾图难以得到，这限制了二者结合的研究. 一种直接的方式是将图像去雾和低光增强组合，即先增强后去雾或者先去雾后增强，本文在消融实验部分证明这二种方式不可行. 雾霾的形成受多种因素的影响，真实数据与合成数据的分布不同，这破坏了经典学习理论中的独立同分布假设. 有监督学习方法往往是通过最小化经验风险误差来优化，经验最小化误差会贪婪地吸收数据中发现的所有相关性来进行预测^[8]. 在独立同分布假设下的所有相关性可能是有效的，但在分布漂移时先前的相关性在未知的测试分布中很难保持不变.

最近，分布偏移问题在域泛化文献中得到了深入研究^[9-10]. 域泛化的基本思想是将一个类别划分为多个域，提取的混杂特征在不同域之间变化，而本质特征保持不变. 利用神经网络从数据中学习出跨域的不变特征成为关键. 不变学习^[11-13]被提出用来解决域泛化问题. 不变学习认为神经网络提取的特征中的无关特征与本质特征之间的虚假相关是跨域性能下降的关键原因^[8-11]，通过抑制不相关特征的负面影响，在分布变化下具有更好的泛化能力. 去除特征中的虚假相关性成为关键.

本文针对上述去雾问题，结合不变学习的相关理论，提出基于不变学习的真实雾霾去除方法. 具体来说，由于神经网络学习的特征为非线性特征，采用随机傅里叶特征映射将高维特征进行线性化处理，在表征空间中消除特征之间的相关性，使得原始特征去相关. 由于神经网络为批次训练，而本文考虑的是全局样本加权去相关. 本文提出记忆模块，该模块在每次迭代时保存当前权重，迭代新数据时重新计算权重. 由于缺乏大量的成对低光照雾霾图像，对大气散射模型进行改进，合成了大量成对的暗雾图像，提升了模型的泛化性能. 大量的实验对比和分析证明了所提方法和数据的有效性.

图像除雾方法可以分为基于先验的方法和基于学习的方法. 利用基于先验的方法，估计透射图和全局大气光，根据大气散射模型获得去雾结果. 代表性的方法包括暗通道（DCP）^[14]、局部颜色线^[15]和全局雾线（NLD）^[16]. 尽管这些先验的方法获得了良好的结果，但复杂的真实场景会违背这些先验假设，使得这些方法不稳健. 此外，上述方法的去雾结果出现亮度衰减.

由于先验方法的局限性，大量的研究人员转向深度学习领域. 利用RESIDE数据集^[17]，Qin等^[6,18]采用端到端的方式进行去雾. Dong等^[19]提出基于U-Net架构的多尺度提升方法. 虽然一些研究者考虑了暗雾去除的问题，但非稳健的特征导致了糟糕的结果. Kim等^[20]设计两阶段网络，将去雾和低照度增强统一起来，但该方法需要估计亮度图而非端到端，结果会出现局部过曝光和雾残留. Ju等^[21]将ASM修改为带有灰色世界假设的增强ASM，这导致在单色场景区域内产生颜色混乱. Chen等^[22]使用对比度适应的直方图均衡化来产生伪标签，但伪标签会导致过度饱和并重新加雾. 在领域适应方法中，Shao等^[6]采用领域对抗方法，但他们的结果在黑色物体的边缘总会出现颜色混乱.

与上述方法不同的是，本文方法是端到端的稳定性去雾网络. 上述方法很少考虑到图像去雾之后的亮度保真问题. 即便考虑了亮度损失问题^[20-25]，但他们没有解释出现亮度损失的原因且结果出现去雾残留和过饱和. 本文在理论上证明使用ASM必然导致图像亮度损失，并对此提出改进.

当训练数据与测试数据的分布不一致时，Kuang等^[10]提出稳定学习，稳定学习希望在不同的环境中学习出跨域的本质特征，因此稳定学习预测具有不变性. Kuang等^[11]提出新的去相关加权回归算法，该算法联合优化了变量去相关正则项和加权回归模型. 虽然上述方法在不同环境分类中获得不错的性能，但上述方法多利用线性模型进行研究，不适用于深度学习提取的非线性特征. Zheng等^[12]采用随机傅里叶特征加权去相关算法，将此类方法扩展到了神经网络的非线性表征空间中，并在分类域漂移问题上获得了不错的性能. 域适应方法一般使用测试集中的数据，稳定学习只需要在训练集中学习鲁棒的特征. 本文方法利用不变学习，结合稳定学习与图像去雾，获得更好的性能.

分析图像去雾造成亮度损失的原因，对ASM进行改进，从理论上证明使用ASM合成数据训练的模型必然会导致图像亮度损失. 对于神经网络提取的高维非线性特征，为了消除特征之间的相关性，利用随机傅里叶特征映射（RFF）采样来使变量间独立，使用记忆模块实现全局样本加权去相关.

目前，在合成数据上的去雾算法性能得到了极大的提升. 当将这些性能先进的去雾算法应用在真实数据上时，去雾后会出现雾残留和亮度衰减. 图1中，左上角的数字表示大气光均值. 从当前的代表性方法结果中随机选取100幅真实的去雾结果，再计算这些大气光的平均值. 每种方法的平均值显示在图像的左上角，可以发现这些结果出现亮度损失. 如图1所示，除了本文的结果，其他结果存在质量干扰：1）明显的雾残留；2）去雾使大气光值产生损失.这些有监督方法的结果有大量的雾残留，这说明它们的泛化能力不足.

有雾图像的形成可以用大气散射模型^[26]表示：

(1)$ I\left( x,y \right){\text{ }} = {\text{ }}J\left( x,y \right)t\left( x,y \right){\text{ }}+{\text{ }}A\left( {1{\text{ }} - t\left( x,y \right)} \right) . $

式中：$ I\left( x ,y\right) $表示观测到的有雾图像；$ t(x,y) = {{\mathrm{e}}^{ - \beta d \left( {x,y} \right)}}$表示透射图，其中$ \beta $为散射系数，$ d (x,y)$为深度图；$ A $为大气光；$ J\left( x,y \right) $为清晰图像. 使用式（1）可以合成白色有雾图像，但与复杂的真实数据存在差别.

如图2所示为以ASM合成数据的对比. 可以看出，真值的方框1内是低光区，方框1上的数值为框1内的大气光值，方框2内存在雾，在此数据上训练的模型是有偏移的模型.使用ASM合成之后可以发现方框1区域变亮，这说明ASM提升了图像的亮度. 根据Retinex理论^[27]可知，图像由照度图像与反射图像组成，因此式（1）中的$ J $可以分解为$ AR $. 将合成图像$ I $减去真值$ J $，可得

(2)$ I\left( x,y \right) - J\left( x,y \right){\text{ }} = A\left( {1 - R} \right)\left( {1 - t\left( x,y \right)} \right) . $

式中：$ 0 \leqslant R \leqslant 1.0 $，$ 0 \leqslant 1 - R \leqslant 1.0 $；$ 0 \leqslant t \leqslant 1.0 $，$0\leqslant 1- t\leqslant 1.0 $. $ R = 1 $表示所有的照度都被反射，这通常只发生在纯白色场景中，$ R = 0 $说明所有的光照都被吸收，这只发生在纯黑色场景中. 类似地，$ t = 1 $时说明场景深度为零，$ t = 0 $说明场景深度处于无穷远处（如天空）. 不考虑等号成立的情况，只考虑$ 0 < 1 - R < 1.0 $和$ 0 < 1 - t < 1.0 $. $ A\left( {1 - R} \right)\left( {1 - t} \right) > 0 $，即$ I\left( x ,y\right) > J\left( x,y \right) $. $ I\left( x,y \right) > J\left( x,y \right) $说明合成雾图像的像素大于清晰图像的像素. 神经网络在合成数据上训练时减小$ I\left( x,y \right) $的像素，可以达到去雾的目的. 使用式(1)合成数据并进行训练的模型，在真实数据上测试时会减小去雾结果的像素，从而减小去雾图像的亮度.

利用式(1)只能合成白雾图，这种合成方式对复杂的环境来说过于简单. 为了避免图像去雾后亮度损失，直接增强去雾结果或者在去雾之前增强图像是2种选择，但是在消融实验部分证明这2种方式并不可行. 观察大量的清晰图可知，无雾图中本来存在大量的低光区域，这说明清晰图像本身是明亮场景与弱光的结合体. 统计数千幅真实有雾图像后发现，白天雾图中的场景光往往与弱光共存，这是因为空气中悬浮的粒子和场景除散射大气光外，还会吸收光. 利用式(1)合成的雾图会增加图像的像素，这与事实情况不符. 基于这些观察和统计，结合大气光模型与伽玛校正，弱化合成雾的亮度. 这种合成方式遵从奥卡姆剃刀原则. 将式(1)改进为

(3)$ I(x,y) = {[J(x,y)t(x,y)+A(1 - t(x,y))]^\gamma } . $

式中：$ \gamma $为调整因子，负责调整图片的亮度. 利用式(3)对有雾图像进行伽玛校正，使图像亮度减小. 根据Retinex理论$ J = AR $，可以得到

(4)$ I = {A^\gamma }{(1+(R - 1)t)^\gamma } . $

利用泰勒公式，将$ {(1+(R - 1)t)^\gamma } $一阶展开得到

(5)$ {(1+(R - 1)t(x,y))^\gamma } \approx 1+(R - 1)t(x,y)\gamma . $

化简得到

(6)$ I \approx {A^\gamma }\left[ {Rt\left( {x,y} \right)\gamma + 1 - t\left( {x,y} \right)\gamma } \right] . $

式中：$ {A^\gamma } < A $保证了弱光的出现，$ Rt\gamma +(1 - t\gamma ) $保证了雾的存在. 式(6)既能解释有雾和暗光的共存，也能解释去雾后大气光值的减小.

采用端到端有监督的方式来解决真实数据雾霾去除的问题，如图3所示为基于不变学习的去雾网络结构图. 给定配对的合成雾数据集$ D = \{ {x_i},{y_i}\} _{i = 1}^n $. 将数据输入神经网络，可以提取到所有数据的特征图$ {\boldsymbol{Z}} \in {{\bf{R}}^{n \times c \times h \times w}} $，其中$ n、c、h、w $分别为数据量、通道数、高和宽. 假定每个通道代表一种同质性的特征^[28]，则可将每个通道视为一个随机变量. 在表征空间中消除任意2个变量的相关性，使得变量之间独立. 对于每个通道为$ h \times w $的矩阵， 对每个通道取均值，$ {\boldsymbol{Z}} $的维度变为$ n \times c $，即$ {\boldsymbol{Z}} \in {{ {\bf{R}}}}^{n \times c} $.

在得到$ {\boldsymbol{Z}} $之后，须使$ {\boldsymbol{Z}} $中的任意2个随机变量$ {{\boldsymbol{Z}}_{:,{{i}}}} $和$ {{\boldsymbol{Z}}_{:,{{j}}}} $独立，然而$ {\boldsymbol{Z}} $为神经网络提取，$ {\boldsymbol{Z}} $应该是高度抽象的非线性特征，需要定义合适的统计量来测度变量之间的相关性. 使用随机傅里叶特征，对输入特征中的高阶非线性特征信息进行低维显式线性表示. 具体来讲，使用低维的显示映射来近似估计给定的高斯核函数.根据Bochner定理^[29]可知，当且仅当核函数是非负测度的傅里叶变换时，具有平移不变性的高斯核函数在原始隐式空间上是正定的.协方差的定义公式为

(7)$ {\mathrm{Cov}}\;({{\boldsymbol{Z}}_{:,{i} }},{{\boldsymbol{Z}}_{:,{{j}}}}) = E\{ [{{\boldsymbol{Z}}_{:,{{i}}}} - E({{\boldsymbol{Z}}_{:,{{i}}}})][{{\boldsymbol{Z}}_{:,{j} }} - E({{\boldsymbol{Z}}_{:,{{j}}}})]\} . $

根据希尔伯特-施密特独立性准则（Hilbert-Schmidt independence criterion）可知，当$ \left\| {{\mathrm{Cov}}({{\boldsymbol{Z}}_{:,{{i}}}},{{\boldsymbol{Z}}_{:,{{j}}}})} \right\|_\text F^2 = 0 $时，可以认为变量间不相关，$ \left\| \cdot \right\|_\text F^2 $为Frobenius范数. 设$ {{u}} $和$ {{v}} $分别为随机傅里叶特征映射函数，则式（7）可以改写为

(8)$ \begin{split} {{{\mathrm{Cov}}}}\;({{u}}({{\boldsymbol{Z}}_{:,{{i}}}}),{{v}}({{\boldsymbol{Z}}_{:,{{j}}}})) =& E\{ [{{u}}({{\boldsymbol{Z}}_{:,{{i}}}}) - E({{u}}({{\boldsymbol{Z}}_{:,{{i}}}}))] \times \\& {\text{ }}[{{v}}({{\boldsymbol{Z}}_{:,{{j}}}}) - E({{v}}({{\boldsymbol{Z}}_{:,{{j}}}}))]\} . \end{split} $

分别从随机傅里叶特征映射$ {{u}}({{\boldsymbol{Z}}_{{{:,i}}}}) $和$ {{v}}({{\boldsymbol{Z}}_{:,j}}) $分布中采样$ m $个样本，得到

(9)$\left. \begin{gathered} {{u}}({{\boldsymbol{Z}}_{:,{{i}}}}) = \left[ {{u_1}({{\boldsymbol{Z}}_{:,{{i}}}}),{u_2}({{\boldsymbol{Z}}_{:,{{i}}}}), \cdots, {u_m}({{\boldsymbol{Z}}_{:,{{i}}}})} \right],{u_m} \in {\text{RFF}},\forall {{i}}; \\ {{v}}({{\boldsymbol{Z}}_{:,{{j}}}}) = \left[ {{v_1}({{\boldsymbol{Z}}_{:,{{j}}}}),{v_2}({{\boldsymbol{Z}}_{:,{{j}}}}), \cdots, {v_m}({{\boldsymbol{Z}}_{:,{{j}}}})} \right],{v_m} \in {\text{RFF}},\forall {{j}}. \\ \end{gathered} \right\}$

式中：RFF定义为随机傅里叶特征映射空间，表达式为

(10)$ \begin{split} {\text{RFF}} \triangleq &\{ h:{\boldsymbol{Z}} \to \sqrt 2 \cos \;({\boldsymbol{{{\xi }} Z}}+\phi )\mid \xi \sim {\mathrm{N}}(0,1), \\ &\phi \sim {{\mathrm{Uniform}}} (0,2 \text{π} )\} \text{.}\end{split} $

式中：$ \xi $为从正态分布采样得到的值，$ \phi $为从均匀分布中采样得到的相位. 经验性地设定$ m = 5 $，这已经足够来判断2个随机变量的独立性. 综合上述的描述可知，式（8）的协方差计算公式为

(11)$ \begin{split} & {{{\rm{Cov}}}} \left( {{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}}\right) , {{v}}\left( {{{\boldsymbol{Z}}_{:,{{j}}}}} \right) \right) = \\ &\quad \frac{1}{{n - 1}} \sum\limits_{i = 1}^n \left[ \left( {{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}} \right) - \frac{1}{n}\sum\limits_{i = 1}^n {{u}} \left( {{{\boldsymbol{Z}}_{:,{{i}}}}} \right) \right) ^{\mathrm{T}} \times \right.\\& \quad\left.{\left( {{{v}}\left( {{{\boldsymbol{Z}}_{:,j}}} \right) - \frac{1}{n}\sum\limits_{j = 1}^n {{v}} \left( {{{\boldsymbol{Z}}_{:,j}}} \right)} \right)} \right]. \end{split} $

由于高斯核为正定核，$ \left\| {{\mathrm{Cov}}} \left( {{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}}\right) , {{v}}\left( {{{\boldsymbol{Z}}_{:,{{j}}}}} \right) \right) \right\|{\mathrm{_F}}^2 $≥0. 当$ \left\| {{\mathrm{Cov}}}\left( {{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}}\right) , {{v}}\left( {{{\boldsymbol{Z}}_{:,{{j}}}}} \right) \right) \right\|{\mathrm{_F}}^2 $逐渐减小为零时，随机变量$ {{\boldsymbol{Z}}_{:,{{i}}}} $和$ {{\boldsymbol{Z}}_{:,j}} $的相关性被去除. Kuang等^[11-12]的研究表明，通过将在表示空间中学习到的每个特征作为处理变量，并学习权重以平衡源数据在每个学习到的特征表示方面的分布，可以学习到新的域，在这个域中只有本质特征与结果相关，使用样本权重$ {\boldsymbol{\omega}} $，对任意2个变量$ {{\boldsymbol{Z}}_{:,{{i}}}} $和$ {{\boldsymbol{Z}}_{:,j}} $加权. 采用样本加权消除表示空间中特征之间的依赖，通过最小化协方差$ {\mathrm{Cov}}\left( {{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}}\right) , {{v}}\left( {{{\boldsymbol{Z}}_{:,{{j}}}}} \right) \right) $使总体变量独立.在加权之后协方差变为

(12)$ \begin{split} {{{\bf{Co{v}}}}_{ij,\omega }} =& \frac{1}{{n - 1}}\sum\limits_{i = 1}^n {\left[ {{{\left( {{\omega _{{i}}}{{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}} \right) - \frac{1}{n}\sum\limits_{i = 1}^n {{\omega _{{i}}}} {{u}}\left( {{{\boldsymbol{Z}}_{:,{{i}}}}} \right)} \right)}} } \right. ^{\mathrm{T}} \times } \\ & {\left. {\left( {{\omega _{{j}}}{{v}}\left( {{{\boldsymbol{Z}}_{:,{{j}}}}} \right) - \frac{1}{n}\sum\limits_{j = 1}^n {{\omega _{{j}}}} {{v}}\left( {{{\boldsymbol{Z}}_{:,{{j}}}}} \right)} \right)} \right]} .\end{split} $

特征去相关问题转化为求解使式(12)最小化的权重问题，即

(13)$ {\boldsymbol{\omega}} = \mathop {\arg \min }\limits_{\boldsymbol{\omega}} \sum\limits_{1 \leqslant i < j \leqslant c} {\left\| {{\bf{Cov}}_{ij,\omega }} \right\|_\text F^2} . $

式中：$ {\boldsymbol{\omega}} \geqslant {\boldsymbol{0}} $，$ \displaystyle \sum\nolimits_{i=1}^n {{{{\omega}} _i}} = n $. 本文的优化目标为

(14)$\begin{split} {\mathrm{Los}}{{\mathrm{s}}^{t+1}} = &\min \frac{1}{n}\sum\limits_{i = 1}^n {{\boldsymbol{\omega}} _i^{(t)}} \left\| {g\left( {{{\hat {\boldsymbol{y}}}_i}} \right) - {{\boldsymbol{y}}_i}} \right\|_{\mathrm{F}}^2+{\lambda _{\mathrm{p}}}\left\| {{{{{\psi}} }}({{\hat {\boldsymbol{y}}}_i}) - {{{{\psi}} }}({{\boldsymbol{y}}_i})} \right\|_{\mathrm{F}}^2, \\ {{\boldsymbol{\omega }}^{(t+1)}} = &\mathop {\arg \min }\limits_{\boldsymbol{\omega}} \sum\limits_{1 \leqslant i,j \leqslant c} {\left\| {{\bf{{{Cov}}}}{{_{ij,\omega}^{t+1}}}} \right\|_{\mathrm{F}}^2.}\end{split} $

式中：$ g( \cdot ) $为本文使用的网络，$ {{{\omega}} _{{i}}} $为$ {\boldsymbol{\omega}} $的元素. 采用MSBDN^[13]作为网络架构，$ t $为每次输入的时间戳，$ {{\psi }} $为VGG网络，$ {\lambda _{\mathrm{p}}} $为感知损失权重，设定为0.5.$ \hat {\boldsymbol{y}}_i = g({{\boldsymbol{x}}_i}) $和$ {{\boldsymbol{y}}_i} $分别为模型的预测值与真实值，初始权重$ {{\boldsymbol{\omega}} ^0} $为$ ［1,1, \cdots ,1］ $. 式(14)是典型的二重优化问题，在计算时，先优化网络参数，再在表征空间中优化权重$ {\boldsymbol{\omega}} $.

上述样本加权去相关使用的是全局样本加权，神经网络采用逐批次训练，每次输入模型固定数量的数据，这为全局加权带来困难. 若将特征全部保存后计算全局权重，则会占用大量的内存. 本文提出使用特征和权重记忆融合的策略，解决该问题. 本质上，这是储存与重加载的操作.

在内存中初始化$ b \times c $的矩阵$ {{\boldsymbol{M}}_{{\mathrm {pre}}}} $，初始为零矩阵，一个列数为$ b $的常数权重向量$ {{\boldsymbol{\omega}} _{\mathrm{c}}} = [1,1, \cdots ,1]^{\mathrm{T}} $和记忆权重$ {{\boldsymbol{\omega}}_{{\mathrm{pre}}}} $，$ b $为输入网络的批数据量，$ i $表示第$ i $批次迭代，$ {{\boldsymbol{\omega}} _{{\mathrm{pre}}}} $的初始值与$ {{\boldsymbol{\omega}}_{\mathrm{c}}} $相同. 当给网络输入第$ i $批次的数据时，使用式（14）来优化网络参数，设当前网络中间的特征为$ {{\boldsymbol{M}}_{{\mathrm{now}}}} $.将$ {{\boldsymbol{M}}_{{\mathrm{pre}}}} $与$ {{\boldsymbol{M}}_{{\mathrm{now}}}} $按行拼接得到$ {\boldsymbol{B}} = {\mathrm{cat}}\;({{\boldsymbol{M}}_{{\mathrm{pre}}}},{{\boldsymbol{M}}_{{\mathrm{now}}}}) $，将第$ i - 1 $次迭代保存的权重$ {{\boldsymbol{\omega}} _{i - 1}} $和$ {{\boldsymbol{\omega}} _{\mathrm{c}}} $拼接得到$ {\boldsymbol{\omega ' }}= {\mathrm{cat}}\;({{\boldsymbol{\omega}}_{{\mathrm{pre}}}},{{\boldsymbol{\omega}}_{\mathrm{c}}}) $. 对$ {\boldsymbol{\omega}}' $计算Softmax，使用随机梯度下降来最小化式(13)，更新权重$ {{\boldsymbol{\omega}} _{\rm{now}}} $，设定更新20次时停止得到$ {{\boldsymbol{\omega}}_{\rm{now}}} $. 令$ {{\boldsymbol{\omega}} _{\rm{pre}}} = {{{({\boldsymbol{\omega }}_{\rm{pre}}}+{{\boldsymbol{\omega}} _{\rm{now}})}}}{}/2 $和$ {\boldsymbol{M}}_{\rm{pre}}^{} = {{{({\boldsymbol{M}}_{\rm{pre}}}+{{\boldsymbol{M}}_{\rm{now}})}}}{}/2 $，并保存用于下次更新.可以看出，$ {{\boldsymbol{\omega}} _{\rm{pre}}} $包含之前训练的全局权重和当前更新的权重，每次使用Softmax来计算当前批次的权重，可以获得输入数据的全局权重. $ {\mathrm{Los{s}}^{t+1}} $的加权值与当前输入有关，使用Softmax计算$ {{\boldsymbol{\omega}} ^{(t)}} $.

利用数据集RESIDE OTS^[17]提供的2 061幅图像及其深度图来合成暗雾图，大气光值$ A $和$ \beta $分别从区间$ \left[ {0.75,{\text{ }}0.9} \right] $和$ \left[ {0.1,{\text{ }}0.6} \right] $中随机选取，$ \gamma $在$ \left[ {1.25,5} \right] $中均匀选取. 总共合成57 708幅暗雾图，将该数据集命名为DarkHaze. 随机挑选出392张作为测试集，其余的作为训练集. 选用RESIDE数据集中的SOTS户外测试集作为测试对比，该测试集共包含500幅合成图. 在真实数据上，直接选取RESIDE数据集^[17]的子集RTTS和URHI来验证所提出的方法，这2个子集十分复杂，分别包含4 322和4 708幅真实的雾霾图像. 本文还收集32幅Fattal^[15]真实雾霾图进行测试.

在Ubuntu系统上进行实验，该系统装载的显卡为NVIDIA GeForce GTX 3090 GPU. 使用PyTorch 1.7.0框架训练本文的模型，输入网络图像的大小被设置为$ 256 \times 256 $，批次$ b = 28 $，经卷积后，$ c = 128 $，$ h = w = 16 $.训练时，通过随机旋转和水平翻转来增强样本，总共训练模型100轮.使用Adam优化器训练本文的方法.设置初始学习率为0.000 1，每20个周期学习率衰减为原来的一半. 以MSBDN^[19]网络为基准框架，将提出的不变学习理论与MSBDN网络相结合.

选择以下14种去雾方法进行对比：先验方法DCP^[14]、NLD^[16]和IDE^[21]，有监督方法SGID^[3]、DehazeFlow^[5]、FFA^[6]、GridDehazeNet^[18]、MSBDN^[19]和LED2Net^[20]，半监督方法SSID^[30]，无监督方法PSD^[22]和SLA^[24]，对抗域适应方法DAD^[23]和D4^[31]. 其中，利用IDE^[21]、LED2Net^[20]、PSD^[22]和SLA^[24]方法，可以解决图像去雾亮度损失的问题. 使用峰值信噪比（PSNR）和结构相似性（SSIM）来评价在合成数据上的去雾性能，使用无参考图评价指标BIQME^[32]、PM2.5^[33]和NIMA^[34]来客观度量在真实有雾图上去雾的性能. NIMA^[34]用于度量图像的美学质量，BIQME^[32]用于对图像进行综合评价，PM2.5^[33]用于评价图像的雾霾浓度. NIMA和BIQME越大越好，PM2.5越小越好.

如图4所示为不同方法在Fattal数据上的去雾结果. DCP和NLD的去雾性能明显优于其他监督方法，但是它们的去雾结果亮度损失，NLD的结果出现颜色混乱，这说明真实情况违背了他们的先验假设. 有监督方法DehazeFlow^[5]和FFA^[6]的去雾能力不足，在所有结果中有大量的雾残余，甚至去雾无效. 虽然GridDehazeNet^[18]、MSBDN^[19]、SGID^[3]和D4^[31]有一定的去雾能力，但无法有效去雾，纹理模糊. 上述方法的结果出现亮度损失. 造成这种现象的原因是这些方法未考虑真实数据集的复杂情形，与真实数据存在域漂移，尤其是忽略了暗光的影响，缺乏稳定性. 利用本文方法，可以有效地去雾，增加图像亮度，颜色没发生变异且纹理清晰. 这是因为本文方法不仅考虑了低光，而且使用不变学习，可以应对真实的雾霾情况.

从RTTS和URHI中挑选出更有挑战性的浓雾数据，而不是选择简单的薄雾数据. 如图5所示为去雾结果. SSID^[30]的去雾结果亮度存在损失，有大量的雾残留. IDE^[21]的去雾能力有限，有大量的雾残余，虽然解决了去雾亮度损失的问题，但结果产生了颜色变异，这是因为IDE采用灰色世界假说，当图像中出现大面积单色场景时会违反灰色世界假设. DAD^[23]的方法本质上是利用域对抗方法来接近真实的数据，可以解决亮度损失的问题，但会出现颜色变异，在黑暗物体边缘会产生模糊. PSD^[22]的去雾结果明亮，对比度大，饱和度过高，去雾能力不足. 这是因为PSD采用增强方法作为伪标签，导致去雾后重新加雾. D4^[31]的去雾能力不足. 本文提出的方法没有出现上述问题，且去雾能力强，亮度未出现损失.

如表1所示为利用无参考图评价方法计算在RTTS上的去雾性能.可以看出，本文所提方法在多数评价指标上获得了最好的性能. 除了本文的方法外，方法IDE^[21]、SLA^[24]、PSD^[22]和LED2Net^[20]也考虑了图像去雾后亮度损失问题，因此在真实数据上对比他们的结果是十分必要的.本文在Fattal^[15]数据集上进行测试，结果如图6所示. 从图中的方框区域可以看出，IDE^[21]和PSD^[22]的颜色过饱和，过曝光. SLA^[24]去雾能力不佳且没有抑制过曝光. LED2Net^[30]的结果中有雾残留和过曝光现象. 相比而言，在所有的结果中，本文的方法未出现上述问题.

如图7所示为3个具有代表性的方法在SOTS和DarkHaze数据集上的去雾结果. 在SOTS数据集上，MSBDN^[19]、SGID^[3]和D4^[31]的去雾图和真实值非常相近.真实值的方框2内存在雾，这导致MSBDN^[19]和SGID^[3]的结果只能逼近真实值，却无法将方框2的雾去除. 此外，这3个方法均未考虑低光照的情况，真实值存在弱光区域，这导致方框1内去雾亮度存在损失. 利用本文方法，不仅可以有效地去除方框2中的雾，而且可以增大方框1内去雾后的亮度.真实值是MSBDN^[19]和SGID^[3]的去雾上界，它们无法突破此上界，本文的方法则不然，如图7中方框1和方框2内所示. 在DarkHaze去雾结果中，MSBDN^[19]、SGID^[3]和D4^[31]均存在去雾结果亮度损失和有雾霾残留的问题. 这主要是由于它们考虑的环境单一，未考虑真实情况. 当环境稍微发生变化时，这些方法便会失去作用，而本文的方法不仅考虑了弱光情况，而且使用不变学习来获得跨域特征.

如表2所示为MSBDN^[19]、SGID^[3]、D4^[31]和本文方法在SOTS和DarkHaze测试集上的PSNR和SSIM的平均值，本文在这2个数据集上获得了最稳定的PSNR和SSIM.可以发现，当环境变化时，这3种方法的平均PSNR和SSIM显著减小，说明了这3种方法的去雾性能不稳定，而本文方法在2个数据集上的平均PSNR和SSIM变化很小，这是因为本文使用了不变学习，消除了特征之间的虚假相关性，使得网络获得了可以提取跨域本质特征的能力.

本文挑选出有代表性的去雾方法，在分辨率为$ 3 \times 224 \times 224 $的情况下对比不同模型的时间复杂度. 如表3所示为不同方法的参数量 N_p和每秒浮点运算次数FLOPs. 从表3可以看出，与这些代表性的去雾方法相比，本文所提出的方法在保证真实去雾性能的同时，能够将模型的参数量和计算复杂度保持在合理的范围内.

在消融实验中，本文要验证所提出的数据集和方法的作用. 1）其他去雾方法使用DarkHaze，能够避免去雾结果出现质量损失.2）提出的数据集和采用的方法起作用的程度.为了验证数据和模型的作用，本文给出5种不同的模型设定.使用DarkHaze来训练FFA^[4]模型（FFA+DarkHaze，记为S1）. 类似地，将不变学习从提出的模型中移除，使用DarkHaze来训练模型（MSBDN+DarkHaze，S2）. 去除Gamma变换，仅使用ASM来合成有雾数据集（OnlyHaze），大气光值$ A $和散射系数$ \beta $的选值与DarkHaze中相同，用OnlyHaze数据集来训练提出的方法（MSBDN+Invariant+OnlyHaze，S3）. 使用RESIDE OTS数据集^[17]来训练提出的方法（MSBDN+Invariant+RESIDE，S4）. 将这些不同的设定与本文提出的方法（MSBDN+Invariant+DarkHaze，S5）进行比较.

如图8所示为不同设定下的训练损失和峰值信噪比PSNR变化情况，如图9所示为不同设定下的真实图像去雾结果. 图中，T为训练次数. 从图8可以看出，所有设定均逐步平稳地收敛. 使用了不变学习的S3、S4和S5的损失明显小于S1和S2的设定. 图9中，S4和本文方法(S5)获得的PSNR相近，S4的PSNR大于其他设定，但在图9中S4的去雾结果亮度损失严重. 这主要是因为S4使用RESIDE OTS数据进行训练，考虑环境设置单一，且由于采用了本文的不变学习，PSNR远超原有性能. S1和S2的损失明显大于S3和S4的损失，它们的PSNR也比其他的设定小. 这是由于S1和S2仅使用DarkHaze训练，虽然考虑了混合的情形，但特征之间的相关性降低了模型的泛化性，它们的主管视觉比S3和S4好，这证明了提出的数据在不同模型中的作用. S3的设定证明了Gamma 校正在增强亮度方面的作用. S5的结果去雾彻底且视觉效果明亮，优于其他设定. S1、S2、S3和S4证明了DarkHaze数据集的作用，S1、S2和S5证明了本文不变学习的作用. 在不同设定下，本文提出的数据和方法获得了最好的性能.

倘若将图像先增强再去雾，或者先去雾后增强，这种顺序操作仍难以解决去雾结果质量干扰的问题. 本文选择伽玛校正对图像进行增强，设定伽玛值为1.4，选择FFA^[4]对增强的图像进行去雾.如图10第1行所示为对图像先进行增强再进行去雾的结果. 可以看出，先增强虽然可以增强亮度，但是会使得图像雾浓度明显增大，再使用去雾方法不能将雾去除，会出现大量的雾霾残余.如图10第2行所示为对图像先去雾再增强的结果.可以看出，先去雾后图像亮度出现损失，图像中雾霾减少，再使用增强方法后图像确实变亮，但雾霾被去除的区域重新出现雾. 以上2组实验说明图像去雾和图像增强顺序操作会得到适得其反的作用，需要同时考虑才能获得良好的结果.

针对混合问题，找到数据中的不变性特征是解决问题的关键步骤.神经网络提取的特征之间产生相关性会影响模型的泛化性能，因此本文提出基于不变学习的图像去雾方法. 在表示空间中，通过将通道特征加权去相关，使用记忆模块将实现全局加权，从而使网络获得学习出不变性的能力. 该方法在真实去雾数据集上展现出了良好的效果，显著提高了去雾性能和低照度图像的能见度. 在其他环境的干扰下，图像复原质量可能会出现相同的问题，如图像去雨线、去噪声，本文方法也可以扩展到这些问题上. 真实世界是十分复杂的，仅以ASM为基础进行训练的模型会面临严重的质量干扰问题. 本文对ASM进行改进，并给出合理的解释，基于改进后的ASM合成新的DarkHaze数据集. 由于改进的ASM忽略了极端情况的存在，在天空或白色场景中可能会出现颜色混乱.