在低光照条件下，图像质量显著下降，存在可见度低、噪声高的问题. 低质量的图像不仅影响人类的视觉观感，还影响下游目标检测的性能. 低光照图像增强旨在提升低光照图像的质量（如图像亮度和对比度），可以应用于视频监控、自动驾驶领域.

低光照图像增强随着深度学习的发展取得了巨大的进步，它包括有监督低光照图像增强和无监督低光照图像增强. 有监督低光照图像增强利用神经网络学习低光照图像和正常光照图像之间的映射，如Wang等^[1]提出的流正则化模型增强低光照图像；Lv等^[2]提出基于多分支卷积神经网络的端到端注意力引导方法，并用所提方法实现低光照图像增强；Wang等^[3]将低光照增强任务转化为求残差的任务；Zhou等^[4]将低光照增强任务和去模糊任务共同进行；Zheng等^[5]提出全局的噪声模型估计，对图像进行亮度提高与去噪处理. Retinex理论已被用于低光照图像增强任务中^[6-7]，核心思想是先进行亮度增强，再利用增强后的亮度和透射率恢复图像. 无监督低光照图像增强是在没有正常光照参考图像的情况下进行低光照图像增强，如Guo等^[8]通过估计亮度增强曲线调整低光照图像，Ma等^[9]通过级联自标定学习机制提升低光照图像质量，Zhang等^[10]将每张彩色图像解耦为灰度图像和颜色直方图. 为了促进低光照图像增强任务的发展，研究人员还构建了多个低光照图像数据集，如低光照和正常光照图像对数据集LOL^[11]、短曝光和长曝光图像对数据集SID^[12]. 低光照图像增强的方法大部分基于单目图像. 相比于单目图像，双目图像能够提供更多有用的信息（如多视角信息和深度信息），基于这一优势，研究人员先后将双目信息用于图像去雾、去模糊、去雨等领域，提出双目图像去雾网络^[13]（学习双目图像的相关矩阵实现双目图像去雾）、深度感知和视图聚合网络^[14]（联合视差估计和双目图像去模糊）、成对的降雨去除网络^[15]（该网络可以补充遮挡区域的信息）. 此外，Huang等^[16]提出使用Retinex的双目增强方法，初步表明了双目低光照图像增强的有效性.

双目低光照图像增强技术的发展受限于大规模低光照图像数据集的缺乏. 为此，本研究构建大规模真实场景的双目低光照图像数据集(stereo low light 10K, SLL10K)，提出基于特征融合和一致性损失的双目低光照图像增强网络(stereo low-light image enhancement based on feature fusion and consistency loss network, FCNet). 为了比较不同方法的低光照图像增强效果，在所建数据集上开展特定模块的消融实验和不同方法的低光照图像增强对比实验，并通过对双目低光照图像的目标检测实验验证FCNet的目标检测效果.

相比于单目图像，双目图像提供的视觉信息更丰富，可以更好地恢复结构与细节信息. SLL10K（数据集获取链接为 https://pan.baidu.com/s/1HJreCV8OMMpgr7QMasUgQ?pwd=4869）以天津大学为主要采集地点，充分利用校园内丰富的场景变化，历时半年采集完成，包含傍晚和夜间的低光照图像. 数据集具有丰富的多样性，如建筑物变化、移动目标变化、季节变化、光照变化等，包含12 658对室外低光照图像和205对室内低光照图像. 如图1所示为该数据集中不同场景、不同时间的低光照代表性图像.

使用Bumblebee XB3立体相机拍摄室外双目低光照视频. 为了方便网络训练，将从双目相机中输出的视频分辨率缩小一半，设定为640×480像素. 数据集共包含257段双目视频，每10帧抽取1帧双目低光图像，得到室外双目低光照图像12 658对. 数据集分为训练集和测试集2个部分，每个部分的场景不重复，其中训练集包含8 086对双目低光照图像，测试集包含4 572对双目低光照图像. SLL10K图像的大部分区域为低光照区域，存在亮度分布不均匀的问题，对实现高质量的图像增强具有较大挑战性. 如图2所示为SLL10K室外场景的训练集和测试集图像对样例.

室外场景很难获取低光照图像的参考图像. 为了获取有参考的双目低光照图像，选择在室内采集部分场景数据，共得到205对有参考图像的双目低光照图像. 这些室内图像用于双目低光照图像增强的有参考指标评价. 在室内场景中可以采集正常光照下的参考图像，还可以通过改变室内场景的光照来采集参考图像对应的低光照图像. 为了采集不同低光照条件的双目低光照图像，设置不同的低光照条件，如仅有顶部暗光源、仅有角落暗光源、几乎没有光源等. 此外，改变相机位置、视角，改变室内场景的物品种类、位置，都能够增加低光照数据的多样性. 如图3所示为双目低光照图像和对应的参考图像.

为了充分挖掘双目提供的多视角信息用于双目低光照图像增强，本研究提出FCNet，在单目低光照图像增强方法ZeroDCE++^[17]的基础上，添加2个双目相关模块提取双目多视角信息：双目内外特征融合(stereo inter-intra-feature fusion, SIIFF)模块和双目一致性(stereo consistency, SC)损失函数，提升双目低光照图像增强的性能. FCNet的整体架构如图4所示.

1）为了减少计算量，FCNet将输入的双目图像 $ {\boldsymbol{I}}_{\mathrm{l}}\mathrm{和}{\boldsymbol{I}}_{\mathrm{r}} $进行2倍下采样(D2)，在此基础上利用紧凑特征编码(compact feature encoder, CFE)模块分别从左右目图像中提取深度特征 $ {\boldsymbol{F}}_{\mathrm{l}}\mathrm{和}{\boldsymbol{F}}_{\mathrm{r}} $.

2）FCNet利用SIIFF模块进行单目内特征和双目间特征的深度融合，输出融合后的左右特征 $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{f}}\mathrm{和}{\boldsymbol{F}}_{\mathrm{r}\mathrm{f}} $. 具体地，单目内特征融合主要通过提取上下文信息增强特征表达力，双目间特征融合通过学习双目间的相关信息实现特征增强.

3）利用紧凑特征解码(compact feature decoder, CFD)模块将融合后的特征与紧凑特征编码模块的浅层特征进行融合，利用上采样模块(U2)将特征上采样2倍.

4）利用亮度增强曲线(light-enhancement curve, LE)模块预测RGB三通道的亮度增强曲线，分别调整3个通道的亮度，得到双目增强结果图像 $ {\boldsymbol{I}}_{\mathrm{l}\mathrm{e}}\mathrm{和}{\boldsymbol{I}}_{\mathrm{r}\mathrm{e}} $.

CFE模块对经过下采样的双目图像进行深度特征提取，分别生成特征图 $ {\boldsymbol{F}}_{\mathrm{l}}\mathrm{和}{\boldsymbol{F}}_{\mathrm{r}} $. 具体地，CFE模块由4个级联卷积层构成，每个卷积层的卷积核大小为3×3. 每个卷积后紧接1个非线性激活层ReLU. CFD模块依次融合CFE模块不同层的特征. 1）将SIIFF模块的输出和CFE模块的第3层特征串接，并经过1个卷积层进行融合；2）将融合后的特征同CFE模块的第2层特征串接和融合，依次类推得到最终的解码特征 $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{d}}{\mathrm{和}\boldsymbol{F}}_{\mathrm{r}\mathrm{d}} $.

SIIFF模块位于CFE模块和CFD模块之间，用于提升双目特征的表达力. 如图5所示，SIIFF模块由1）基于大核的单目内融合模块和2）基于注意力的双目间特征融合(attention based inter feature fusion, AIF)模块2个部分构成. 模块1）提取单目内局部上下文信息，增强特征表达能力. 为了减少计算成本，模块1）采用2个并行的非对称大核卷积模块分别从水平方向和竖直方向提取特征，卷积核大小分别为1×9和9×1. 模块2）挖掘跨视角互补信息，提升双目特征表达能力. 考虑到空间中某个点在双目图像中位于同一水平线上，只需关注双目图像同一水平方向上不同像素间的相关性，为此设计水平注意力模块(horizontal attention module, HAM).

获得双目图像增强特征的具体过程如下：

1）利用HAM生成双目相似性图：HAM利用线性层Linear将输入的左特征图 $ {\boldsymbol{F}}_{\mathrm{l}}\in {\mathbf{R}}^{B\times C\times H\times W} $和右特征图 $ {\boldsymbol{F}}_{\mathrm{r}}\in {\mathbf{R}}^{B\times C\times H\times W} $，生成注意力模块的左目查询向量 $ {\boldsymbol{Q}}_{\mathrm{l}}\in {\mathbf{R}}^{B\times C\times H\times W} $和右目键向量 $ {\boldsymbol{K}}_{\mathrm{r}}\in {\mathbf{R}}^{B\times C\times H\times W} $，表示为

(1) $\begin{split} {\boldsymbol{Q}}_{\mathrm{l}}=\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left({\boldsymbol{F}}_{\mathrm{l}}\right),\; {\boldsymbol{K}}_{\mathrm{r}}=\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left({\boldsymbol{F}}_{\mathrm{r}}\right). \end{split} $

式中：Linear为 $ 1\times 1 $卷积层， $ C $为输出通道数.

2）将 $ {\boldsymbol{Q}}_{\mathrm{l}} $的形状转换为 $ {\mathbf{R}}^{\left(BH\right)\times W\times C} $，将 $ {\boldsymbol{K}}_{\mathrm{r}} $的形状转换为 $ {\mathbf{R}}^{\left(BH\right)\times C\times W} $，并利用矩阵乘法和Softmax函数计算二者之间的相似性图 $ {\boldsymbol{S}}_{\mathrm{r}\to \mathrm{l}}{\in \mathbf{R}}^{\left(BH\right)\times W\times W} $，表示为

(2) $ {\boldsymbol{S}}_{\mathrm{r}\to \mathrm{l}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({\boldsymbol{Q}}_{\mathrm{l}}\times {\boldsymbol{K}}_{\mathrm{r}}\right). $

得到的相似性图反映同一水平方向上2个点的相似度. 与此同时，利用Linear将右特征图 $ {\boldsymbol{F}}_{\mathrm{r}}\in {\mathbf{R}}^{B\times C\times H\times W} $生成右目值向量 $ {\boldsymbol{V}}_{\mathrm{r}}\in {\mathbf{R}}^{B\times C\times H\times W} $. 基于相似性矩阵 $ {\boldsymbol{S}}_{\mathrm{r}\to \mathrm{l}} $和形状转换后的值向量 $ {\boldsymbol{V}}_{\mathrm{r}}\in {\mathbf{R}}^{\left(BH\right)\times W\times C} $相乘，得到注意力模块的输出 $ {\boldsymbol{A}}_{\mathrm{l}}\in {\mathbf{R}}^{\left(BH\right)\times W\times C} $，表示为

(3) $ {\boldsymbol{A}}_{\mathrm{l}}={\boldsymbol{S}}_{\mathrm{r}\to \mathrm{l}}\times {\boldsymbol{V}}_{\mathrm{r}}. $

经过形状转换，得到 $ {\boldsymbol{A}}_{\mathrm{l}}\in {\mathbf{R}}^{B\times C\times H\times W} $. 类似地，利用HAM可以分别生成右目查询向量 $ {\boldsymbol{Q}}_{\mathrm{r}}\in {\mathbf{R}}^{B\times C\times H\times W} $和左目键向量 $ {\boldsymbol{K}}_{\mathrm{l}}\in {\mathbf{R}}^{B\times C\times H\times W} $，表示为

(4) $ \begin{split} {\boldsymbol{Q}}_{\mathrm{r}}=\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left({\boldsymbol{F}}_{\mathrm{r}}\right),\;{\boldsymbol{K}}_{\mathrm{l}}=\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left({\boldsymbol{F}}_{\mathrm{l}}\right). \end{split}$

将 $ {\boldsymbol{Q}}_{\mathrm{r}} $的形状转换为 $ {\mathbf{R}}^{\left(BH\right)\times W\times C} $，将 $ {\boldsymbol{K}}_{\mathrm{l}} $的形状转换为 $ {\mathbf{R}}^{\left(BH\right)\times C\times W} $，并利用矩阵乘法和Softmax函数计算二者之间的相似性图 $ {\boldsymbol{S}}_{\mathrm{l}\to \mathrm{r}}{\in \mathbf{R}}^{\left(BH\right)\times W\times W} $，表示为

(5) $ {\boldsymbol{S}}_{\mathrm{l}\to \mathrm{r}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({\boldsymbol{Q}}_{\mathrm{r}}\times {\boldsymbol{K}}_{\mathrm{l}}\right). $

受Wang等^[18]启发，为了减少右目中不相关的点对左目图像的影响，将 $ {\boldsymbol{S}}_{\mathrm{l}\to \mathrm{r}} $沿最后一维求和，将和小于0.1的位置置为0，大于0.1的位置置为1，再经过形状转换，得到掩模矩阵 $ {\boldsymbol{M}}_{\mathrm{l}}\in {\mathbf{R}}^{B\times 1\times H\times W} $. AIF模块将 $ {\boldsymbol{F}}_{\mathrm{l}} $、 $ {\boldsymbol{M}}_{\mathrm{l}} $和 $ {\boldsymbol{A}}_{\mathrm{l}} $融合，得到双目间的输出特征 $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{a}}\in {\mathbf{R}}^{B\times C\times H\times W} $，表示为

(6) $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{a}}={\boldsymbol{W}}_{\mathrm{o}}\left(\mathrm{c}\mathrm{a}\mathrm{t}\left({\boldsymbol{A}}_{\mathrm{l}},{\boldsymbol{F}}_{\mathrm{l}},{\boldsymbol{M}}_{\mathrm{l}}\right)\right). $

式中： $ \mathrm{c}\mathrm{a}\mathrm{t} $为特征图串接操作； $ {\boldsymbol{W}}_{\mathrm{o}} $为1×1的卷积层，用于特征融合.

3）SIIFF模块将 $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{a}} $和单目内输出特征 $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{b}} $相加得到 $ {\boldsymbol{F}}_{\mathrm{l}\mathrm{f}} $. 类似地，可以得到 $ {\boldsymbol{F}}_{\mathrm{r}\mathrm{f}} $.

采用单目低光照增强方法ZeroDCE++^[17]预测RGB的3个通道的亮度增强曲线，利用亮度增强曲线对低光照图像进行增强，表达式为

(7) $ {\mathbf{L}\mathbf{E}}_{{n}}={\mathbf{L}\mathbf{E}}_{{{{n}}}-1}+\boldsymbol{M}{\mathbf{L}\mathbf{E}}_{{n}-1}\left({\boldsymbol{1}}-{\mathbf{L}\mathbf{E}}_{{n}-1}\right). $

式中： $ {\mathbf{L}\mathbf{E}}_{{n}} $为迭代后的图像， $ \boldsymbol{M} $为曲线参数映射， $ {\mathbf{L}\mathbf{E}}_{{n}-1} $为迭代前的图像. 预测得到的亮度增强曲线具有3个特点：1）增强图像的每个像素值的归一化范围均为[0, 1]，以避免溢出截断造成信息丢失；2）曲线是单调的，以保留相邻像素的差异；3）梯度反向传播过程中，曲线的形式简单且可微.

为了充分利用增强前图像的信息，更好指导双目低光照图像增强，使用SC损失函数来保持双目视觉结构的一致性. 为了让FCNet实现更好的无监督学习，使用空间一致性(spatial consistency)损失函数、曝光控制(exposure control)损失函数、颜色恒常性(color constancy)损失函数和照明平滑性(illumination smoothness)损失函数来优化FCNet.

一般而言，图像增强前后局部区域的像素值亮度趋势应保持不变. 双目图像同一位置的2个像素点属于同一局部区域，亮度相对区域应该保持不变. 因此，在网络设计过程中，双目图像间的差异图在增强前和增强后应该尽可能保持一致. 在图像增强过程中，可能会出现增强后双目图像间的差异图发生变化（如左、右目图像增强程度不同），导致相邻像素的亮度相对趋势被破坏. SC损失函数保证了增强前和增强后双目相邻像素的亮度趋势尽可能一致：

(8) $ {L}_{\mathrm{s}\mathrm{c}}={S}^{-1}\sum \left(\left|\left({\boldsymbol{I}}_{\mathrm{H}}^{\mathrm{l}}-{\boldsymbol{I}}_{\mathrm{H}}^{\mathrm{r}}\right)-({\boldsymbol{I}}_{\mathrm{L}}^{\mathrm{l}}-{\boldsymbol{I}}_{\mathrm{L}}^{\mathrm{r}})\right|\right). $

式中： $ {\boldsymbol{I}}_{\mathrm{L}}^{\mathrm{l}} $为左侧低光照图像， $ {\boldsymbol{I}}_{\mathrm{L}}^{\mathrm{r}} $为右侧低光照图像， $ {\boldsymbol{I}}_{\mathrm{H}}^{\mathrm{l}} $为左侧增强后图像， $ {\boldsymbol{I}}_{\mathrm{H}}^{\mathrm{r}} $为右侧增强后图像， $ S $为图像像素点的数量.

为了保持空间相关性，在以区域 $ i $为中心的上、下、左、右4个相邻区域 $ \varSigma \left(i\right) $上，使用空间一致性损失：

(9) $ {L}_{\mathrm{s}\mathrm{p}\mathrm{a}}={A}^{-1}\sum _{i=1}^{A}\sum\limits_{j \in \varSigma \left( i \right)}{\left(\left|\left({V}_{i}-{V}_{j}\right)-\left({I}_{i}-{I}_{j}\right)\right|\right)}^{2} \;. $

式中： $ A $为特定区域的像素数， $ {V}_{i}、{V}_{j}、{I}_{i}、{I}_{j} $均为增强后的图像和输入图像中特定区域的平均光照强度值.

为了避免曝光不足或过曝光，FCNet利用曝光控制损失函数对增强图像的局部区域进行调整，避免增强图像出现对比度问题. 设置优良曝光等级G=0.6. 定义曝光控制损失函数为

(10) $ {L}_{\mathrm{e}\mathrm{x}\mathrm{p}}={B}^{-1}\sum _{k=1}^{B}\left|{V}_{k}-G\right|. $

式中： $ B $为 $ 16\times 16 $的区域，表示参与计算的不重叠的局部区域大小为 $ 16\times 16 $； $ {V}_{k} $为特定区域的平均光照强度值.

为了修正颜色偏差，在使用增强网络对低光照图像增强过程中，可以利用颜色恒常性损失对图像的RGB通道进行修正：

(11) $\begin{split} & {L}_{\mathrm{c}\mathrm{o}\mathrm{l}}=\sum\limits_{\left( {p,q} \right) \in \sigma } {\left({X}_{p}-{X}_{q}\right)}^{2},\; \\ & \sigma =\left\{\left(R,G\right),\left(R,B\right),\left(G,B\right)\right\}. \end{split}$

式中： $ {X}_{p} $为增强后的图像中 $ p $通道的平均光照强度值； $ (p,q) $为通道对，为RGB的3个通道两两配对. 对RGB图像进行YUV或HSB空间转换，虽然可以分解出亮度分量，但在空间转换过程中会存在信息损失的情况，也无法保证颜色不出现偏差.

为了监督曲线参数图的预测，利用光照平滑度损失对曲线参数图进行修正：

(12) $ {L}_{{\mathrm{t}\mathrm{v}}}={N}^{-1}\sum _{n=1}^{N}\sum\limits_{c \in \theta } {(\left|{\nabla }_{x}{\boldsymbol{A}}_{{n}}^{{c}}\right|+\left|{\nabla }_{y}{\boldsymbol{A}}_{{n}}^{{c}}\right|)}^{2}, \; \theta =\left\{R,G,B\right\}. $

式中： $ N $为迭代次数， $ {\nabla }_{x} $、 $ {\nabla }_{y} $分别计算水平方向的梯度和垂直方向的梯度， $ \boldsymbol{A} $为曲线参数图.

根据上述损失函数，综合得到FCNet的损失函数为

(13) $ {L}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}={W}_{\mathrm{s}\mathrm{c}}{L}_{\mathrm{s}\mathrm{c}}+{W}_{\mathrm{s}\mathrm{p}\mathrm{a}}{L}_{\mathrm{s}\mathrm{p}\mathrm{a}}+{W}_{\mathrm{e}\mathrm{x}\mathrm{p}}{L}_{\mathrm{e}\mathrm{x}\mathrm{p}}+{W}_{\mathrm{c}\mathrm{o}\mathrm{l}}{L}_{\mathrm{c}\mathrm{o}\mathrm{l}}+{{W}_{{\mathrm{t}\mathrm{v}}}L}_{{\mathrm{t}\mathrm{v}}}. $

式中： $ {W}_{\mathrm{s}\mathrm{c}} $、 $ {W}_{\mathrm{s}\mathrm{p}\mathrm{a}} $、 ${W}_{\mathrm{e}\mathrm{x}\mathrm{p}} $、 ${W}_{\mathrm{c}\mathrm{o}\mathrm{l}} $、 ${W}_{{\mathrm{t}\mathrm{v}}} $分别为对应损失函数的权重.

FCNet是端到端的可训练网络，无须对子模块进行预先训练. 本次实验使用8 086幅室外图像训练FCNet，使用4 572幅室内图像对和205幅室内图像测试FCNet. 为了便于对网络进行训练和测试，图像大小设定为640×480像素. 本研究在单个GeForce GTX Titan X显卡上使用PyTorch实现提出的方法，用于训练的优化器为Adam，学习率固定为0.000 1. 设置本次实验的批大小为1，epoch的数量为50， $ {W}_{\mathrm{s}\mathrm{p}\mathrm{a}} $=2、 $ {W}_{\mathrm{e}\mathrm{x}\mathrm{p}}=5 $、 $ {W}_{\mathrm{c}\mathrm{o}\mathrm{l}}=5 $、 $ {W}_{{\mathrm{t}\mathrm{v}}}=1 \; 900 $、 $ {W}_{\mathrm{s}\mathrm{c}}=1 $. SLL10K的测试集分为有参考的室内子集和无参考的室外子集. 对于无参考图像的室外子集，采用4个无参考指标来评价不同方法的增强效果，包括无参考图像空间质量评价器(blind/referenceless image spatial quality evaluator，BRISQUE)^[19]、自然图像质量评价器(natural image quality evaluator, NIQE)^[20]、基于感知的图像质量评价器(perception-based image quality evaluator, PIQE)^[21]和亮度顺序误差(lightness order error, LOE)^[22]. 对于有参考图像的室内子集，采用3个有参考指标和4个无参考指标来评价不同方法的增强效果，其中有参考指标包括峰值信噪比(peak signal to noise ratio, PSNR)、结构相似度(structural similarity, SSIM)和学习感知图像块相似度(learned perceptual image patch similarity, LPIPS)^[6,23]，无参考指标包括BRISQUE、NIQE、LOE、PIQE. 指标BRISQUE、NIQE、PIQE、LOE和LPIPS的数值越小表示图像增强的效果越好，指标PSNR和SSIM的数值越大表示图像增强的效果越好. 提供室内图像的主要目的是方便其他方法采用本数据集测试时的有参考指标比较.

为了证明FCNet中每个模块的有效性，对添加的模块进行消融研究.

为了验证SIIFF模块和SC损失函数的有效性，FCNet在室内测试集和室外测试集上对2个模块进行消融研究，结果如表1所示. 表中，“√”表示使用该模块，“×”表示不使用该模块. 在室外数据集中，添加SIIFF模块的FCNet，4个指标都有明显改善，其中BRISQUE下降2.138 5，PIQE下降2.092 7；添加SC损失函数的FCNet，4个指标也都有明显改善，其中BRISQUE下降0.451 2，PIQE下降2.364 8. 这说明添加的SIIFF模块和SC损失函数都对室外数据有增强效果. 在室内数据集中，添加SIIFF模块的FCNet，大部分指标显著改善，其中SSIM提高0.015 2，PIQE降低4.462 1；添加SC损失函数的FCNet，大部分指标显著改善，其中SSIM提高0.030 5，PIQE下降2.812 2. 这说明添加的SIIFF模块和SC损失函数都对室内数据有增强效果.

为了验证SIIFF模块数量对网络的影响，进行修改SIIFF模块数量n_m的实验. 为了得到更具有说服力的实验结果，该项实验在室外测试集和室内测试集中进行，结果如表2所示. 在室外数据集中，2个SIIFF模块的所有指标都比1个SIIFF模块效果好，其中BRISQUE下降0.215，PIQE下降0.442 1，这说明2个SIIFF模块比1个SIIFF模块对室外数据有更好的增强效果. 在室内数据集中，2个SIIFF模块的所有指标都比1个SIIFF模块效果好，其中SSIM上升0.042 5，PIQE下降0.783 1. 这说明2个SIIFF模块比1个SIIFF模块对室内数据有更好的增强效果.

为了验证采用的大核卷积对双目低光照图像增强网络的影响，将SIIFF模块中的大核卷积改为2个3×3的普通卷积，结果如表3所示. 在室外数据集中，使用1×9 和9×1的大核卷积的所有指标都比使用3×3的普通卷积的效果好，NIQE下降0.612 4，PIQE下降3.537 4. 这说明使用1×9 和9×1的大核卷积比使用3×3的普通卷积对室外数据有更好的增强效果. 在室内数据集中，使用1×9 和9×1的大核卷积的所有指标同样都比使用3×3的普通卷积的效果好， PSNR上升0.153 8 dB，PIQE下降10.597. 这说明使用1×9 和9×1的大核卷积比使用3×3的普通卷积对室内数据有更好的增强效果.

将FCNet与RetinexNet^[11]、ISSR^[24]、GLAD^[25]、DVENet^[16]、ZeroDCE++^[17]、RUAS^[26]的单目、双目低光照图像增强方法进行对比. 其中RetinexNet、ISSR、GLAD和DVENet是有监督学习方法，ZeroDCE++、RUAS和FCNet是无监督学习方法；DVENet是双目低光照图像增强方法. 无监督学习方法均在SLL10K训练集上进行训练，之后在测试集上得到增强结果；有监督学习方法由于缺乏参考图像，采用其论文提供的预训练模型在SLL10K上进行测试.

不同方法在SLL10K室外、室内测试集上的图像增强指标结果分别如表4、5所示. 由表4可以看出， FCNet整体上比大部分方法的效果好，各个指标都能居于前列，在无监督方法中表现最好. 相比ZeroDCE++网络，FCNet的左目图像BRISQUE下降2.589 7，PIQE下降4.457 5；右目图像BRISQUE下降2.870 4， PIQE下降4.743 5. 这说明对于室外低光照图像，无论是左目图像还是右目图像，FCNet都比对应的单目方法ZeroDCE++的处理效果更好. 由表5可以看出， FCNet的SSIM指标的数值最大，左目图像比RUAS高0.025 8，右目图像比RUAS高0.038 2. 双目图像的BRISQUE、PIQE和LOE指标较好，在无监督方法中有4项指标取得最佳. 相比对应的单目方法ZeroDCE++，FCNet方法左目图像在BRISQUE降低5.131 6，PIQE降低7.274 3；右目图像在BRISQUE降低5.988 6，PIQE降低8.940 3；左右目图像的其余指标也较好. 这说明对于室内低光照图像，无论是左目图像还是右目图像， FCNet都比对应的单目方法ZeroDCE++的处理效果更好.

FCNet是无监督图像增强方法，因此仅选择2个无监督方法RUAS和ZeroDCE++进行可视化对比. 如图6所示为FCNet与ZeroDCE++、RUAS无监督方法在不同场景下的视觉比较. 对比夜晚灯笼场景图像可以看出，RUAS增强的图像周围环境的色彩受到灯光区域影响严重，且过曝现象严重；ZeroDCE++增强的图像框出区域路肩受到光照过曝，损失路肩部分细节；FCNet增强的图像保证了周围环境的色彩，也保证了图像对比度，还避免了过噪和过曝现象，相较于其他方法优势显著. 对比夜晚公交场景图像可以看出，RUAS增强的图像路面和路灯过曝现象严重，损失车辆上和路面上的部分细节；ZeroDCE++增强的图像框出区域车辆玻璃上的噪声显著，车身也略微发白；FCNet增强的图像路面和路灯没有显著的过曝现象，车辆玻璃上的噪声也不显著，相较于其他方法优势显著. 对比夜晚车辆和建筑场景图像可以看出，RUAS增强的图像路灯过曝现象严重，损失部分细节；ZeroDCE++增强的图像车身区域噪声明显，框出区域的路灯灯光过曝明显；FCNet增强的图像既能降低噪声，又避免了过曝现象，相较于其他方法优势显著. 对比夜晚树木和建筑场景图像可以看出，RUAS增强的图像增强效果不明显，且路面和窗户部分区域有过曝现象；ZeroDCE++增强的图像框出区域过曝现象严重，损失部分细节；FCNet增强的图像既降低了噪声，又避免了过曝现象，相较于其他方法优势显著.

如图7所示为室内图像单、双目增强效果对比. 相较于单目方法，双目方法可以消除部分噪声，如在框出的皮包区域，双目方法的噪声比单目方法的少；在白墙部分，单目方法比双目方法的过曝更显著. 单目方法的暗区更清楚的原因是单目方法的暗区部分存在噪声，这些白点噪声导致暗区稍显变亮.

进行目标检测实验，对比使用不同方法增强后的图像的目标检测效果. 本实验使用经过亮度暗化处理的低光照KITTI^[27]数据集，实现过程是将获取的原始KITTI数据集图像经过Gamma变换^[28]，通过调整亮度曲线使图像的亮度变低^[2]. 这种方法可以模拟类似在低光照条件下获取到的双目低光照图像. 该实验主要考察光照不充分的车辆图像在使用不同方法进行图像增强后，是否可以标出目标车辆的三维检测框. 实验选用KITTI数据集的训练集图像，其中训练图像3 712张、验证图像3 769张，图像大小约为1 224×370像素. 目标检测网络选用Disp-RCNN^[29]. Disp-RCNN是基于实例级视差估计的双目三维目标检测框架，主要由3个部分组成：1）检测每个输入对象的二维边框和实例掩码，2）仅估计属于对象的像素视差，3）使用三维检测器从实例点云中预测出三维边界框. 具体参数使用Disp-RCNN的默认参数，检测网络采用官方提供的预训练模型，再将各种方法增强后的双目图像分别输入检测网络，测试各自检测结果.

如表6所示为不同方法增强后图像的目标检测结果，重叠度(intersection over union, IoU)取0.7，难度选择中等. 表中， $ {\mathrm{A}\mathrm{P}}_{{\rm{2d}}} $为二维检测的平均准确度， $ {\mathrm{A}\mathrm{P}}_{{\rm{ori}}} $为方向的平均准确度， $ {\mathrm{A}\mathrm{P}}_{{\rm{bev}}} $为鸟瞰图的平均准确度， $ {\mathrm{A}\mathrm{P}}_{{\rm{3d}}} $为三维检测的平均准确度. 可以得到，经过低光照处理后的KITTI数据集的目标检测准确率显著下降，如当IoU=0.7时， $ {\mathrm{A}\mathrm{P}}_{{\rm{3d}}} $中等难度下降16.06个百分点. 多数的图像增强方法都能让目标检测准确率提升. 其中FCNet的检测准确率最高， $ {\mathrm{A}\mathrm{P}}_{{\rm{3d}}} $中等难度结果为45.45%，相比ZeroDCE++提升了0.47个百分点，说明使用双目方法可以有效提升对应方法的检测准确率. 如图8所示为单、双目图像增强方法的视差图对比，对比各分图框出的部分可以看出，使用双目方法FCNet增强左右目低光照图像通过Disp-RCNN网络获得的视差图，轮廓符合参考图像视差图的形状，明显优于使用单目方法ZeroDCE++分别增强左、右目低光照图像后一起通过Disp-RCNN网络获得的视差图.

本研究提出基于特征融合和一致性损失的双目低光照图像增强网络FCNet. 特征融合模块基于注意力机制和大核卷积，能够充分融合单目内和双目间的信息，进而增强特征. 一致性损失函数保持输入双目图像和输出双目图像间的差异趋势，能够实现更好的图像增强效果. 在SLL10K数据集上的实验表明，相比单目方法，FCNet能更有效提升低光照图像增强的性能. 在经过暗化处理的KITTI数据集上的实验表明，使用FCNet增强后的图像能获得更好的目标检测效果. 尽管FCNet在该数据集取得了一定的效果，但是在噪声抑制方面仍然存在巨大的进步空间. 未来将聚焦如何利用双目多视角的冗余信息抑制夜间噪声.