语义分割是对图像中的每个像素分配唯一的标签. 通用的语义分割方法大多是在细节清楚、光照良好的图像上进行训练的，并在通用的语义分割数据集上取得了不错的效果. 将通用的语义分割方法直接应用于夜间道路场景时，会导致语义分割精度下降、图像内容识别不准确. 夜间道路场景语义分割对自动驾驶、安防监控和环境监测等领域具有潜在的应用前景，因此设计较精准的夜间道路场景语义分割方法具有重要的意义.

夜间道路场景分割主要面临以下2个挑战. 1）由于夜间感知能力差，难以获得大规模标注的夜间道路场景数据集. 深度学习本质上是基于数据驱动的方法. 目前，实现高性能语义分割的标准策略是使用神经网络训练大量带标注的低光数据. 收集这种低光图像并对其进行标注的过程是劳动密集型的. 例如一个人需要大约90 min来标注Cityscape^[1]数据集的图像，该数据集只包含白天和晴朗的天气条件，对于有对应关系的恶劣条件数据集, 如ACDC^[2]数据集，则超过3 h. 由于夜间图片中黑暗或阴影部分的面积较大，在像素级建立高质量的标注是非常困难的. 2）夜间道路场景图像存在亮度低、噪声和运动模糊等问题，使用卷积层提取的特征与在良好光照条件下获得的特征存在明显差异. 使用日间道路数据集训练的模型，不能直接应用于夜间道路场景.

针对上述问题，提出Trans-nightSeg方法，用于夜间道路场景语义分割. 使用TransCartoonGAN对白天道路场景语义分割数据集Cityscapes进行弱光条件下的风格转换，生成新的数据集Transcity. 该数据集与Cityscapes共用同一个语义分割标签，达到丰富夜间道路场景分割数据集的效果. 将该数据集作为N-Refinenet的一个输入，N-Refinenet使用Refinenet网络提取图片语义信息，并引入低光图像自适应增强网络, 灵活地进行图像增强，以提高夜间道路场景的语义分割性能. Trans-nightSeg在夜间道路场景语义分割数据集Dark Zurich-test和Nighttime Driving-test上进行实验，与其他的夜间道路场景语义分割方法相比，Trans-nightSeg能够有效地提高夜间道路场景的语义分割精度.

生成对抗性网络（generative adversarial networks，GAN）^[3]是常见的图像生成方法之一，它在许多应用中产生了不错的结果，如文本到图像的转换^[4]、图像修复^[5]、图像超分辨率^[6]等. 对于像素到像素的图像生成问题，Isola等^[7-8]使用GAN提出解决方案，这些方法需要使用成对图像集，然而获得这样的对应图像集是有挑战的. 为了解决该问题，Zhu等^[9]提出CycleGAN，使用未配对的训练数据执行图像转换. Wang等^[10]将该方法应用于夜间道路场景语义分割，将日间道路场景数据集Cityscapes进行弱光条件下的风格转换，生成新的数据集Cyclecity，然而该数据集中的图片往往包含蓝色的噪点，部分效果与真实夜间道路场景图像不太相符. Chen等^[11]提出CartoonGAN方法，使用未配对的训练数据来实现真实图片和卡通图片之间的映射，合成高质量的卡通图像. 受上述2种方法的启发，将CartoonGAN应用到日夜道路场景的风格转换，然而仅使用CartoonGAN会导致部分生成的夜间道路场景图片含有彩色光斑. 受文献[12]的启发，添加侧窗盒式滤波模块，提出更适合日夜道路场景图像转换的方法TransCartoonGAN.

图像语义分割是许多计算机视觉理解系统的关键，Long等^[13]提出全卷积神经网络，将用于图像分类的全连接层替换为全卷积层，使得网络能够对任意大小的图像输出相应的分割结果掩码. Lin等^[14]提出Refinenet网络，采用多尺度分析来提取图像全局上下文，保留了低层次的细节. 这些通用的语义分割网络应用于夜间道路场景时，性能较差，因此Bijelic等^[15-16]研究模型对不利条件的适应性. Dai等^[17]利用中间黄昏域，逐步将在白天道路场景中训练的语义模型调整为夜间道路场景. Sakaridis等^[18-19]将无监督域适应扩展到指导课程自适应方法，提出从白天到夜间逐渐自适应的分割模型. 这种渐进自适应方法通常需要训练多个语义分割模型. 例如文献[18]的3个模型分别用于3个不同的领域，效率较低. Xu等^[20]提出CDAda方法，它可以根据领域的难度，分别通过熵最小化和伪标签自训练方法来调整模型. 最近的一些工作使用GAN，有效地减少域间隙. Romera等^[21-22]使用GAN来学习输入图像到输出图像的映射，从2个角度提高了分割性能，包括夜间道路场景图像的直接推断和通过风格转换实时在线推断夜间道路场景图像. Wu等^[23-24]提出无监督的一阶段自适应方法，其中将图像重照明网络放置在分割网络的头部，对抗性学习用于实现标记的白天数据和未标记的夜间数据之间的领域对齐. 额外的重照明网络导致了大量的参数和计算. 针对上述问题，提出低照度道路场景图像自适应增强的分割模块N-Refinenet以及分割方法Trans-nightSeg.

提出夜间道路场景语义分割方法Trans-nightSeg，该方法由TransCartoonGAN和N-Refinenet两部分组成. Trans-nightSeg的网络结构如图1所示. TransCartoonGAN由一个生成器和一个鉴别器组成，生成器专注于生成图像，鉴别器向生成器反馈生成的图像是否真实. N-Refinenet是在原有的Refinenet网络的头部添加低照度图像自适应增强模块.

由于真实的夜间道路场景图像存在对比度低、细节纹理不清晰、灯光多等问题，直接使用CartoonGAN网络会导致生成的图片存在彩色光斑. 针对该问题，提出基于TransCartoonGAN的框架，实现源域到目标域的不成对图像转换. 该框架旨在生成具有更多内容细节的夜间图像，同时达到理想的目标风格. 与常见的GAN框架一样，生成器G学习不同域之间的映射函数，鉴别器D旨在通过区分源域图像和生成的图像来优化G. 在将图像输入到网络之前，添加了侧窗盒式滤波模块. 该模块可以削弱真实夜间的灯光，减少生成器对图片上灯光的学习，抑制彩色光斑的生成，使合成的夜间图像更真实. 滤波处理后的图片如图2所示.

采用真实的白天图片作为源域数据，真实的夜间图片作为目标域数据，TransCartoonGAN的结构如图3所示.

该网络主要完成从白天图像到夜间图像的映射转换. 如图3所示，在生成器模块，采用7×7的卷积层、2个下采样卷积块、8个残差块、2个用于上采样的转置卷积块及1个7×7卷积层. 在判别器模块，采用PatchGAN^[7]将每个图像块分类为真实的或合成的. 从合成的或真实的图像中裁剪出尺寸为70×70的重叠块进行训练. 判别器由1个3×3的卷积、LReLU层及3个卷积块组成. 判别器使用较少的参数，可以处理任意大小的图像. 在滤波选择模块，考虑到传统滤波算法在进行滤波处理操作后，图片边缘信息会在一定程度上被平滑掉，采用侧窗盒式滤波，算法的原理如下.

对于任意像素点$(x,y)$，定义一组连续情况下的侧窗，如图4所示，包含参数$\alpha $、$\,\beta $和$\lambda $. 其中，$\alpha $为窗口与水平线的夹角，$\,\beta $为窗口半径，$\lambda $控制窗口长度且$\lambda \in \left[ {0,\;\beta } \right]$. 通过改变$\alpha $，可以控制窗口的朝向. 在$\,\beta $固定的情况下，改变$\lambda $可以控制窗口纵向的长度. 定义了8类窗口，朝向分别定义为${{L}}$、${{R}}$、${\rm{Up}}$、${\rm{Dn}}$、${\rm{NW}}$、${\rm{NE}}$、${\rm{SW}}$、${\rm{SE}}$，如图3所示. 这8类窗口满足$\alpha = k {\text{π} /2} ,{\text{ }}k \in [0,3]$且$\lambda = \beta l,{\text{ }}l \in [0,1.0]$.

侧窗盒式滤波的步骤如下.

1）读入图像，输入参数：$m$为待处理像素，$n$为邻接像素.

2）定义侧窗编组：

$ S=\left\{L\text{，}R\text{，}{\rm{Up}}\text{，}{\rm{Dn}}\text{，}{\rm{NW}}\text{，}{\rm{NE}}\text{，}{\rm{SW}}\text{，}{\rm{SE}}\right\} . $

3）计算$m$经过不同侧窗$i$加权滤波处理后的结果${I_i}$，

(1)$ {I_i} = \frac{1}{{{N_i}}}\sum\limits_{n \in \omega _i^i} {{w_{mn}}{q_n}} . $

式中：$ \omega _i^i $为侧窗$i$，${w_{mn}}$为以像素$\left( {m,n} \right)$为中心的滤波窗口中各像素的权重，$ {q_n} $为输入图像$q$在位置$n$处的像素. ${N_i}$为单个侧窗的权重之和，

(2)$ {N_i} = \sum\limits_{n \in \omega _i^i ,i \in S} {{w_{mn}}} . $

4）计算代价函数${{{{E}}}_{{{m}}}}$，

(3)$ {{{{E}}}_{{{m}}}} = \left| {{q_m} - \left. {{I_i}} \right|} \right.^2 . $

式中：$ {q_m} $为输入图像$q$在位置$m$处的像素.

5）得出最佳侧窗编号${I_j}$，

(4)$ {I_j} = \arg {\min _{i \in S}}\;\;{{{{E}}}_{{{m}}}} = \arg {\min _{i \in S}}\;\left| {{q_m} - \left. {{I_i}} \right|} \right.^2 . $

通过得到的最佳侧窗类型，对输入图像进行侧窗盒式滤波处理，达到保边的效果.

夜间道路场景图像亮度较低、细节模糊，导致语义分割困难，每张图像可能包含曝光过度或曝光不足的区域，因此解决夜间分割困难的关键是处理曝光差异. Hu等^[25]提出具有一组可微分滤波器的后处理框架，该框架使用深度强化学习来生成滤波器参数. 本研究将该方法添加到Refinenet网络结构的头部，Chollet等^[26-27]提出深度可分离卷积，证明了与普通卷积相比，可以减少计算参数量和计算次数，因此本研究采用深度可分离卷积替代普通的卷积，提出低照度道路场景图像自适应增强的分割模块N-Refinenet. 深度可分离卷积由逐点卷积和空间可分离卷积组成，N-Refinenet模块通过逐点卷积来降低通道数，采用空间可分离卷积对每个通道进行卷积，得到与原始模型相当的精度，减少了计算量. 如图5所示，该网络输入以下3个数据集进行训练：NightCity、Transcity和Cityscapes.

该网络使用双线性插值，将输入的任意分辨率图像下采样到256×256分辨率. 将结果输入到CNN模块，该模块由1个深度可分离卷积层、4个卷积块、1个参数为0.5的dropout层和1个全连接层组成. 每个卷积块包括1个3×3的深度可分离卷积层和1个LRelu激活函数. 这4个卷积层的输出通道数分别为32、64、128和128. CNN模块作为参数预测器，目的是通过了解图像的全局内容，如亮度、色调和曝光程度，预测图像滤波器的参数. 图像滤波器由曝光、伽玛、对比度和锐化这4个可调超参数组成. 输入的高分辨率图像可以直接输入到图像滤波器中；将图像滤波器的处理结果输入到RefineNet模型，输出最终的分割预测结果. 该模块有效地解决了夜间道路场景图像照明弱、细节不清楚的问题，提高夜间道路场景的分割精度.

使用的损失函数涉及Trans-CartoonGAN的损失和N-Refinenet的损失这2个部分，分别对应Trans-nightSeg的2个组成部分.

TransCartoonGAN的损失由以下2个部分组成. 1）对抗性损失${L_{{\text{adv}}}}(G,D)$，它的作用是驱动生成器网络实现所需的风格转换. 2）内容损失${L_{{\rm{con}}\_{\rm{s}}}}(G,D)$，它的作用是在日夜转换过程中保留白天图像的内容. 总损失函数为

(5)$ L(G,D) = {L_{{\text{adv}}}}(G,D)+{w_{\rm{s}}}{L_{{\rm{con}}\_{\rm{s}}}}(G,D) . $

式中：${w_{\rm{s}}}$为平衡2个给定损失的权重. ${w_{\rm{s}}}$对风格转换和内容保存的平衡有很大的影响. ${w_{\rm{s}}}$越大，会保留更多的输入图像的内容，生成的图像不够风格化. ${w_{\rm{s}}}$越小，网络会过度地学习风格化，导致语义内容信息不能很好地保存. 为了取得平衡，在初始阶段将${w_{\rm{s}}}$设置为0.25，通过适度的风格转换，正确地保存内容信息. 在训练稳定并在初始阶段正确重建语义内容信息后，逐渐降低${w_{\rm{s}}}$，获得更好的风格转换结果.

对抗性损失${L_{{\text{adv}}}}(G,D)$用来引导生成器G的结果，使得生成的图像接近于目标域的图.

使用重新加权策略^[23]，提高网络对小物体的关注.

(6)$ {w_v} = \frac{{w_v^\prime - \overline w }}{{\sigma \left( w \right)}} \cdot {\rm{std}}+{\rm{avg}} . $

式中：$w_v^\prime $为图像像素的权重；$ \overline w $和$\sigma \left( w \right)$分别为$ w_{{v}}^\prime $的平均值和标准差；训练中，${\rm{std}}$为0.1，${\rm{avg}}$为1.0.

N-Refinenet损失采用交叉熵损失函数，

(7)$ {L_{{\rm{seg}}}} = - \frac{1}{{{U_1}\left| {{R_1}} \right|}}{\sum\limits_{v \in {R_1}} {\left\| {{w_v}{\rm{G}}{{\rm{T}}^{(v)}} \cdot \ln {{P^{\left( v \right)}}} } \right\|} _1} . $

式中：$ {P^{\left( v \right)}} $为分割结果的第v个通道，${U_1}$为相应的分割标注图像中的有效像素数，$ \left| {{R_1}} \right| $为数据集中标注类别的数量，${\rm{G}}{{\rm{T}}^{(v)}}$为第v类真实标签的一个热编码.

使用平均交并比mIoU来评估Trans-nightSeg的性能. 一般来说，mIoU越大，性能越好.

(8)$ {\rm{mIoU}}=\dfrac{1}{C}{{\displaystyle \sum _{c=1}^{C}\left(\frac{1}{b}{\displaystyle \sum _{t=1}^{b}\frac{{p}_{ctt}}{{\displaystyle \sum _{h=1}^{b}{p}_{cth}}+{\displaystyle \sum _{h=1}^{b}{p}_{cht}-{p}_{ctt}}}}\right)}}· $

式中：$b$为类别的总数；$C$为验证集中图像的数量；$ {p_{ctt}} $为在第$c$个样本中预测标签和真实标签都属于某个类别的像素数目；$ {p_{cht}} $为在第$c$个样本中模型预测该图像属于类别$h$时，实际上它属于类别$t$的像素数量.

以下数据集用于模型训练和性能评估.

1）Cityscapes^[1]：Cityscapes是具有白天道路场景像素级标注的语义分割数据集. 其中有2975张图像用于训练、500张图像用于验证和1525张图像用于测试，均具有19类像素级标注，分辨率均为2048×1024. 使用该数据集作为N-RefineNet的训练数据集，从中选取4000张图片作为TransCartoonGAN的源域.

2）Transcity：为了训练日夜图像转换模型，从适当光照条件下的图像和弱光照条件下的图像中各选择4000个样本，作为TransCartoonGAN模型的源域和目标域. 在TransCartoonGAN训练完成后，使用Cityscapes数据集，通过TransCartoonGAN生成夜间道路场景数据集Transcity. 使用该数据集作为训练数据集.

3）NightCity^[28]：NightCity是具有像素级标注的大型数据集，专注于夜间道路场景的语义分割任务. 该数据集有2998张图像用于训练，1299张图像用于验证或测试，均具有19类像素级标注. 标记的对象类与Cityscapes数据集相同. 使用该数据集作为训练数据集.

4）Nighttime Driving-test^[17]：包含50张带有精细标注的夜间道路场景图像，分辨率为1920×1080. 标注的格式与Cityscapes数据集一致，共有19个类.仅使用该数据集对模型的性能进行评估.

5）Dark Zurich^[18]：Dark Zurich是大型数据集，可以用于无监督语义分割的道路场景. 该数据集包括2416幅夜间图像、2920幅黄昏图像和3041幅日间图像，这些图像都是未标记的，分辨率为1920×1080. Dark Zurich数据集还包括201张带有像素标注的夜间图像，其中50张用于验证，151张用于测试，可以用于定量评估算法的性能. 在在线评估网站Dark Zurich提交分割预测，获得了该算法在Dark Zurich-test上的mIoU结果.

6）BDD^[29]：BDD数据集总共有10万张驾驶图像，包含多种场景，如城市街道、住宅区和高速公路. BDD100k包含大量的夜间图像，因此从该数据集中选取4000张夜间道路场景图像作为TransCartoonGAN的目标域.

实验均在Tesla V100 GPU上进行，使用的方法均由PyTorch实现.

为了训练该模型，从Cityscapes数据集和BDD数据集中各选择4000个样本，分别作为该模型的源域和目标域. 由于GPU内存有限，将图像大小调整为256×256，该模型训练1轮次需要的运行时间大约为519.82 s，生成1张夜间道路场景图像的推理时间大约为5.26 s.

TransCartoonGAN和CycleGAN具有相同的特性，即不需要配对图像进行训练. 与CycleGAN、CartoonGAN进行比较，所有实验均训练200轮次，各方法生成的夜间道路场景图像的效果图如图6所示. 可以看出，TransCartoonGAN与CycleGAN相比，它能够更好地增强对比度，使得图像更加清晰，减少了图像中的噪点. 与CartoonGAN相比，它可以更好地避免生成图像的彩色光斑，在低光线条件下产生的图像具有更高的保真度. 使用以下3个指标，评估合成的夜间道路场景图像和真实夜间道路场景图像的相似度：PSNR、SSIM、FID. 其中PSNR越大，表示图像的质量越好；SSIM越大，FID越小，表示图像的相似程度越高，如表1所示. 表中，最佳结果被加粗. 从表1可以看出，TransCartoonGAN合成的夜间道路场景图像与真实夜间道路场景图像最相似.

将图像大小调整为256×256，将其输入到基于CNN的参数预测器中，以预测图像滤波器的参数. 将滤波器滤波后的图像作为RefineNet的输入. 整个过程是在有分割损失的情况下进行端到端训练的，因此基于CNN的参数预测器能够学习适当的可微分图像滤波来自适应地增强图像，实现更好的夜间道路场景分割效果.

使用RefineNet作为基线模型，该模型是在Cityscapes数据集上进行150000次预训练的语义分割模型. 在训练过程中，先将输入的原始图像随机地缩小到原来的0.5~1.0倍，随后对其采用512×512的随机裁剪，最后应用随机水平翻转操作达到增强数据集的效果. 为了优化模型的参数，使用随机梯度下降优化器，其中动量参数设置为0.9，权重衰减为5×10⁻⁴. 初始学习率为2.5×10⁻⁴，并采用学习率策略poly来逐渐降低学习率，batch size大小设置为4.

实验使用Dark Zurich-test和Nighttime Driving-test这2个权威数据集，将Trans-nightSeg与其他的夜间道路场景分割方法进行比较.

在Dark Zurich-test的在线测试网站提交Trans-nightSeg的分割结果，将获得的IoU与现有的夜间道路分割方法进行比较，主要包括DMAda^[17]、GCMA^[18]、MGCDA^[19]、DANNet^[23]、DANIA^[24]. 由于缺乏大规模标注的夜间道路场景语义分割数据集，以前的方法大多是基于伪标记或未标记图像的领域自适应方法. 如表2所示为每类IoU性能的比较结果，其中最佳结果被加粗. 与现有方法（DANIA）获得的最高分数相比，Trans-nightSeg在Dark Zurich-test中实现了8.8%的改进. 本研究在一些相关论文中选择5幅常见的图像进行可视化，展示了DMAda、GCMA、MGCDA、DANNet和Trans-nightSeg的几个视觉比较示例，如图7所示. 通过结果发现，本研究改善了大型类别的视觉质量，如图像3的人行道、图像4的植物及图像5的天空，使得小尺寸物体的边缘更加清晰和平滑，如图像1的人行道边缘及图像2的交通标志. 这表明Trans-nightSeg可以在一定程度上解决夜间道路语义分割的问题.

为了验证Trans-nightSeg的通用性，重复上述步骤并在Night Driving-test数据集上进行比较. 性能结果如表3所示. 与最佳方法（DANIA）相比，Trans-nightSeg在Night Driving-test中实现了8.2%的改进. 本研究在一些相关论文中选择了5幅常见的图像进行可视化，展示了GCMA、MGCDA、DANNet、DANIA和Trans-nightSeg的几个视觉比较示例，如图8所示. 可以发现，本研究改善了大型类别的视觉质量，如图像Ⅰ的人行道及图像Ⅲ的天空，使得小尺寸物体的边缘更加清晰和平滑，如图像Ⅱ、图像Ⅴ的交通灯以及图像Ⅳ的电线杆. 这表明Trans-nightSeg可以在一定程度上缓解夜间道路语义分割的问题.

为了验证提出的夜间道路分割网络的每个组件的有效性，在Dark Zurich-test数据集上测试不同模型的性能，结果如表4所示. 通过实验结果可以看出，与基线Refinenet（A）相比，可以发现Trans-nightSeg（E）在弱光条件下表现更好，mIoU提高了29.5%. 通过对日间数据集的风格转换，联合训练的夜间图像越多，模型学习的效果越好，与基线A相比，B和C的mIoU分别提高了4.4%、5.3%. 使用光增强网络进一步提高了夜间道路分割性能，与基线A相比，D的mIoU提高了15.0%. 结合TransCartoonGAN和夜间道路分割模型，Trans-nightSeg可以在数据集上实现56.0%的mIoU性能. TransCartoonGAN生成的低光照条件图像比CartoonGAN生成的图像更逼真，因此消除了低质量生成图像对训练的负面影响. 各部件输出的部分结果如图9所示. 相比之下，本研究生成的结果更明显、更准确，如大型类别图像1的天空、图像4的植物、图像5的人行道以及小型类别图像2的交通标志、图像3的电线杆等，可以得出Trans-nightSeg在弱光条件下可以更好地对图像进行分割.

提出适用于夜间道路场景的语义分割方法Trans-nightSeg，从图7~9的可视化效果可以看出，Trans-nightSeg在通用的夜间道路场景语义分割数据集上取得了不错的性能，优于其他方法. 如图10所示为Trans-nightSeg在极端黑暗条件下的效果，所列的图像均来自Cityscapes数据集，转换的图是对Cityscapes数据集进行处理，合成了极端条件下的夜间道路场景图像. 从图10的可视化效果可以看出，Trans-nightSeg对大物体的分割取得了不错的效果，如图像1~5中的汽车、植物、人行道及天空等，但对小物体的分割效果不太理想，如图像1~5中的电线杆、交通标志、红绿灯等. 原因可能是极端黑暗条件下亮度较暗、细节不清晰及训练数据集中这些类别数量较少. 可能的解决方法是在网络中添加类别重采样模块，丰富小物体的类别，未来将考虑在Trans-nightSeg添加该模块，以提升该方法的泛化能力.

本研究提出夜间道路场景语义分割方法Trans-nightSeg. 使用TransCartoonGAN生成弱光条件下的道路场景图像，丰富夜间道路场景数据集. 将该结果作为N-RefineNet的输入，N-Refinenet网络引入了低光图像自适应增强网络，提高了夜间道路场景的语义分割性能. 该网络采用深度可分离卷积替代普通的卷积层，降低了计算量. Trans-nightSeg在Dark Zurich和Night Driving测试数据集上进行验证，结果表明，Trans-nightSeg优于先前的夜间道路场景语义分割方法. 本研究接下来将联合训练TransCartoonGAN和N-RefineNet网络，以期取得更好的夜间道路场景语义分割效果.