随着人工智能技术以及汽车工业的快速发展，无人驾驶汽车及无人驾驶技术逐渐成为智能交通领域的研究热点. 在无人驾驶汽车道路环境的感知过程中，车道线信息的精确感知是汽车智能行驶的基本要求之一，车道线检测与分类对于规范汽车行驶行为、保障汽车行车安全具有重要意义. 由于真实道路场景的环境复杂多样，光照强度变化、车辆遮挡、车道线磨损等问题给车道线检测与分类研究带来了困难^[1]，车道线检测与分类逐渐成为国内外学者和研究机构的研究热点^[2-3]. 目前，车道线检测算法主要包括基于传统图像处理的方法及基于深度学习的方法2类^[4].

基于传统图像处理的车道线检测方法^[5-7]计算量较小，计算效率高，能够在场景简单、车道线标记清晰的道路环境中取得较好的检测性能，但是该方法依赖于人工提取的特征，经验参数的选择对检测效果的影响较大，在复杂场景中检测精度较低、鲁棒性较差，难以满足实际道路场景的应用需求.

近年来，随着深度学习理论的深入研究及计算机硬件性能的不断提高，深度学习在机器视觉和图像处理领域的应用中取得了显著的进展，基于深度学习的车道线检测方法是目前车道线检测领域的研究热点. 庞彦伟等^[8]以主流的语义分割网络框架为基础网络，在编码器阶段逐层融合原始特征图和边缘特征提取子网络提取的边缘特征图，建立从编码器到解码器对称位置的跨连接，在解码器逐层上采样的过程中融合编码器对应尺寸的特征图，以增强车道线特征. Pan等^[9]提出Spatial CNN（SCNN）网络，在特征图中采用逐片卷积的方式代替传统逐层卷积方式进行计算，使得特征图中像素的行和列之间能够传递信息，提取目标空间关系特征，提高车道线的检测性能. Neven等^[10]提出端到端的车道线检测算法，包括LaneNet和 H-Net 2个网络模型. LaneNet网络通过语义分割分支输出车道像素，利用车道嵌入分支将分割的车道像素分离到不同的车道实例中. H-Net网络用于根据道路平面变化估计透视变换矩阵的参数，以适应道路平面变化的情况. 基于深度学习的车道线检测方法与基于传统图像处理的车道线检测方法相比，在检测精度和环境适应能力方面有较大的提升，但是存在车道线特征表述模糊、语义信息利用率较低的问题，有待进一步研究解决.

基于上述研究背景，本文将车道线检测视为连续细长区域的实例分割问题，提出基于改进HTC网络的车道线检测方法. 基于HTC网络模型，在主干网络中引入可变形卷积，改进特征金字塔网络结构，在特征金字塔网络的基础上添加自底向上的低层特征传递路径，在增强路径中引入空洞卷积，以提高车道线的检测精度. 构建包含复杂道路环境的车道线标注数据集，对改进HTC网络进行训练，使得网络模型充分学习车道线的特征，提高网络模型的车道线特征表征能力及环境适应能力.

鉴于Cascade R-CNN^[11]网络的多阶段级联结构在目标检测任务中表现出优异的检测性能，Chen等^[12]设计多任务多阶段的混合级联结构用于实例分割，提出混合任务级联（hybrid task cascade, HTC）网络. 网络结构图如图1所示. 该网络在每个阶段交替执行边界框回归和掩码预测，在相邻的掩码分支之间增加连接路径，提供掩码分支之间的信息流，提高实例分割的性能.

用于车道线检测的改进HTC网络结构如图2所示. 采用残差网络（ResNet）^[13]作为主干网络，ResNet包含5个卷积块，分别表示为C₁、C₂、C₃、C₄、C₅. 在卷积块中使用可变形卷积替换常规卷积，提取输出5个不同尺度的车道线特征图，用于构建特征金字塔，输出的车道线特征图如图3所示. 改进特征金字塔网络结构，在特征金字塔网络的基础上添加自底向上的低层特征传递路径. 该路径包含的网络层数不到10层，缩短了底层与最顶层特征之间的信息传递路径，使得特征金字塔网络输出的特征图包含更多的车道线细节信息，在增强路径中引入空洞卷积^[14]，在不损失车道线特征信息的情况下，增大特征图感受野. HTC网络包含4个级联的阶段：第1个为区域候选网络（region proposal network，RPN），在RPN网络中，设定锚框的宽高比分别为0.5、1和2；另外3个阶段为交并比（intersection over union，IOU）阈值逐渐增大的检测模块，阈值分别设置为0.5、0.6和0.7. 不同阶段掩码分支之间存在掩码信息传递路径，这样各阶段的掩码分支既能够得到主干网络提取的特征，也能够得到上一阶段掩码分支输出的特征. HTC网络逐阶段筛选精度更高的目标边界框及目标掩码，减少了复杂背景信息对车道线检测的干扰，提高了车道线的检测精度.

在常规的卷积神经网络中，由于卷积核的几何结构固定，缺乏对复杂形状目标的自适应几何变换，容易导致目标关键特征信息的丢失. 针对这一问题，Dai等^[15]提出可变形卷积（deformable convolution，DCN）概念. 可变形卷积通过在卷积核的每个采样点的位置添加二维偏移向量来捕捉更丰富的特征，通过学习偏移变量实现根据目标几何特征自适应调整采样位置，不局限于常规卷积的规则格点采样. 采样位置更符合目标物体本身的形状和尺寸，有利于目标特征的提取^[16].

二维卷积过程一般包含在输入特征图x上使用规则网格 ${\boldsymbol{R}}$进行采样以及对采样值求取加权和（权重为w）2个步骤. 对于卷积输出特征图y上的任意位置 ${{\boldsymbol{p}}_0}$，常规的二维卷积计算过程为

(1) $ {\boldsymbol{y}}({{\boldsymbol{p}}_0}) = \sum\limits_{{{\boldsymbol{p}}_n} \in {\boldsymbol{R}}} {{\boldsymbol{w}}({{\boldsymbol{p}}_n}) \cdot {\boldsymbol{x}}({{\boldsymbol{p}}_0} + {{\boldsymbol{p}}_n})} . $

式中： ${{\boldsymbol{p}}_n}$为采样网格R中的任意采样位置，常规的二维卷积方式固定了感受野的大小与范围，限制了网络对目标形变的建模能力. 可变形卷积通过对卷积采样点添加偏移量 $\left\{ {\Delta {{\boldsymbol{p}}_n}|n = 1,2, \cdots ,N} \right\}$，其中 $N = \left| {\boldsymbol{R}} \right|$，使得卷积核在输入特征图上的采样位置发生偏移，从而集中于感兴趣的目标区域. 可变形卷积的计算过程为

(2) $ {\boldsymbol{y}}({{\boldsymbol{p}}_0}) = \sum\limits_{{{\boldsymbol{p}}_n} \in {\boldsymbol{R}}} {{\boldsymbol{w}}({{\boldsymbol{p}}_n}) \cdot {\boldsymbol{x}}({{\boldsymbol{p}}_0} + {{\boldsymbol{p}}_n} + \Delta {{\boldsymbol{p}}_n})} . $

由于 $\Delta {{\boldsymbol{p}}_n}$通常为小数，偏移后采样位置的像素 ${\boldsymbol{x}}({{\boldsymbol{p}}_0} + {{\boldsymbol{p}}_n} + \Delta {{\boldsymbol{p}}_n})$通常是未知的，通过双线性插值方法进行计算：

(3) $ {\boldsymbol{x}}({\boldsymbol{p}}) = \sum\limits_{{\boldsymbol{q}} \in {\boldsymbol{x}} }{G({\boldsymbol{q}},{\boldsymbol{p}}) {\boldsymbol{x}}({\boldsymbol{q}})} . $

式中：p表示偏移后的任意采样位置， ${\boldsymbol{p}} = {{\boldsymbol{p}}_0} + {{\boldsymbol{p}}_n} + $ $ \Delta {{\boldsymbol{p}}_n}$；q表示特征图x中所有的空间位置， ${\boldsymbol{x}}({\boldsymbol{q}})$为坐标q处的像素；函数 $G$为双线性插值核，是二维核，将其分解为2个一维核：

(4) $ G({\boldsymbol{q}},{\boldsymbol{p}}) = g({q_x},{p_x}) g({q_y},{p_y}). $

函数 $g(a,b)$的运算规则为

(5) $ g(a,b) = {\rm{max}}\;\;\{0,1 - \left| {a - b} \right|\}. $

可变形卷积以提取的特征图作为输入，通过添加卷积层学习采样位置偏移量，输出的偏移量与输入特征图具有相同的空间分辨率. 在网络模型训练过程中，用于生成输出特征图的卷积核和用于生成偏移量的卷积核同步学习，其中偏移量的学习是基于式（3）的双线性插值算法，通过梯度反向传播实现.

特征金字塔网络结构主要包括自下向上的不同维度特征生成、自上向下的特征补充增强、主干网络层提取特征与最终输出的各维度特征之间的关联表达3个基本过程，利用目标不同尺度的特征进行预测输出^[17]. 在车道线检测图像中，如图3所示，低层特征主要包括车道线的边缘轮廓和形状细节特征信息，该类信息更有利于车道线精确定位及轮廓范围提取. 高层特征主要包括车道线语义信息，该类信息更有利于车道线分类. 在特征金字塔网络结构中，自下向上的特征生成通路要经过多层的卷积池化操作，较长的特征传递路径容易导致传递过程中低层特征所包含的细节信息的丢失，使得车道线检测定位与轮廓分割精度降低.

为了充分利用特征金字塔低层特征所包含的车道线细节信息，引入路径聚合网络^[18]（path aggregation network，PANet）中的特征金字塔路径增强策略. 在特征金字塔网络的基础上添加自下向上的低层特征传递路径，该路径包含的网络层数不到10层，能够较好地保留低层特征信息. 通过改进增强路径的特征提取方式，采用空洞卷积，增强整个特征层次结构的定位能力，提高车道线的检测精度，网络结构如图2所示.

特征金字塔网络生成的不同尺度的特征表示为[P₂，P₃，P₄，P₅]，增强路径从最低层次P₂传递至P₅，采用的卷积块由3×3卷积核、步长为2的卷积层和3×3卷积核、步长为1的空洞卷积层组成，生成的特征映射表示为[N₂，N₃，N₄，N₅]，作为后续网络的输入. 其中，N₂是由P₂未经任何处理得到的， ${N_{i + 1}}(i = 2,3,4)$是由 ${N_i}$和 ${P_{i + 1}}$通过横向连接得到的. 每个特征图 ${N_i}$通过下采样减小特征图尺寸，通过横向连接将特征图与 ${P_{i + 1}}$下采样特征图的对应元素相加，得到融合之后的特征图 ${N_{i + 1}}$，重复上述过程直至生成特征图N₅为止. 在特征图[N₂，N₃，N₄，N₅]的生成过程中，所有卷积层后面添加Relu激活函数，且特征图通道数保持为256.

车道线具备细长的形态结构，对于车道线的检测，需要同时获取全局的空间结构关系和细节信息的定位精度. 空洞卷积在计算条件相同的情况下，可以为网络提供更大的感受野，提高网络的空间信息提取能力. 采用空洞卷积改进增强路径的特征提取方式，提高了复杂环境下的车道线检测精度.

为了衡量网络模型的车道线检测性能，采用多任务损失函数对网络进行端到端的训练，包括基于交叉熵损失函数计算目标分类误差、基于平滑L₁损失函数计算边界框偏移量回归误差以及基于二分类交叉熵损失函数BCE计算掩码预测误差. 损失函数的计算公式为

(6) $\left. \begin{array}{l} L = \displaystyle\sum\limits_{t = 1}^T {{\alpha _t}(L_{{\text{bbox}}}^t + L_{{\text{mask}}}^t)}, \hfill \\ L_{{\text{bbox}}}^t({{\boldsymbol{c}}_t},{{\boldsymbol{r}}_t},{{\hat {\boldsymbol{c}}}_t},{{\hat {\boldsymbol{r}}}_t}) = {L_{{\text{cls}}}}({{\boldsymbol{c}}_t},{{\hat {\boldsymbol{c}}}_t}) + {L_{{\text{reg}}}}({{\boldsymbol{r}}_t},{{\hat {\boldsymbol{r}}}_t}), \hfill \\ L_{{\text{mask}}}^t({{\boldsymbol{m}}_t},{{\hat {\boldsymbol{m}}}_t}) = {\text{BCE(}}{{\boldsymbol{m}}_t},{{\hat {\boldsymbol{m}}}_t}) . \end{array}\right\} $

式中：T = 3，表示检测子网络包含3个级联的阶段，在每一阶段需要设置不同的IOU阈值区分正样本和负样本；t表示阶段的索引，在每个阶段t，边界框分支预测所有感兴趣区域（region of interest，ROI）的类别得分 ${{\boldsymbol{c}}_t}$和边界框偏移量回归结果 ${{\boldsymbol{r}}_t}$，掩码分支预测正样本每个像素点的掩码 ${{\boldsymbol{m}}_t}$； $L_{{\text{bbox}}}^t$为t阶段边界框的分支预测偏差值，由预测类别偏差 ${L_{{\text{cls}}}}$和预测边界框位置偏差 ${L_{{\text{reg}}}}$ 2部分组成； $L_{{\text{mask}}}^t$为t阶段掩码分支目标掩码预测的偏差；参数 ${\alpha _t}$用于平衡不同阶段的权重，3个阶段分别设置为1、0.5和0.25.

为了评估改进HTC网络模型的车道线检测性能，基于车道线检测竞赛公布的数据集图片以及行车记录仪拍摄的道路图片构建车道线数据集，用于网络的训练和测试. 构建的数据集包含了多种光照条件（如强光照、弱光照、夜晚等）、多种天气状况（如晴天、雨天、雾天等）及多种道路场景（如城市、农村、高速公路、山路等），包含了车道线磨损和遮挡的实际道路状况. 采用Labelme图像标注工具对每张图片进行标注，标注的车道线类别包括实线、虚线、双黄线及虚实线4类，对包含磨损、遮挡情况的车道线基于对客观事实的认知，判断标注为完整车道线.

在对车道线图像进行预处理的过程中，因检测目标为车道线，图片上半部分均为无效区域，所以裁剪图片上半部分，以减少模型训练与测试的计算量. 通过数据增强的方法扩充数据集，以丰富数据集的场景多样性及光照多样性，提高算法的鲁棒性. 通过图像水平翻转，丰富图像拍摄方向及场景的多样性. 通过亮度调整模拟现实道路场景中光照强度的变化，提高网络模型对光照强度变化环境的适应能力. 通过添加噪声干扰，提高网络模型对包含大量干扰信息的车道线图像的检测能力. 通过数据增强方法，构建车道线数据集共10 000张图片，按照4∶1^[19]的比例划分为训练集和测试集，车道线数据集的构建流程如图4所示.

采用平均精度（average precision，AP）指标，对网络性能进行评估. AP表示以召回率（recall，R）和准确率（precision，P）为横、纵坐标的P-R曲线所围成的面积，召回率和准确率的计算公式如下：

(7) $ \left. \begin{array}{l} P=\dfrac{{{\rm{TP}}}}{{{\rm{TP + FP}}}},\\ R=\dfrac{{{\rm{TP}}}}{{{\rm{TP + FN}}}}. \end{array} \right\}$

式中：TP为正确检测为正样本的个数，FP为误检为正样本的个数，FN为漏检为正样本的个数. 实验评价指标的具体介绍如下：mAP表示IOU阈值为0.5~0.95时以0.05为间隔的掩码AP值的平均值，AP_0.5表示IOU阈值为0.5时的掩码AP值，AP_0.75表示IOU阈值为0.75时的掩码AP值.

实验环境为Ubuntu 18.04操作系统，CPU为Intel Xeon E5-2678 v3，GPU为NVIDIA GeForce RTX 2080 Ti. 深度学习框架采用PyTorch，集成开发环境使用PyCharm.

为了验证所研究的改进HTC网络的车道线检测性能，确定检测性能最佳的网络模型结构，开展基于不同特征提取方式的主干网络的对比实验. 在ResNet主干网络不同卷积块中使用可变形卷积替换常规卷积，基于构建的车道线数据集对网络模型进行训练和测试，车道线检测精度的对比结果如表1所示. 可知，当C₃~C₅卷积块中均使用可变形卷积替换常规卷积时，主干网络可以自适应地提取更精确的车道线特征信息，车道线的检测精度最高.

在改进HTC网络的训练过程中，批处理大小设置为2. 采用随机梯度下降（stochastic gradient descent，SGD）优化器，动量因子设置为0.9，权重衰减因子设置为0.000 1. 网络训练的迭代次数为48 000次，初始学习率设置为0.002 5，在起始的500次迭代中学习率以线性增加的方式逐渐增加至0.002 5，在32 000次迭代和44 000次迭代之后分别降低至0.000 25和0.000 025，训练过程中学习率L_r的变化曲线如图5所示. 图中，N_i为迭代次数. 加载COCO数据集的预训练权重文件作为网络模型训练的初始参数值，训练过程中的损失值随迭代次数的变化曲线如图6所示. 可以看出，随着迭代次数的增加，损失值逐渐降低，最终趋于平缓，稳定在0.1左右.

为了验证在特征金字塔增强路径中采用空洞卷积替代常规卷积进行特征提取的有效性，开展基于PANet网络的路径增强策略与改进的路径增强策略的对比实验，车道线检测精度对比结果如表2所示. 表中，M为参数的数量，用于衡量网络模型的内存占用情况. 从表2可以看出，在相同的模型结构中，引入空洞卷积可以在不增加网络模型参数量的情况下，提高车道线的检测精度.

基于不同深度学习模型的车道线检测结果对比如表3所示. 可以看出，Mask R-CNN网络^[20]由于单一的IOU阈值检测模型结构，网络模型的参数量最少，但检测精度最低. 本文所研究的改进HTC网络模型的检测精度达到最高，较Mask R-CNN、Cascade Mask R-CNN、HTC网络分别提高了3.7%、2.5% 和 2.1%. 改进HTC网络模型相比于对比方法可以获得更高的准确率和召回率，这得益于改进HTC网络的多阶段级联的网络结构及更强的车道线特征表征能力；相比于Cascade Mask R-CNN和HTC网络，改进HTC网络模型的参数量仅增加了5 MB. 所研究的改进HTC网络可以在较少增加模型参数的基础上，有效提高车道线的检测精度，实现车道线的检测准确性与计算资源消耗的平衡.

如图7、8所示为本文方法在测试集中的车道线检测结果. 可知，利用本文方法可以有效地识别车道线的类别，在不同光照条件、不同天气状况、不同道路场景以及车道线磨损、遮挡复杂环境下均具有较好的检测性能.

针对复杂环境下的车道线检测问题，本文提出基于改进HTC实例分割网络的车道线检测方法. 该方法将车道线检测视为连续细长区域的实例分割问题，构建包含复杂道路环境的车道线标注数据集. 通过数据增强的方法扩充数据集，以满足网络训练对数据量的需求，提高网络模型的泛化能力和环境适应能力. 基于HTC网络模型，在主干网络中引入可变形卷积替代常规卷积，提升主干网络对车道线特征的提取能力. 改进特征金字塔网络结构，在特征金字塔网络的基础上添加自底向上的特征传递路径，在增强路径中引入空洞卷积，利用低层特征中存储的边缘形状特征以及精确定位信息，提升特征金字塔网络架构，以弥补随着网络深度增加而不断丢失的车道线细节信息. 实验结果表明，本文方法在车道线检测精度方面优于对比算法，可以达到94.5%的精度，在不同的复杂道路环境中都具有较好的检测性能，为无人驾驶环境感知、车道线偏离预警技术的研究和开发提供思路，促进智能交通领域的研究与发展.