随着我国“双碳”技术战略的实施，重型卡车的电动化成为了交通运输业减碳的核心^[1]. 然而直接使用蓄电池效率低消耗大，因此许多学者将列车中的受电弓-接触网（弓网）^[2]系统引入到重型卡车中^[3]，通过弓网系统直接对车辆进行供电. 弓网系统作为车辆电力传输的重要组成部分，其运行的稳定性和可靠性对车辆的安全运行有着至关重要的影响. 弓网接触点的位置信息能够反映弓网系统的运行状态. 因此，快速准确地检测接触点成为了电气化公路的状态监测的重要课题之一^[4].

传统的弓网接触点检测方法通常使用Hough变换^[5]和Radon变换^[6]方法，在水平和竖直方向上分别对受电弓表面和接触网进行检测，并计算2条直线的交点来确定弓网接触点. 此外，一些传统方法采用模板匹配^[7]、角点检测^[8]方法来识别弓网参数，从而获取接触点的位置. 尽管这些方法计算量较小，但依赖于手工特征，精度较低.

近年来，基于深度学习的目标检测或语义分割方法被广泛应用到弓网系统的监测中. Zhang等^[9]使用Faster RCNN网络提取受电弓区域和Hough变换检测接触网，最后将受电弓带和接触网的交点作为弓网接触点. Chen等^[10]使用目标检测网络定位受电弓区域，采用阈值分割算法分割受电弓和Canny边缘检测算法检测接触网，最后计算其交点作为弓网接触点. Yang等^[11]提出多策略的检测方法. 使用跟踪网络对接触区域进行跟踪，在接触区域内进行接触点检测，最后对接触点位置进行滤波校正. 张乔木等^[12-13]利用语义分割网络分割弓网图像，构建具有明显特征的弓网接触点数据，最后使用改进的目标检测网络进行训练和检测，获取接触点位置. 以上方法采用基于深度学习的图像处理方法，取得了令人满意的检测性能，但存在以下局限性. 1) Zhang等^[9-10]的方法仅将受电弓作为检测或分割目标，而接触网检测采用传统方法(Hough变换、Canny边缘检测)，导致其仍在一定程度上依赖于手工特征. 2)在实际运行中，车载设备的计算能力有限，Yang等^[11-13]的方法使用了2种网络，计算量较大，不适合车辆的实时检测.

针对上述问题，本研究将语义分割技术和传统检测方法相结合，提出两阶段的弓网接触点检测方法. 通过将受电弓和接触网同时作为分割目标，缓解了传统检测方法依赖手工特征的问题. 使用改进的轻量级分割算法PMSE-BiSeNet以实现弓网的分割，从而平衡分割精度和速度. 在算法的第2阶段，基于图像的分割结果，使用计算成本较低的直线拟合算法和位置校正策略获取接触点坐标，从而实现对接触点的实时检测.

随着深度学习技术的快速发展，基于深度学习的语义分割方法在图像处理领域中得到了广泛应用. FCN^[14]、U-Net^[15]、LRASPP^[16]等通过构建高效的编码器-解码器结构来完成语义分割任务. 为了引入更多的空间上下文和多尺度信息，DeepLab^[17-19]采用空洞空间卷积金字塔池化模块增加编码器的接受域；PSPNet^[20]使用金字塔池化模块(pyramid pooling module,PPM)提取多尺度上下文信息；DenseASPP^[21]将扩张卷积以密集连接的方式进行连接，获取范围更广的多尺度特征. 但是以上方法所需计算量仍然较大. 为了平衡分割精度和速度，BiSeNet^[22-23]提出双路径并行的轻量级语义分割结构，2条路径分别对浅层细节和高层语义进行提取，最后使用高效的特征融合模块融合细节信息和语义信息.

综上，本研究提出基于改进BiSeNet v2的PMSE-BiSeNet语义分割网络，主要从4个方面进行设计：1)使用计算成本较小的细节提取模块替换原来的细节分支；2)采用浅层特征共享机制，将细节分支生成的浅层特征送入语义分支中提取所需的高层语义信息，同时使用计算成本较低的卷积操作对浅层特征进行通道映射获取浅层细节信息；3)将挤压与激励注意力机制^[24](squeeze-and-excitation,SE)嵌入到网络瓶颈块中，增强重要通道信息，抑制无用信息，通过堆叠瓶颈块构建高效的编码器，获取丰富的高层语义信息；4)加入PPM^[20]模块获取更多的空间上下文和多尺度信息.

改进后的网络整体结构如图1所示. 图中，Stem为快速下采样操作，Bottleneck_D表示提取浅层细节信息的瓶颈，Bottleneck_S_1、Bottleneck_S_2表示提取高层语义信息的瓶颈，Seg Head为分割头，GE_SE为嵌入SE通道注意力机制的瓶颈块.

改进后的网络结构如表1所示. 表中，N为输出通道数，S为步长，N_p为重复次数. 首先通过细节分支对输入图像进行1/8倍下采样得到特征图. 采用浅层特征共享的思想，将该特征图送入由嵌入SE注意力机制的瓶颈块构建的语义分支中，从而进一步提取图像的高层语义信息. 使用3×3卷积对该特征图进行映射，以获得浅层的细节信息. 通过引导聚合层融合浅层的细节特征和高层的语义信息，获取待分割的特征图. 最后，通过分割头生成像素类别的概率分布.

虽然BiSeNet v2有着较快的速度和较高的精度，但是使用类似Vgg^[25]的结构获取浅层的细节信息将会额外引入较大的计算量和冗余的参数. 因此，使用计算成本较小的倒残差结构替换原来计算量较大的Vgg^[25]结构.

卷积神经网络从图像中获取的浅层特征大多是边缘、纹理、颜色、亮度等信息，BiSeNet v2^[23]中的细节分支和语义分支之间存在相似的浅层特征，这带来了冗余的计算量^[26-27]. 为了加快推理速度同时保持较高的准确度，采用浅层信息共享的思想，将细节分支生成的浅层特征送入语义分支中提取所需的高层语义信息，同时使用计算成本较低的普通卷积对浅层特征进行通道映射获取浅层细节信息. 该方法能够在保证模型推理速度的同时，尽可能地保持模型的分割准确度.

Stem采用2种不同的快速下采样方法，首先利用步长为2的3×3普通卷积进行2倍下采样. 其次，使用双路下采样策略. 其中一条路径采用1×1的普通卷积和步长为2的3×3普通卷积再次进行2倍下采样，另一条路径采用简单的步长为2的3×3最大池化对特征图进行2倍下采样，然后将2条路径的输出在深度方向上进行拼接. 该结构用较少的计算量实现了快速下采样，同时获得了较丰富的浅层细节信息. 快速下采样结构如图2所示.

SE注意力机制^[24]是一种通道注意力机制，可以嵌入到网络模型中，通过模型的训练可以自动地学习每个通道的重要性，增强重要通道信息，抑制无用信息，从而提高模型的表现.

如图3所示为SE注意力机制. 图中，H表示图像高度，W表示图像宽度，C表示图像通道数. F_tr表示普通卷积操作；F_sq表示压缩操作，即对应为全局平均池化操作；F_ex表示激励操作，即对应为2个全连接操作；最后进行sigmoid操作，得到每个通道的权重. 将权重与经过普通卷积操作的特征图相乘得到最终的输出. SE注意力机制计算公式如下：

(1)$ z_c = F_{\text{sq}}(u_c) = \frac{1}{{HW}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {u_c(i,j)} }. $

式中：z_c为经过压缩操作后z的第c个元素，u_c为经过普通卷积操作后u的第c个通道.

(2)$ {\boldsymbol{s}} = F_{\text{ex}}({\boldsymbol{z}},{\boldsymbol{W}}) = \sigma (g({\boldsymbol{z}},{\boldsymbol{W}})) = \sigma ({\boldsymbol{W}}_2\delta ({\boldsymbol{W}}_1{\boldsymbol{z}})). $

式中：s为经过激励操作后的结果，$ \sigma $表示sigmoid激活函数，$ \delta $表示relu激活函数，$ {\boldsymbol{W}}_1 \in {{\bf{R}}^{\tfrac{C}{r} \times C}} $，$ {\boldsymbol{W}}_2 \in {{\bf{R}}^{\tfrac{C}{r} \times C}}. $

借鉴MobileNet v3^[16]的设计思想，将SE注意力模块插入到网络瓶颈块中. 通过将SE注意力机制模块嵌入到BiSeNet v2的聚合扩展层中，仅仅加入相对较少的参数，就可以让网络更加关注对最终像素级分类任务更重要的特征而抑制无用特征^[28]，达到提高分割精度的效果. 模块命名为GE_SE，其在聚合扩展层中的位置如图4所示.

浅层细节特征与高层语义特征是2种不同层次的特征，通过简单的相加无法很好地融合两者. 使用BiSeNet v2中的引导聚合层可以聚合来自多个分支的信息. 利用高层语义信息指导浅层细节信息的特征响应，同时采用不同尺度的引导，获得不同尺度的特征信息. 相比于直接的相加和拼接操作，该引导方式能够实现2种不同层次特征的高效融合. 引导聚合结构如图5所示.

PPM^[20]模块是一种金字塔池化模块. 采用不同大小的池化核对特征图进行池化操作，将池化结果上采样，再进行拼接，得到最终含有多尺度信息的特征图，使模型能够更好地理解图像的整体语义. 此外，通过上采样和拼接操作，保留局部细节信息，提高分割结果的精度. 结构如图6所示.

分割头由一个3×3普通卷积和1×1普通卷积堆叠而成. 此外，对分割头输出的特征图进行上采样操作，将输出特征层尺寸还原回原尺寸. 为了加快模型训练，将下采样到1/16和1/32的特征图通过分割头与真实标签进行损失计算，能够加快模型收敛. 并且，该体系结构在推理阶段将会被丢弃，不会增加推理阶段的计算成本. 分割头结构如图7所示. 图中，C_i、C_o分别为输入分割头特征图、分割头输出特征图的通道个数，C_t为分割头的中间输出通道个数.

为了实现对接触点的检测，基于图像的分割结果在算法的第2阶段使用直线拟合算法和位置校正获取接触点坐标. 接触点检测过程的细节如下.

1)获取语义分割结果. 使用PMSE-BiSeNet模型对输入图像进行语义分割，获得每个像素的语义标签，如图8(a)所示.

2)对于分割出来的受电弓轮廓，得到其最小外接矩形的上边界，如图8(b)所示. 由于受电弓的上边界在图像中不是水平的，得到的受电弓轮廓最小外矩形的上边界与实际受电弓的上边界并不完全重合，如图8(c)所示. 因此，在垂直方向上对受电弓轮廓最小外矩形的上边界进行位置校正（最小外接矩形右上角坐标向下平移），将校正后的最小外接矩形的上边界作为受电弓条的上边界，如图8(d)所示.

3)对于分割出来的接触网区域，首先提取分割结果中接触网轮廓的像素点坐标(x_i，y_i)，并将提取的像素点坐标(x_i，y_i)作为拟合对象，如图8(e)所示. 此外，接触网坐标在图像中具有线性关系，表达式如下：

(3)$ f(x) = kx+b. $

式中：k表示斜率，b表示截距.

使用最小二乘法对提取的像素点进行直线拟合，并在直线拟合时采用欧氏距离为目标优化函数，表达式如下：

(4)$ d = \min \; \left[ {\sum\limits_{i = 1}^n {{{(y_i - kx_i - b)}^2}} }\right]^{1/2}. $

式中：x_i和y_i为提取的像素点的坐标，n为提取的像素点总个数.

直线拟合返回的输出量为[v_x，v_y]和（x₀，y₀），其中[v_x，v_y]是与直线共线的归一化向量，（x₀，y₀）是拟合直线上的任意一点，根据这4个输出量可以计算得到二维平面直线的点斜解析式，表达式如下：

(5)$ f(x) = \frac{{v_y}}{{v_x}}(x - x_0)+y_0. $

式中：$ {{v_y}}/{{v_x}} $为直线的斜率.

最后得到的接触网最优拟合直线如图8(f)所示.

4)将上述校正后的最小外接矩形的上边界与最小二乘线性拟合方法得到的接触网最佳拟合直线的交点作为弓网接触点，如图8(g)、(h)所示.

构建高分辨率的受电弓图像数据集，尺寸为1920×1080，数据从实验室的弓网仿真实验平台中获取，共904张. 使用Labelme标注工具进行标注，将每张图像标注为3种类别分别为受电弓、接触线和背景，并且为了避开接触线与受电弓及其他结构的接触区域，在标注期间将接触线分成了不连续的3段. 数据集中768张图像用于训练，136张图像用于验证.

为了与其他分割模型进行对比，采用平均交并比(mIOU)、每秒处理的图像帧数(FPS)、参数量(P)和每秒浮点数运算(FLOPs)评估指标.

平均交并比(mIOU)是用来衡量语义分割模型性能的常用指标，反映了分割结果和真实标签之间的重叠程度. mIOU的计算公式下:

(6)$ {\text{mIOU = }}\frac{1}{{k+1}}\sum\limits_{i = 0}^k {\frac{{p_{ii}}}{{\sum\nolimits_{j = 0}^k {p_{ij}} {\text+}\sum\nolimits_{j = 0}^k {p_{ji}} - p_{ii}}}}. $

式中：i为该像素真实的类别，j为预测的类别，p_ii表示预测为i且真实类别也为i的像素个数；k+1表示所有类别的数量，包括背景.

帧率(FPS)指每秒处理的图像帧数，是衡量模型推理速度的指标.

浮点运算量(FLOPs)是衡量模型计算量大小的指标.

选择改进的BiSeNet v2作为研究对象. 在自建数据集上进行消融实验，验证提出的改进方法的有效性；在自建数据集中进行不同分割模型的对比实验；在弓网实验仿真平台和双源重卡的弓网系统中验证所提检测方法的有效性.

所提分割算法训练配置如下：操作系统为Centos 7；采用PyTorch深度学习框架和Nvidia TITAN RTX GPU(24G)平台进行网络训练；使用动量为0.9的随机梯度下降法训练模型；采用Poly作为学习率迭代策略，初始学习率设置为0.001；损失函数使用在线难例挖掘损失函数(OHEM)，并且使用2个辅助损失函数来监督16倍下采样和32倍下采样预测图的学习. 另外，对网络进行9600次迭代训练，每批次训练图像16张.

为了验证所提改进点的有效性，使用数据集的验证集数据在所提算法上进行消融实验，验证图像大小为1920×1080. 将模型导出为ONNX模型，在CPU为Intel Core I9-12900的台式电脑和边缘计算设备JETSON TX2中分别进行推理速度测试，在推理速度测试时统一将输入图片大小裁剪为512×512.

测试结果如表2所示. 表中，细节分支表示原BiSeNet v2中的细节分支，P_P、P_C分别表示受电弓和接触网类别的准确率，R_P、R_C分别表示受电弓和接触网类别的召回率. 可以看出，在去除原有的细节分支后，mIOU下降约6个百分点，但是计算量减少了50%，FPS分别提高了49%、25%，表明细节分支捕获的细节信息有利于提升模型性能，但会带来较大的参数量和计算量；在采用浅层特征共享机制后，将细节分支生成的浅层特征送入语义分支中提取高层语义信息，同时使用低成本卷积操作对浅层特征进行通道映射获取浅层细节信息，mIOU相比于只有语义分支时上升约5个百分点；嵌入SE注意力模块能够有效关注重要特征，mIOU上升约2个百分点，模型FPS基本保持不变；加入PPM模块仅增加微小的参数量和FLOPs，分割精度却上升2.26个百分点，表明多尺度信息有利于模型分割不同大小的物体；最终将提出方法进行融合，结果表明，与BiSeNet v2网络相比，模型mIOU达到87.50%，精度基本保持不变，计算量减少了约50%，FPS分别提高了约49%、20%，模型在保持较好的精度的同时变得更加轻量.

将所提PMSE-BiSeNet与Fcn8s^[14]、DeepLab v3^[19]和BiSeNet v2^[23]等分割网络在验证集上的预测结果进行对比，对比结果如图9所示. 图中，红色区域为接触网区域，绿色区域为受电弓区域. 可以看出，Fcn8s和DeepLab v3网络针对接触网区域的分割效果不佳，轮廓不连贯，且DeepLab v3易将正常区域分割为受电弓区域，从而致使分割结果不完整，导致欠分割的情况. PSPNet网络易将正常区域分割为接触网区域，将会导致过分割的情况. 此外，由图9可知，BiSeNet v1、BiSeNet v2和PMSE-BiSeNet（本研究）网络的分割效果较好，受电弓区域边缘轮廓清晰，接触网区域边缘轮廓完整，接近真实标签.

为了验证PMSE-BiSeNet的性能，选取DeepLab v3、PSPNet和BiSeNet v2等分割网络，并在数据集上进行对比实验. 最后将模型导出为ONNX模型，在CPU为Intel Core I9-12900的台式电脑和边缘计算设备JETSON TX2中分别进行推理速度测试，在速度测试时统一将输入图片大小裁剪为512×512. 测试结果如表3所示. 可以看出，PMSE-BiSeNet相比于DeepLab v3、PSPNet经典分割网络在精度和推理速度方面得到了较大的提升；相比于BiSeNet v1、BiSeNet v2轻量级分割网络，在精度上基本持平，计算量减少将近50%，推理速度也提升约50%. 所提方法在速度和准确性上都取得了优秀表现的原因如下：1)使用计算成本较小的细节提取模块替换原来的细节分支；2)采用浅层特征共享机制同时获取浅层细节和高层语义信息，并且减少冗余计算量，使得模型更加轻量；3)将SE注意力机制嵌入到网络模型中，增强重要通道信息，抑制无用信息，从而提高模型的表现；4)加入PPM模块以获得更多的空间上下文和多尺度信息，提高分割精度.

为了进一步验证所提弓网接触点检测算法的实时性. 将部分计算量较小的分割模型导出为ONNX模型，并结合第2阶段的直线拟合算法和位置校正，在CPU为Intel Core I9-12900 的台式电脑和边缘计算设备JETSON TX2中进行接触点检测的测试. 测试结果如表4所示. 可以看出，在加入第2阶段算法后，在CPU为Intel Core I9-12900的台式电脑和边缘计算设备JETSON TX2上的FPS仅下降1.44和2.35，接触点检测的推理速度相比于单一分割模型没有明显下降，所提方法能够以较低的计算成本完成对接触点的检测.

在实验室的弓网实验平台中进行算法有效性的测试. 摄像头采集的图像分辨率为1920×1080，测试时将其缩放为512×512，采样频率为30帧/s，受电弓左右摆动的速度为40 mm/s，使用人工光源模拟正常日光照射.

为了监测弓网系统的状态，将弓网接触点的横坐标x_p与受电弓碳滑板两端的横坐标x_l和x_r进行比较，通过监测弓网接触点位置是否在该范围内来判断是否发生了脱弓故障. 具体步骤如下.

1）通过受电弓轮廓的最小外接矩形获取其在图像中的像素长度L_i和两端的横坐标(X_l和X_r)；

2）由受电弓真实长度L_r与像素长度L_i的比值确定映射比率Y，根据比率Y和受电弓碳滑板的真实长度l_r确定受电弓碳滑板在图像中的像素长度l_i；

3）通过受电弓的像素长度L_i与受电弓碳滑板的像素长度l_i得到两者像素长度的差值l，根据差值l和受电弓两端的横坐标(X_l和X_r)，获得受电弓碳滑板两端在图像中的横坐标(x_l和x_r)；

4）将弓网接触点的横坐标x_p与受电弓碳滑板两端在图形中的横坐标(x_l和x_r)进行比较，判断接触点是否在弓网接触的安全区域内.

如图10(a)所示为所提方法在弓网实验平台上的检测效果. 图中，红色和绿色轮廓区域分别为分割出来的受电弓和接触网区域，红色实点为弓网交点. 如图10(b)所示为接触点位置动态曲线. 图中， F为视频帧数. 只有在有效接触区域内，受电弓才能从电气化供电系统中获取电能.

将所提算法应用在国内首台新型双源智能重卡的受电弓-接触网系统中^[3]. 首先从双源重卡的弓网系统获取图像数据，共1000张，分辨率为640×320，然后对图像数据进行标注. 将原始图像分为5类，并依次进行标注，分别为左接触线、右接触线、左受电弓、右受电弓和背景. 智能重卡弓网系统如图11(a)所示，原始数据与标签如图11(b)所示，红色区域为左接触线，绿色区域为右接触线，黄色区域为左受电弓，蓝色为右受电弓，黑色区域为背景. 其次使用该图像数据对PMSE-BiSeNet语义分割模型进行训练，如图11(c)所示.

在新型双源智能重卡的弓网系统中进行算法有效性的测试，将摄像头采集的分辨率为640×320的图像输入模型中，采样频率为30帧/s，车辆运行速度为20~30 km/h，采样环境为阴天光照环境.

利用上述接触点检测方法进行测试，测试结果如图12(a)所示. 图中，分割出来的红色区域为左接触线，绿色区域为右接触线，黄色区域为左受电弓，蓝色区域为右受电弓，绿色实点为左接触点，红色实点为右接触点. 如图12(b)所示为弓网右接触点横坐标的位置曲线.

提出两阶段弓网接触点检测方法. 该方法在第1阶段对BiSeNet v2轻量级分割算法进行改进，并应用于弓网分割中. 实验结果表明，采用浅层特征共享机制能够加快推理速度同时保持原有的较高准确度；嵌入SE通道注意力机制能够通过加入相对较少的参数提高模型分割精度；加入PPM模块能够获取更多的空间上下文和多尺度信息从而提高模型分割精度. 在第2阶段，基于图像的分割结果，使用直线拟合算法和位置校正策略获取接触点坐标，进而实现对弓网接触点的检测. 所提检测方法具有较好的检测性能，可用于新型双源智能重卡行车的安全监测.

本研究方法在列车分相区或存在多根接触网的复杂场景下的研究存在不足，未来计划融合激光雷达数据和相机的多模态数据提升模型的性能.