实现无人机视觉系统对架空输电线检测的高精度和实时性，不仅可引导机器自主巡线、采集巡检数据，还能作为避障预警依据，确保安全飞行^[1-2]. 基于可见光图像的电力线检测方法主要分为2类：1）基于传统特征的检测方法^[3-7]，2）基于深度学习的方法^[8-12]. 现有方法已取得较多的研究成果，但检测精度仍不能满足实用要求。传统方法主要基于图像边缘特征，根据电力线簇的直线和平行特性，从候选边缘中筛选目标线段再拟合出结果：孙实超等^[3]提出参数关联法，先后用Hessian变换、Hough变换提取边缘像素、筛选出直线，再经坐标转换筛选参数满足正弦关系的平行电力线. Yang等^[4]经区域增长滤波消除候选边缘中的背景噪声，再用期望极大化拟合电力线. 周封等^[5]联合RGB、灰度值属性对图像分类，提出3种滤波和自适应分段直方图均衡法对图像预处理，用Canny提取边缘，经Hough、形态学闭运算拟合目标. 这些方法依赖直线性和平行性，不适用于电力线簇交叉的实际场景，且处理步骤多、运算耗时，不能满足实时要求. 深度学习方法是电力线簇检测的主流. PAN等^[8]用7层二分类神经网络，从边缘特征中识别出含电力线子区域，用梯度渐进概率霍夫变换提取目标. LEE等^[9]鉴于VGG19^[13]结构简洁，在分类任务上性能良好，通过滑窗从图像提取子区域输入VGG19，若子区域被判为含电力线，则将网络中间层输出和末端输出逐元素相乘，再用高斯核掩膜抑制四周响应、强化中心区域，作为检测结果. CHOI等^[12]利用反向传播可视化网络提取电力线特征作为FCN目标检测网络的标定图，对FCN的检测结果使用LSC法拟合电力线. 上述基于深度学习的电力线检测方法的精度不高，均未解决在复杂背景下输出图像虚假断点多的问题.

电力线检测本质上可视为语义分割领域的研究子方向，主流语义分割方法包括：PSPNet (pyramid scene parsing network) ^[14]、DeepLab^[15]分别提出空间金字塔池化层、多尺度空洞卷积，联合多尺度局部信息和全局信息. FCRN (fully convolutional residual network) ^[16]利用残差模块^[17]设计反向映射块，提高输出分辨率. UNet^[18]依据高、低层特征互补特性(前后者分别含语义信息、细节信息)^[19-20]，提出跳跃连接结构结合2种特征. 主流语义分割方法提高电力线检测精度，但仍未解决输出图像虚假断点多的问题. 电力线虚假断点产生的根源在于没有充分利用电力线簇的空间连续性特征. 为此，应设计专门的网络结构，对电力线的连续线型特征进行多尺度强化提取. 电力线的线型特征包括3种：主干特征(含内部纹理、颜色信息)、边缘特征(含结构信息)和融合特征. 本研究提出端到端的多线型特征增强网络(multiple linear-feature enhanced detector，MLED)，使用双路卷积结构提取电力线的 3 种线型多尺度特征，并经过含残差连接、尺度变换、元素级处理的多特征融合模块实现逐步融合，充分提取连续线型对象的全局上下文信息. 将所提网络在广西南宁片区的架空输电线巡检可见光图像数据集上进行实验与分析。

PSPNet用空间金字塔池化层(SPP)替代残差卷积网络^[17]的全连接层，将网络提取的高层特征 $ {{\boldsymbol{O}}}_{\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}} $输入4个尺寸不同的平均池化层，提取3个局部特征和1个全局特征。聚合4个特征得到的上下文信息比单一全局平均池化多，增强了网络分类能力. PSPNet包含1个主干的深层网络输出、1个辅助的旁支输出，其损失函数为

式中： ${{\boldsymbol{O}}}_{\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}}$、 ${{\boldsymbol{O}}}_{\mathrm{a}\mathrm{u}\mathrm{x}\mathrm{i}}$分别为网络主干输出、旁支输出. 交叉熵函数

式中： $ {{\boldsymbol{O}}}_{*} $、 $ {{\boldsymbol{O}}}_{\mathrm{l}\mathrm{a}\mathrm{b}} $分别为特征图和标定图， $ O_*^{ij} $、 $ O_{{\rm{lab}}}^{ij} $分别为 $ {{\boldsymbol{O}}_*} $、 $ {{\boldsymbol{O}}_{{\rm{lab}}}} $的第ij个元素。随着网络加深，特征分辨率成倍下降，对预测结果有效的信息减少^[21]，令PSPNet无法靠高层特征的上下文信息检测像素占比小的目标（如电力线）. 由于聚合特征直接被放大8倍进一步丢失信息，导致PSPNet在检测电力线时漏检严重，难以收敛. 同时，损失函数仅考虑深层网络，忽略了引导浅层网络学习特征细节.

与PSPNet不同，FCRN用反向映射块(up-projection blocks)替代全连接层，把高层特征输入4个不同尺寸卷积得到4个大小相同的特征，再进行行列拼接，实现原始高层特征分辨率2倍放大. 经过4个使用传统残差方式连接的反向映射块把高层特征分辨率放大16倍，输出结果 $ {{\boldsymbol{O}}}_{\mathrm{f}\mathrm{c}\mathrm{r}\mathrm{n}} $.

FCRN训练网络的损失函数为

式中： $ O_{{\rm{fcrn}}}^{ij} $为输出结果的第ij个元素；c为经验值，用来保证 $ {L}_{\mathrm{F}\mathrm{C}\mathrm{R}\mathrm{N}} $在区间两端的连续性. 通过分段方式结合最小绝对值误差L1、最小平方误差L2损失. 当 $\mathop \sum \nolimits_i \mathop \sum \nolimits_j \left| {O_{{\rm{fcrn}}}^{ij} - O_{{\rm{lab}}}^{ij}} \right| \in \left[ { - c,c} \right]$时， $ {L}_{\mathrm{F}\mathrm{C}\mathrm{R}\mathrm{N}} $等价于L1损失；在区间外， $ {L}_{\mathrm{F}\mathrm{C}\mathrm{R}\mathrm{N}} $等价于L2损失。FCRN的上采样操作使网络在处理高分辨率输入并减少特征信息丢失的同时，保证了检测电力线的收敛性. 但是依赖高层特征，没有关注细节信息，导致FCRN同样存在电力线检测精度不高的问题. 此外，损失函数只监督网络学习单一目标特征，未考虑其他线型特征.

UNet与上述2种依赖高层特征网络的根本区别在于，使用跳跃连接结构整合低、高层特征. UNet将高层特征经上采样层放大2倍，将镜像对应的下采样层输出的低层特征裁剪中心区域，与放大特征在通道上叠加后做上采样，再和下一个镜像对应的低层特征做同样的连接. 经过4次跳跃连接和上采样最终输出结果 $ {{\boldsymbol{O}}}_{\mathrm{u}} $. 监督深层网络学习的损失函数为

UNet通过镜像跳跃连接，给高层语义特征增加低层特征的细节信息，使小目标信息得以保留. 与PSPNet、FCRN不同，UNet的网络结构简单，特征提取能力较弱，没有考虑边缘特征对噪声的抑制作用，易受复杂背景干扰.

由式(1)、(3)、(4)可知，上述3种主流网络的损失函数的缺点如下：损失函数的计算对象都是单尺度、单一的目标特征，没有考虑电力线的多种线型特征的空间连续性特点，容易产生虚假断点.

为了满足复杂巡检环境下的电力线检测实用要求，提出多线型特征增强网络(MLED)，通过多特征融合模块逐步聚合多尺度的3种线型特征，扩大特征感受野，提炼电力线的全局上下文信息，增强线型特征提取能力. 同时，设计多特征损失函数，监督网络学习3种多尺度特征.

监督不同尺度主干特征、边缘特征和融合特征学习的多特征损失函数为

式中： ${L}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}}$、 ${L}_{\mathrm{t}\mathrm{r}\mathrm{\rm{u}}\mathrm{\rm{n}}\mathrm{\rm{k}}}$、 ${L}_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}}$分别为融合特征损失项、主干特征损失项和边缘特征损失项. 3个损失项均使用式(2)计算交叉熵损失：

式中： $ {{\boldsymbol{T}}}_{\mathrm{l}\mathrm{a}\mathrm{b}} $、 $ {{\boldsymbol{E}}}_{\mathrm{l}\mathrm{a}\mathrm{b}} $分别为电力线主干标定图和边缘标定图， $ {{\boldsymbol{O}}}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}} $为最终检测结果. $ \left\{{{\boldsymbol{O}}}_{\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{nk}}|{{\boldsymbol{O}}}_{\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{k}}^{i}；i= $ $ \mathrm{1,2},\cdots ,5\right\} $和 $ \left\{{{\boldsymbol{O}}}_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}}|{{\boldsymbol{O}}}_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}}^{i}；i=\mathrm{1,2},\cdots ,5\right\} $为残差下采样卷积提取的5个尺度的主干和边缘特征，由1×1卷积非线性映射降通道数为1，并经sigmoid函数激活，再分别通过2×、4×、8×、16×、32×上采样放大后的映射特征. $ \left\{ {\alpha |{\alpha ^i};i = 1,2, \cdots ,5} \right\} $为权重向量，5个元素取值为 $ \left[0,1.0\right] $，用以均衡不同尺度主干、边缘特征损失在式(5)中的作用程度.

结合低、高层特征互补关系，及边缘特征抑制噪声的作用，提出单输入的多线型特征增强网络整体结构如图1所示. 以双支路Resnet50作为特征提取网络主干，提取电力线的多尺度主干、边缘和高层融合特征，用1×1卷积层(1×1卷积+BN+ReLu)实现跳跃连接，结合4个多特征融合模块，逐步聚合上述3种特征并放大融合输出. 最终得到与输入分辨率相同的检测结果，满足电力线巡检的可视化需求. 多线型特征逐步融合过程能充分聚合电力线的细节、结构与语义信息，有效增强网络提取电力线的能力. MLED的网络结构，从输入到输出，包括如下环节。

1）由5个卷积层提取输入图像的主干特征 $ \left\{{\boldsymbol{T}}|{{\boldsymbol{T}}}^{i}；i=\mathrm{1,2},\cdots ,5\right\} $和边缘特征 $ \left\{{\boldsymbol{E}}|{{\boldsymbol{E}}}^{i}；i=\mathrm{1,2},\cdots ,5\right\} $. 为了控制参数量并保证特征提取效果，调整卷积核步长及个数，令卷积层 $ {\rm{Con}}_{i+1} $输出特征的分辨率是 $ {\rm{Con}}_{i} $的1/2，通道数是 $ {\rm{Con}}_{i} $的2倍. 其中， $ {\rm{Con}}_{1} $输出特征大小为输入的1/2，通道数为64； $ {\rm{Con}}_{5} $输出特征大小为输入的1/32，通道数为1024. 将信息互补的 $ {{\boldsymbol{T}}}^{5} $和 $ {{\boldsymbol{E}}}^{5} $进行元素级处理(记为 $\oplus$)：利用1×1卷积层把尺度同为输入1/32的 $ {{\boldsymbol{T}}}^{5} $和 $ {{\boldsymbol{E}}}^{5} $通道数减半后逐元素相加，得到高层融合特征：

2）聚合主干、边缘、融合特征. 利用1x1卷积层跳跃连接通道数相同、尺度不同的 $ {{\boldsymbol{T}}}^{i} $、 $ {{\boldsymbol{E}}}^{i} $和 $ {{\boldsymbol{F}}}^{i+1} $， $ i=\mathrm{1,2},3,4 $，通过连续4个多特征融合模块，逐步放大特征分辨率并提炼目标的细节和语义信息：

式中： $ f\left(·\right) $为多特征融合模块， $ {{\boldsymbol{F}}}^{i}$为第 $ i $个多特征融合模块的输出.

3）将 $ {{\boldsymbol{F}}}^{1} $进行2倍双线性插值放大，输出预测结果.

如图2所示在MLED中分别采用多特征融合模块A、B、C，实现对主干、边缘和融合特征的聚合、放大. 图中，H、W、C分别为特征的高、宽、通道数。这些模块在当前层互补特征 $ {{\boldsymbol{T}}}^{i} $、 $ {{\boldsymbol{E}}}^{i} $元素级融合的基础上，进一步与高层模块输出特征 $ {{\boldsymbol{F}}}^{\mathit{i}+1} $聚合，以渐进的方式完善了复杂背景中提取的电力线结构. A模块先后使用通道叠加、1×1卷积层降通道和元素级相加，融合 $ {F}^{i} $的残差反卷积特征。B模块使用通道叠加聚合3种线型特征后，通过1×1卷积层降通道，得到融合结果。C模块直接将3种线型特征做元素级相加融合. 其中，C模块对所有特征逐元素融合，检测效果最佳，同时操作过程简洁，参数量少，易于训练. B模块效果次之，A模块居第三.

如图2所示，模块的输入为3种尺度不同的线型特征：相邻模块输出的融合特征 $ {{\boldsymbol{F}}}^{\mathit{i}+1} $、第i层主干特征、边缘特征经1×1卷积层降通道后的预融和特征 ${{{\boldsymbol{T}}}^{{'}}}^{\mathrm{i}}$、 ${{{\boldsymbol{E}}}^{{'}}}^{i}$. 通过5种运算，包括残差连接、2倍反卷积放大、1×1卷积层降通道、通道叠加、元素级相加，提炼全局上下文信息.

MLED算法流程如下.

输入：$ {{\boldsymbol{I}}}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}} $为输入图像. $ {{\boldsymbol{T}}}_{\mathrm{l}\mathrm{a}\mathrm{b}}、{{\boldsymbol{E}}}_{\mathrm{l}\mathrm{a}\mathrm{b}} $为主干、边缘标定图.

参数设置：$\{ {\boldsymbol{w}}|{{\boldsymbol{w}}}_{\mathrm{t}},{{\boldsymbol{w}}}_{\mathrm{e}},{{\boldsymbol{w}}}_{\mathrm{f}}\}$为卷积层参数，其中w_t、w_e、w_f 分别为主干、边缘特征提取卷积层参数和多特征融合模块卷积层参数，R_L为优化器学习率， $ \gamma $为学习率衰减率，S为衰减步长，m为批次大小，N为当前迭代次数，N_max为最大迭代次数.

初始化：${R}_\mathrm{L}=0.000\;1$， ${{N}}=0$， $ W $使用随机正态分布初始化.

过程：

1. for N < N_max do；

2. 从数据集中随机抽出m个样本数据 ${\left\{{{\boldsymbol{I}}}^{j}\right\}}_{j=1}^{m} \sim {\boldsymbol{I}}$、对应的标定数据 ${\left\{\left({{{\boldsymbol{T}}}_{\mathrm{l}\mathrm{a}\mathrm{b}}}^{j},{{{\boldsymbol{E}}}_{\mathrm{l}\mathrm{a}\mathrm{b}}}^{j}\right)\right\}}_{j=1}^{m} \sim ({{\boldsymbol{T}}}_{\mathrm{l}\mathrm{a}\mathrm{b}},{{\boldsymbol{E}}}_{\mathrm{l}\mathrm{a}\mathrm{b}});$

3. 对样本数据 ${\left\{{{\boldsymbol{I}}}^{j}\right\}}_{j=1}^{m} \sim {\boldsymbol{I}}$做数据增强，输入特征提取
网络G，得到主干、边缘、融合特征 $ {\boldsymbol{T}} $、 $ {\boldsymbol{E}} $、 $ {\boldsymbol{F}} $；

4. $ {\boldsymbol{T}} $、 $ {\boldsymbol{E}} $、 $ {\boldsymbol{F}} $经多特征融合过程，输出最终融合特征，
经双线插值放大2倍得到检测结果 $ {{\boldsymbol{O}}}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}} $；

5. T、E 经映射、放大，得到 ${{{{\boldsymbol{O}}}}_{{\rm{trunk}}}}、{{{{\boldsymbol{O}}}}_{{\rm{edge}}}}$，计算主干、边缘、融合特征损失为

6. 得到总损失函数：

7. 使用Adam优化器更新权重参数为

8. end for.

从图像数据集随机抽取批次大小m为12张的512×512样本，进行随机高斯模糊、随机镜像、随机RGB转BGR数据增强处理，每训练2500次进行一次验证，保存验证结果并计算验证集的F检验(F-Measure)、IoU平均值(Mean IoU)和断点率(break-point rate，BPR). 训练过程使用Adam优化器更新卷积权重参数，其中优化器动量momentum=0.8. 学习率变化范围为 $\left[0.000\;001, 0.000\;100\right]$，利用指数衰减法更新，初始化为0.0001，衰减步长为30000，衰减率为0.6. 经过多次实验可知，下采样网络的第1个卷积层输出特征细节信息丰富，同时噪声干扰较多，第2、3个卷积层输出特征中电力线结构较突显，第4、5个卷积层的输出表征电力线的空间位置，但是由于层数较深，连续性较弱，故将式(7)、(8)中的 $ \mathit{\alpha } $设置为 $\left\{ 0.4, $ $ \mathrm{1.0,0.8,0.6,0}.4\right\}$.

数据集来自广西南宁供电局，主要为上林、宾阳区域的架空输电线巡检图像，包括山林、农田、城市道路等多种环境. 数据集包含652张可见光图像，其中训练集、验证集、测试集分别含有476、70、105张图像. 结合实际工作需求，使用Adobe Photoshop CS5对10 kV及以上的架空输电线进行人工标定. 由于不同片区使用的摄像头型号有异，图像分辨率有4 864×3 648、6 000×3 376，实验中对大分辨率图像进行裁剪、缩放，采集512×512的样本，作为网络输入.

网络使用Tensorflow1.15深度学习框架实现，编程语言为Python 3.5.2，实验环境为Linux操作系统，服务器主要硬件为2块显存为11 GB的NVIDIA GeForce RTX2080Ti显卡、1片型号Intel Xeon E5-2680V3的CPU.

使用F-Measure、Mean IoU、BPR3个数值化指标，分析各个网络电力线检测能力.

1) F-Measure计算公式为

式中： $ P $为精度， $ R $为召回率. 对于本研究的二分类语义分割任务，令权重参数 $ {\;\beta }^{2}=0.3 $，使 $ P $在F-Measure的作用大于 $ R $^[22]. F-Measure越大，表明网络检测精度越高.

2) Mean IoU计算公式为

式中： $ {n}_{ij} $为属于类 $ i $但是被预测为类 $ j $的像素个数， $ M $为类别个数. 本研究为二分类任务， $ i=0 $为背景， $ i=1 $为电力线， $ M=2 $. Mean IoU越大，反映网络的分类能力越强.

3) BPR计算公式为

式中： $ {n}_{11} $为正确判为电力线的像素个数， $ N _{\rm{T}}$为实际电力线像素总数. BPR越小，表示电力线虚假断点越少.

进行对比实验和消融实验. 对比实验将MLED与主流网络做比较，验证其电力线检测效果。消融实验验证多特征融合模块和多特征损失函数的有效性.

将MLED与3种主流网络，将PSPNet、FCRN、UNet进行对比实验，结果如图3所示. 其中，MLED使用C模块. 可知，PSPNet将高层语义特征分辨率直接扩大8倍，大量丢失电力线对象信息，漏检、断点严重. FCRN逐步放大高层特征虽减少了信息丢失，但上下文信息仍不足，断点、误检明显. UNet通过结合低、高层特征融合细节和语义信息，却网络结构简单且没有使用边缘特征，损失函数也只考虑1种目标特征，容易错误判别背景干扰、断点多. 使用C模块的MLED利用双支路残差卷积网络提取电力线多尺度主干、边缘、融合特征，通过多特征融合模块逐步融合，与使用传统残差连接块的FCRN相比，提取电力线信息更充分. MLED使用多特征损失函数增强网络学习线型特征的能力，与使用单一特征损失的3种主流网络相比，对树木、道路干扰具有更好的抵抗能力，有效减少电力线断点，同时也可识别出较远处的细小电力线.

对各网络的预测结果在 $ [0,255] $上进行二值化，计算每个阈值下的P、R，绘制精度−召回率曲线，如图4所示. 曲线与坐标轴围成的面积越大，表明网络的检测性能越好. 由图可知，PSPNet丢失细节信息严重，电力线检测能力最差；FCRN用反向映射块缓解高层信息丢失，性能有所提高；UNet聚合低、高层特征，进一步增强网络性能；MLED使用多特征融合模块提炼电力线全局上下文信息，并用不同尺度的多特征损失函数增强网络学习能力，实现更强的检测性能.

根据式(11)~(13)计算的各网络预测结果的F-Measure、Mean IoU和BPR，如表1所示. 可知，与PSPNet、FCRN、UNet相比，MLED的性能均有明显提高，F Measure和Mean IoU分别为78.4%、77.8%，BPR为30.8%，每秒检测帧数(frames per second , FPS)为13.55，速度仅次于FCRN.

消融实验以UNet为对比基准，MLED_A、MLED_B、MLED_C分别表示使用多特征A、B、C融合模块的MLED；FU_Lf为仅用 $ {L}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}} $损失和1×1卷积层跳跃连接的FCRN；MLED_Lf为仅用 $ {L}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}} $的MLED_A. 比较FU_Lf、MLED_Lf、MLED_A、MLE_B、MLED_C在房屋和山林背景下的检测效果，结果如图5所示. 可知，与UNet相比，FU_Lf使用残差卷积提取特征，电力线提取能力提高，但仍易受屋顶和杆塔干扰. MLED_Lf在使用传统单一特征交叉熵损失函数的条件下，用多特征融合模块聚合3种特征，电力线结构更完整，断点更少. 在此基础上，使用多特征损失函数的MLED_A、MLED_B、MLED_C抗干扰能力提高，能保证电力线结构的完整和平滑. 其中，MLED_C的效果最好.

对消融实验结果使用精度−召回率曲线、F-Measure、Mean IoU和BPR进行性能对比，结果分析如图6、表2所示. 由图6可知，使用多特征融合模块的MLED_Lf性能较UNet、FU_Lf有所提高；使用多特征融合模块和多特征损失函数的MLED_A、MLED_B、MLED_C，与MLED_Lf相比，性能进一步提高. 由表2可知，多特征融合模块的引入使F Measure和Mean IoU分别提高1.7%、6.3%，BPR下降8.2%，在此基础上应用多特征损失函数，使精度进一步提高，其中使用C模块的MLED的F Measure和Mean IoU分别提高3.3%和3.6%，BPR下降0.9%. 由此验证了MLED的有效性.

针对复杂巡检环境中，电力线检测精度低、断点率高的问题，提出多线型特征融合网络，强化了电力线簇连续线型特征的提取，抑制了电力线检测图像的虚假断点. 提出残差连接的多特征融合模块，逐步融合3种多尺度线型特征，包括主干、边缘和高层特征，提高了电力线检测精度. 设计多特征损失函数，监督网络对多种线型特征的学习. 经实验验证，与主流网络PSPNet、FCRN、UNet相比，MLED凝练充足的线型电力线全局上下文信息，保证了电力线的完整性，并有效抑制了复杂背景干扰. 与UNet相比，MLED的F Measure和Mean IoU分别提高5%、9.9%，BPR下降9.1%. 为了进一步提高检测精度，降低断点率，并减少人工标定工作量，未来可考虑在检测网络的训练过程中引入生成对抗网络，以半监督方式利用噪声结合各种强干扰背景生成电力线样本和标定图，提高输入多样性，强化网络对复杂背景中电力线的认知. 在后续工作中将标定杆塔、绝缘子、防震锤等输电设备，研究专门的多分类检测方案，进一步满足无人机智能巡检需求.