光伏航拍红外图像的热斑自动检测方法
Automatic hot spot detection method for photovoltaic aerial infrared image
通讯作者:
收稿日期: 2021-08-12
基金资助: |
|
Received: 2021-08-12
Fund supported: | 国家自然科学基金资助项目(51777183) |
作者简介 About authors
夏杰锋(1997—),男,硕士生,从事机器视觉研究.orcid.org/0000-0002-5273-5995.E-mail:
针对光伏电站传统巡检技术的高成本、低效率以及准确率不高等问题,提出二阶段式的航拍红外图像热斑检测方法,实现对红外图像中热斑缺陷的组件级定位及精细化分类诊断. 该方法将传统图像处理技术与深度学习方法融合,进一步提升缺陷诊断的准确率与效率. 基于航拍红外图像前、后景灰度值的差异,提出基于边缘检测的组件分割方法来提取光伏组件轮廓以实现组件级定位,该方法以相对较小的硬件需求实现光伏组件有效检出率可达99.3%. 考虑到热斑成因、危害及对应处理方式的差异性,提出基于EfficientNet的红外缺陷分类模型对热斑进行精细的四分类,为电站运维人员提供更为精准的决策支撑,该模型在空间占用20.17 MB的情况下获得97.0%的热斑分类准确率. 经过实验对比分析,论证了本研究所提出的方法在缺陷诊断的效率以及准确率上都较高.
关键词:
A two-stage hot spot detection method of aerial infrared image was proposed to realize component level positioning and fine classification diagnosis of hot spot defects in infrared image, aiming at the problems of high cost, low efficiency and low accuracy of traditional inspection technology of photovoltaic power station. This method combined the traditional image processing technology with the deep learning method to further improve the accuracy and efficiency of defect diagnosis. Specifically, firstly, based on the difference between the gray values of the front and back scenes of aerial infrared images, a component segmentation method based on edge detection was proposed to extract the contour of photovoltaic components to achieve component level positioning. This method achieved the effective detection rate of photovoltaic components up to 99.3% with relatively small hardware requirements. Secondly, considering the differences in the causes, hazards and corresponding treatment methods of hot spots, an infrared defect classification model based on EfficientNet was proposed to finely classify the hot spots, so as to provide more accurate decision support for the operation and maintenance personnel of the power station. The model obtained hot spot classification accuracy of 97.0% when it occupied 20.17 MB. Through experimental comparison and analysis, it is demonstrated that the proposed method has greatly improved the efficiency and accuracy of defect diagnosis.
Keywords:
本文引用格式
夏杰锋, 唐武勤, 杨强.
XIA Jie-feng, TANG Wu-qin, YANG Qiang.
深度学习在上述问题上得到了大量应用. 吴涛等[15]通过改进LeNet-5模型对光伏图像进行故障检测,以解决故障分类数少导致的欠拟合. 郭梦浩等[16]通过Faster RCNN的方法,通过对于图像预处理和迁移学习方法的应用,对Faster RCNN进行了改进,相比于原始的Faster RCNN检测率提高了4.51%,在测试集上,取得了97.34%的平均检测率. Greco等[17]通过YOLO框架实现热斑检测,在18个不同的数据集上均得到了有效的结果,得到了95%的准确率. 上述这些方法在组件的提取和分类上表现出比传统方法更好的效果,能处理复杂背景下的图片信息,解决了传统检测方法中的泛化能力差和准确率不足的问题,但其模型的参数数量过大,对硬件也有较高的需求.
深度网络通常需要大量的参数[18],对硬件的需求较高. 而传统的图像检测方法基于统计特征进行分类,信息损失大. 基于此,本研究提出一种传统图像处理与深度学习分类模型相结合的二阶段缺陷自动识别方法,主要贡献如下:1)搭建了一种加载红外相机的无人机巡检平台,通过畸变矫正算法降低组件安装角度和现场拍摄抖动畸变问题给航拍图像带来的影响. 2)提出针对红外图像的二阶段热斑目标检测方法. 基于前后景灰度差异、组件形态学特征之类的先验信息的边缘检测方法,对组件轮廓进行分割;基于EfficientNet的分类识别模型,对模型深度和宽度结构根据具体数据集的特征尺度进行自适应的搜索调整,实现高精度热斑识别. 3)搭建了一个用于红外巡检的无人机平台,并收集了一个包含标注的光伏组件红外数据集,该数据可以提供给非商业用途的研究.
1. 检测方法
先通过无人机巡检平台采集光伏组件红外图像,为了避免图像采集和传输过程中产生失真,影响缺陷的识别准确率,首先对采集的红外图像进行畸变矫正,进而对光伏组件进行分割、提取,最后通过深度学习模型对组件是否存在热斑缺陷进行分类,具体流程如图1所示.
图 1
为了保证采集图像的有效性以提高光伏检测的准确性,搭建了一种加载红外相机的无人机巡检平台完成图像信息的采集. 平台主要分为硬件模块和畸变矫正模块. 硬件模块使用大疆M300型号无人机搭载H20T红外相机进行高效率稳定采集,其中通过RTK完成目标航线的巡检,并用SD卡完成数据存储与传输. 而畸变矫正主要是对气流干扰产生的图像畸变通过逆滤波加低通滤波的方式进行图像矫正复原.
1.1. 组件提取方法
方法的第1阶段是对组件位置信息进行提取分割,通过组件检测和轮廓分割简化模型结构参数.
1.1.1. 组件检测方法
在光伏组件检测环节,通过边缘检测的方式,对图像中的光伏组件进行识别,以减少计算量. 由于光伏板的灰度值与整体背景的灰度值差异较大,通过灰度分布包络线极点获取灰度阈值,将图像二值化,进行前、后景的分离.
在二值化后,光伏板的轮廓更加清晰,但背景中会有噪声干扰. 因为噪声和光伏板在形态学上存在差异,使用开运算来对噪声进行滤除. 开运算是先进行腐蚀运算再进行膨胀运算. 先进行腐蚀运算后进行膨胀运算,能够除去孤立的小点、毛刺和小桥,而总体的位置和形状不变. 开运算的原理如图2所示.
图 2
式中:
根据式(1)~(4)可以得到图像梯度的幅值:
为了简化计算,可以将式(5)近似为
相角表达式为
其中心点的梯度方向与边缘方向之间的关系如图3所示.
图 3
图 3 Canny算法梯度方向与边缘方向关系
Fig.3 Relationship between gradient direction and edge direction of Canny algorithm
1.1.2. 轮廓分割方法
首先根据边缘进行轮廓的提取,先对数字二值图像拓扑分析,通过编码的方式给边界赋值,确定外边界、孔边界与层次关系,从而得到图形的轮廓. 设(i,j)位置的像素值对外边界和孔边界的判定条件分别为
对于图中的噪声,根据与组件的位置关系分为内噪声和外噪声. 对内噪声,通过对图像拓扑分析时得到的轮廓树筛选来进行滤除. 对组件外的噪声,由于其与组件的面积大小存在较大差异,通过轮廓面积统计,并设置最小阈值去除这种噪声.
在对组件轮廓进行提取时,个别图片会出现组件黏连的情况,即多个组件被提取到了同一个轮廓当中. 主要是一些组件的边界相比于其他的边界较为明显,容易将其判别为同一个整体. 本研究提出2种解决方法,如图4所示. 图中,H、W分别为图像高度和宽度.
图 4
方法1是根据分割得到的图片进行再分割,此时由于外部的边界已经被分割,内部的边界就可以被突显出来,原理如图5所示. 方法2是根据其他组件大小提出尺寸约束,对超出尺寸范围的组件进行自适应提取.上述2种方法都能对于此问题进行较好的解决,但由于方法2是根据特定数据集提出的,泛化性差,只能在图片中组件大小差异不大的情况下作用.
图 5
1.2. 组件分类方法
方法第2阶段是对组件类别信息进行提取,通过EfficientNet网络根据具体数据集组件大小和故障形态空间尺度信息对网络结构进行调整,搜索出最有效的模型结构,实现高精度的故障检测.
图 6
本研究使用基于深度学习的网络模型对缺陷组件进行分类. 由于卷积神经网络通常在固定的计算资源下进行设计和运行,在资源多余或不足时,可以将模型结构进行放缩,以获得更好的精度. 通过复合系数对网络深度d、宽度w和分辨率r进行统一缩放,使得三者在约束中平衡出一个更好的性能:
式中:
表 1 EfficientNet-B0的网络结构
Tab.1
网络层 | S/像素 | C | L |
Conv3×3 | 224×224 | 32 | 1 |
MBConv1,k3×3 | 112×112 | 16 | 1 |
MBConv6,k3×3 | 112×112 | 24 | 2 |
MBConv6,k3×3 | 56×56 | 40 | 2 |
MBConv6,k3×3 MBConv6,k3×3 MBConv6,k3×3 MBConv6,k3×3 Conv1*1&Pooling&FC | 28×28 14×14 14×14 7×7 7×7 | 80 112 192 320 1280 | 3 3 4 1 1 |
式中:
2. 实验结果
2.1. 红外光伏原始数据集
本研究使用的数据集是来自海南某光伏电站的总共1128张红外图像. 在对其进行标注后,对正常和缺陷图像进行样本均衡,然后按照7∶2∶1划分训练集、验证集和测试集. 此外,引入江苏某光伏电厂2 000张红外图像(数据集2)和内蒙某光伏电厂760张红外图像(数据集3)进行横向对比,验证算法的泛化性并增加实验结果的可信度.
2.2. 实验环境和参数
本研究的检测分割算法基于opencv实现,深度模型均在pytorch框架下实现. 实验采用NVIDIA TITAN Xp进行加速. 实验训练使用784张均衡样本,批尺寸为4,初始学习率0.0015,训练轮数50.
2.3. 实验评价指标
在整体检测性能比较上,计算BoundingBox与每个真值的交并比(IoU)值,取其中最大的MaxIoU. 当MaxIoU达到阈值时,记录其置信度,否则记为FP,从而得到PR曲线.
2.4. 实验结果与对比
2.4.1. 组件提取结果
如图7所示为全图像集灰度值分布特征. 图中,x为灰度值,y为像素个数. 得到图像的平均灰度分布,由于组件和背景的灰度值差异明显,可以通过灰度分布包络线极点获取灰度阈值,对灰度图像进行二值化.
图 7
图 8
2.4.2. 组件分类结果
图 9
2.4.3. 算法效果对比
为了验证本方法各阶段的有效性及优势,给整体二阶段算法的高精度提供理论依据,对各阶段分别进行验证实验.
图 10
图 11
通过本方法,每个光伏组件都被有效检测且边缘清晰,实现了像素级高精度轮廓提取,提高了整体识别率. 相比于直接使用Canny边缘检测,本方法能较好去除背景噪声对提取的影响,提高正确检出率.
在第2阶段的组件分类方面,如表2所示,在精确率、召回率、准确率、模型参数大小P以及模型运行时梯度传播所需的内存Me这5个指标上,将EfficientNet与常用的CNN网络VGG[25]、ResNet[26]、DenseNet[27]和轻量化网络SqueezeNet[28]、MobileNet[29]、ShuffleNet[30]进行比较. 可以看出,在基于提取组件的热斑缺陷检测中,EfficientNet在组件热斑是否存在的检测任务上召回率达到100%,准确率达到99.74%,在分类性能上优于其他模型. 相较于VGG、ResNet和DenseNet,EfficientNet在召回率上提升了0.5%~1.0%,在准确率上也有一定提高. 在模型参数大小上,EfficientNet明显更小更加轻量化,能够布置在硬件条件受限的环境下. 相较于SqueezeNet、MobileNet和ShuffleNet这些轻量化网络,EfficientNet在精确率和召回率上提升更多. 在模型参数大小上虽然大于MobileNet、ShuffleNet,但在运行内存上,EfficientNet远小于前两者,在实际运行时也更快. 因此相较于这些轻量化网络,EfficientNet具有准确率更高且运行速度更快的优势.
表 2 分类模型性能对比
Tab.2
算法 | Precision | Recall | Accuracy | P/MB | Me/MB |
VGG16 | 0.9948 | 0.9847 | 0.9898 | 448.18 | 232.28 |
ResNet50 | 0.9949 | 0.9949 | 0.9949 | 97.49 | 309.46 |
DenseNet121 | 0.9913 | 0.9951 | 0.9930 | 30.44 | 299.11 |
SqueezeNet | 0.9847 | 0.9753 | 0.9804 | 30.16 | 290.67 |
MobileNetV2 | 0.9608 | 0.9755 | 0.9657 | 12.62 | 408.23 |
ShuffleNetV2 | 0.9755 | 0.9659 | 0.9706 | 8.54 | 813.55 |
EfficientNet | 0.9949 | 1.0000 | 0.9974 | 20.17 | 231.66 |
图 12
图 12 算法运算速度与准确性能比较
Fig.12 Comparison of operation speed and accuracy of algorithm
3. 结 语
本研究提出基于传统图像处理和深度学习相结合的二阶段光伏热斑检测方法. 通过阈值分割将红外图像二值化,通过开运算对环境中的干扰噪声进行去除,并增强了组件的边缘. 使用Canny算子进行边缘检测,实现了组件的像素级定位分割,简化了模型结构参数和冗余候选框,最后通过EfficientNet对组件热斑缺陷进行分类,判断热斑是否存在及热斑类型.
通过基于边缘检测的组件提取方法对组件进行分割,实现了99.3%的有效检出率;使用EfficientNet对热斑的分类效果进行提升,对组件是否存在热斑的检测准确率达到99.7%;对具体热斑类型的检测率:遮挡热斑达到97.1%,接点过热达到97.4%,单电池过热达到96.5%. 本方法对于硬件的需求不高,能够在较低的硬件条件下得到较好的效果,以适应不同环境.
由于组件提取使用的是传统的图像处理方法,虽然在本数据集上能够取得较好的效果,但其泛化能力仍然有待考量. 后续也可以引入一些自适应的处理手段来对模型的泛化能力进行相应的提升,从而能够处理更加复杂多变的检测问题.
参考文献
Automatic hotspots detection based on UAV infrared images for large-scale PV plant
[J].
An investigation into hot-spots in two large grid-connected PV plants
[J].
基于红外热图像处理的光伏阵列热斑检测方法
[J].
Hot spot detection method of photovoltaic array based on infrared thermal image processing
[J].
Automated overheated region object detection of photovoltaic module with thermography image
[J].DOI:10.1109/JPHOTOV.2020.3045680
Fault diagnosis of photovoltaic modules through image processing and canny edge detection on field thermographic measurements
[J].
Faster R-CNN: towards real-time object detection with region proposal networks
[J].
基于 LeNet-5 模型的太阳能电池板缺陷识别分类
[J].
Defect identification and classification of solar panels based on lenet-5 model
[J].
基于Faster RCNN的红外热图像热斑缺陷检测研究
[J].
Research on infrared thermal image hot spot defect detection based on fast RCNN
[J].
A computational approach to edge detection
[J].DOI:10.1109/TPAMI.1986.4767851 [本文引用: 1]
Topological structural analysis of digitized binary images by border following
[J].DOI:10.1016/0734-189X(85)90016-7
GrabCut: interactive foreground extraction using iterated graph cuts
[J].DOI:10.1145/1015706.1015720 [本文引用: 1]
LSD: a line segment detector
[J].
Spatial pyramid pooling in deep convolutional networks for visual recognition
[J].
/
〈 |
|
〉 |
