Please wait a minute...
工程设计学报
工程设计学报  2024, Vol. 31 Issue (6): 707-715    DOI: 10.3785/j.issn.1006-754X.2024.03.201
【特约专栏】“双碳”背景下新型能源装备设计、制造、运维关键技术及其应用     
基于点特征匹配的电力多模态图像配准方法
钟宇峰1(),林昊1,林楠1,汪铭峰1,郭世晓1,洪兆溪2,孔麒2(),冯毅雄2
1.国网浙江省电力有限公司 杭州供电公司，浙江 杭州 310000
2.浙江大学 机械工程学院，浙江 杭州 310027
Power multi-modal image registration method based on point feature matching
Yufeng ZHONG1(),Hao LIN1,Nan LIN1,Mingfeng WANG1,Shixiao GUO1,Zhaoxi HONG2,Qi KONG2(),Yixiong FENG2
1.Hangzhou Power Supply Company, State Grid Zhejiang Electric Power Co. , Ltd. , Hangzhou 310000, China
2.School of Mechanical Engineering, Zhejiang University, Hangzhou 310027, China
 全文: PDF(5295 KB)   HTML
摘要：

电力设备的可见光图像与红外图像配准作为一种常见的多模态数据配准应用模式，在变电站巡检过程中具有重要的应用价值。但是，由于巡检机器人与人工捕捉的数据在分辨率、视角及光照条件上的差异，电力设备的可见光图像与红外图像的配准存在较大挑战。针对2种图像在特征层级存在同一性，提出了一种基于电力设备边缘点特征的尺度不变特征变换算法，通过构建双边特征描述符并将双边特征点之间的距离作为置信度约束，以减少可见光图像与红外图像的模态差异，最终实现变电站主配网关键设备多源异构图像数据的高精度配准。实验结果表明，所提出的方法对分辨率、视角变化具有良好的鲁棒性，在电力设备多模态图像的实际配准应用中表现出优异性能。研究结果为提升电力设备巡检的智能化和可靠性提供了理论支撑和工程实践指导。
关键词： 变电站巡检;  多模态;  图像配准;  边缘点特征;  尺度不变特征变换    
Abstract:

As a common application mode of multi-modal data registration, the registration of visible images and infrared images of power equipment has significant application value in substation inspection process. However, due to the differences in resolution, perspective and lighting conditions between data captured by inspection robots and humans, the registration of visible images and infrared images of power equipment faces considerable challenges. Aiming at the feature-level consistency between two types of images, a scale-invariant feature transform algorithm based on the power equipment edge point features was proposed. By constructing bilateral feature descriptors and incorporating the distance between bilateral feature points as a confidence constraint, the modal difference between visible images and infrared images was reduced, and the high-precision registration of multi-source heterogeneous image data of critical equipment for substation primary and secondary power distribution networks was achieved. The experimental results showed that the proposed method exhibited strong robustness against variations in resolution and perspective, delivering excellent performance in practical applications of multi-modal image registration for power equipment. The research results provide theoretical support and engineering guidance for enhancing the intelligence and reliability of power equipment inspection.
Key words: substation inspection    multi-modal    image registration    edge point feature    scale-invariant feature transform
收稿日期: 2023-09-07 出版日期: 2024-12-31
CLC:  TH 741  
基金资助: 浙江省重点研发计划资助项目(2022C01238);国网杭州供电公司群众性创新项目(5211HZ230015)
通讯作者: 孔麒     E-mail: yfz_1989@sina.com;22125143@ zju.edu.cn
作者简介: 钟宇峰（1989—），男，高级工程师，硕士，从事变电运维、带电检测与巡检机器人等研究，E-mail: yfz_1989@sina.com
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章　　
钟宇峰
林昊
林楠
汪铭峰
郭世晓
洪兆溪
孔麒
冯毅雄

引用本文:

钟宇峰,林昊,林楠,汪铭峰,郭世晓,洪兆溪,孔麒,冯毅雄. 基于点特征匹配的电力多模态图像配准方法[J]. 工程设计学报, 2024, 31(6): 707-715.

Yufeng ZHONG,Hao LIN,Nan LIN,Mingfeng WANG,Shixiao GUO,Zhaoxi HONG,Qi KONG,Yixiong FENG. Power multi-modal image registration method based on point feature matching[J]. Chinese Journal of Engineering Design, 2024, 31(6): 707-715.

链接本文:

https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2024.03.201    或    https://www.zjujournals.com/gcsjxb/CN/Y2024/V31/I6/707

图1  变电站主网一次设备的可见光图像与红外图像
图2  基于不同阈值的可见光图像边缘检测结果
图3  基于不同阈值的红外图像边缘检测结果
图4  可见光图像与红外图像边缘特征关键点描述符的分布情况
图5  不同算法下可见光图像与红外图像的配准结果
配准算法rERMSRc/%Rr/%
本文算法0.3980.49684.626.4
SURF算法0.2251.01680.117.3
CSS算法0.3460.65279.123.7
表1  不同配准算法的评价指标对比
1 郭佳琛， 刘延峰， 马捷， 等. 红外与可见光图像配准技术分析［J］. 信息技术与信息化， 2023（6）： 52-55.
GUO J C， LIU Y F， MA J， et al. Analysis of infrared and visible light image registration technology［J］. Information Technology and Informatization， 2023（6）： 52-55.
2 王宁， 周铭， 杜庆磊. 一种红外可见光图像融合及其目标识别方法［J］. 空军预警学院学报， 2019， 33（5）： 328-332.
WANG N， ZHOU M， DU Q L. A method for infrared visible image fusion and target recognition［J］. Journal of Air Force Early Warning Academy， 2019， 33（5）： 328-332.
3 李云红， 刘宇栋， 苏雪平， 等. 红外与可见光图像配准技术研究综述［J］. 红外技术， 2022， 44（7）： 641-651. doi：10.11846/j.issn.1001-8891.2022.7.hwjs202207001
LI Y H， LIU Y D， SU X P， et al. Review of infrared and visible image registration［J］. Infrared Technology， 2022， 44（7）： 641-651.
doi: 10.11846/j.issn.1001-8891.2022.7.hwjs202207001
4 周美琪， 高陈强， 木松， 等. 基于模态转换的红外与可见光图像配准方法［J］. 计算机工程与设计， 2020， 41（10）： 2862-2866.
ZHOU M Q， GAO C Q， MU S， et al. Infrared and visible image registration based on modal transformation［J］. Computer Engineering and Design， 2020， 41（10）： 2862-2866.
5 YANG Z W， SHEN G R， WANG W， et al. Spatial-spectral cross correlation for reliable multispectral image registration［C］//2009 IEEE Applied Imagery Pattern Recognition Workshop. Washington， DC， Oct. 14-16， 2009.
6 WANG C C， ZANG Y S， ZHOU D M， et al. An interactive deep model combined with Retinex for low-light visible and infrared image fusion［J］. Neural Computing and Applications， 2023， 35（16）： 11733-11751.
7 HU Z H， JING Y G， WU G Q. Decision-level fusion detection method of visible and infrared images under low light conditions［J］. EURASIP Journal on Advances in Signal Processing， 2023， 2023（1）： 38.
8 李枫， 赵岩， 王世刚， 等. 结合SIFT算法的视频场景突变检测［J］. 中国光学， 2016， 9（1）： 74-80. doi：10.3788/co.20160901.0074
LI F， ZHAO Y， WANG S G， et al. Video scene mutation change detection combined with SIFT algorithm［J］. Chinese Optics， 2016， 9（1）： 74-80.
doi: 10.3788/co.20160901.0074
9 LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
10 王植， 贺赛先. 一种基于Canny理论的自适应边缘检测方法［J］. 中国图象图形学报， 2004， 9（8）： 957-962. doi：10.11834/jig.200408183
WANG Z， HE S X. An adaptive edge-detection method based on Canny algorithm［J］. Journal of Image and Graphics， 2004， 9（8）： 957-962.
doi: 10.11834/jig.200408183
11 易图明， 王先全， 袁威， 等. 基于导向滤波和小波变换的红外可见光图像融合改进算法研究［J］. 现代信息科技， 2023， 7（6）： 41-45.
YI T M， WANG X Q， YUAN W， et al. Research on improved infrared visible light image fusion algorithm based on guided filtering and wavelet transform［J］. Modern Information Technology， 2023， 7（6）： 41-45.
12 李晖晖， 郑平， 杨宁， 等. 基于SIFT特征和角度相对距离的图像配准算法［J］. 西北工业大学学报， 2017， 35（2）： 280-285.
LI H H， ZHENG P， YANG N， et al. Relative angle distance for image registration based on SIFT feature［J］. Journal of Northwestern Polytechnical University， 2017， 35（2）： 280-285.
13 SHREYAMSHA KUMAR B K. Image fusion based on pixel significance using cross bilateral filter［J］. Signal， Image and Video Processing， 2015， 9（5）： 1193-1204.
14 YIN W X， HE K J， XU D， et al. Adaptive low light visual enhancement and high-significant target detection for infrared and visible image fusion［J］. The Visual Computer， 2023， 39（12）： 6723-6742.
15 ZHANG X C. Benchmarking and comparing multi-exposure image fusion algorithms［J］. Information Fusion， 2021， 74： 111-131.
16 JIANG Q， LIU Y D， YAN Y J， et al. A contour angle orientation for power equipment infrared and visible image registration［J］. IEEE Transactions on Power Delivery， 2021， 36（4）： 2559-2569.
17 KANTARCI A， EKENEL H K. Thermal to visible face recognition using deep autoencoders［C］//International Conference of the Biometrics Special Interest Group. Darmstadt， Sep. 18-19， 2019.
18 杨勇， 刘家祥， 黄淑英， 等. 卷积自编码融合网络的红外可见光图像融合［J］. 小型微型计算机系统， 2019， 40（12）： 2673-2680.
YANG Y， LIU J X， HUANG S Y， et al. Convolutional auto-encoding fusion network for infrared and visible image fusion［J］. Journal of Chinese Computer Systems， 2019， 40（12）： 2673-2680.
19 ZENG Q， ADU J H， LIU J X， et al. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT［J］. Journal of Real-Time Image Processing， 2020， 17： 1103-1115.
20 AMIN-NAJI M， AGHAGOLZADEH A. Multi-focus image fusion in DCT domain using variance and energy of Laplacian and correlation coefficient for visual sensor networks［J］. Journal of AI and Data Mining， 2018， 6（2）： 233-250.
21 罗银辉， 王星怡， 吴岳洲. 基于残差密集网络的红外与可见光图像配准［J］. 计算机时代， 2022（12）： 66-69.
LUO Y H， WANG X Y， WU Y Z. Infrared and visible image registration based on residual dense network［J］. Computer Era， 2022（12）： 66-69.
[1] 周亮,温涛,胡俊峰,周浩. 基于滚动接触的单模块多自由度柔性连续体机械臂设计[J]. 工程设计学报, 2024, 31(4): 473-482.
[2] 贺红林，周楠兰，袁维东. 基于复合模态阻尼比的阻尼板渐进法减振优化[J]. 工程设计学报, 2015, 22(5): 351-358.
[3] 贺红林，周楠兰，袁维东. 基于复合模态阻尼比的阻尼板渐进法减振优化[J]. 工程设计学报, 2015, 22(4): 351-358.