基于改进γ-CLAHE算法的水下机器人图像识别
Recognition of images for underwater vehicle based on improved γ-CLAHE algorithm
通讯作者:
收稿日期: 2021-08-23
基金资助: |
|
Received: 2021-08-23
Fund supported: | 国家自然科学基金资助项目(52071292);浙江省自然科学基金资助项目(LQ20E090008);宁波市“科技创新2025”重大专项(2021E008) |
作者简介 About authors
成宏达(1996—),男,硕士生,从事水下机器人视觉研究.orcid.org/0000-0002-2855-2662.E-mail:
水体及悬浮粒子对光的吸收、折射及反射导致水下图像对比度低及细节模糊,单一图像增强算法难以适用于水下复杂环境识别.为了解决该问题,提出基于小波变换和改进的γ-CLAHE相融合的图像增强算法.通过快速中值滤波去除图像中噪声,向CLAHE算法中加入自适应伽马变换,解决CLAHE算法处理水下图像色彩失真,丢失孤立点、细线,画面突变等问题. 利用改进的γ-CLAHE算法处理小波变换分解后的低频部分,增强图像并加快运行速度. 通过小波逆变换将γ-CLAHE算法处理后的低频部分和双边滤波处理后的高频部分相融合,得到最终的增强图像. 将实验图像同传统CLAHE、Retinex、Singh融合算法的处理图像进行对比,验证本研究算法在水下图像处理方面的有效性和优越性.
关键词:
The absorption, refraction and reflection of light by water and suspended particles lead to low contrast and blurred details of underwater images. Therefore, it is difficult to apply a single image enhancement algorithm to the recognition of complex underwater environments. An enhancement algorithm based on wavelet transform and an improved γ-CLAHE algorithm was proposed to solve this problem. Firstly, fast median filter was used to remove the noise in the image, and adaptive gamma transform was added to CLAHE to solve the problems of color distortion and loss of details information such as isolated points, thin lines and sudden changes in the underwater image. Secondly, the improved γ-CLAHE method was used to process the low frequency part after wavelet transform decomposition to enhance the image and speed up the algorithm. Then, the wavelet inverse transform was used to get the final enhanced image by fusing the low-frequency part processed by the γ-CLAHE algorithm and the high-frequency part processed by bilateral filtering. Finally, the final image was compared with the images processed by traditional CLAHE, Retinex, and Singh’s fusion algorithm, verifying the effectiveness and superiority of the proposed algorithm in the underwater image processing.
Keywords:
本文引用格式
成宏达, 骆海明, 夏庆超, 杨灿军.
CHENG Hong-da, LUO Hai-ming, XIA Qing-chao, YANG Can-jun.
本研究通过基于小波变换和改进的γ-CLAHE相融合的图像增强算法,减少了水下线缆图像色彩失真、细节丢失、边缘模糊等问题,加快了运行处理速度.
1. 图像增强概述
表 1 对比度增强方法对比
Tab.1
使用方法 | 优点 | 缺点 |
伽马函数 | 图像上的非线性运算 | 对比度增强不足 |
拉普拉斯滤波 | 可突出显示图像中的离群值或线端点 | 噪音敏感 |
Retinex方法 | 不受照明不均匀的影响、自适应各种场景图像 | 光晕敏感度、失真 |
直方图均衡化 | 改变图片直方图调整对比度、可逆操作 | 过增强、噪音敏感 |
表 2 色彩修正方法对比
Tab.2
使用方法 | 优点 | 缺点 |
白平衡算法 | 原理简单易行 | 不同场景适应能力差 |
颜色空间变换 | 易获得矫正后图像颜色 | 结构相似的图像并非始终可用 |
灰度世界算法 | 简单快速 | 无法适应动态场景 |
灰度世界和白平衡混合算法 | 在保持图像饱和度和平衡图像颜色之间折中 | 仅当失真不严重并且在光线充足的条件下拍摄图像时,效果良好 |
频域类方法利用傅里叶变换、小波变换、离散余弦变换等将图像变换到频域进行增强操作,一般会重点增强图像的高频分量,再将增强后的图像转回空间域. 近年来,国内外学者将小波变换引入图像增强取得了不错的效果.
Singh等[18]提出加入颜色矫正因子小波变换的处理方法.对图像进行离散小波变换,处理近似部分. 通过特定色偏对应的颜色矫正因子来评估每个RGB分量的增益值,并乘以相应的RGB分量调整图像像素,最后对近似部分进行逆变换得到最终的增强结果.
图 1
图 2
邹沛煜等[20]提出基于高低频分量融合的水下图像增强算法. 利用多尺度Retinex算法估计高频分量并利用CLAHE算法对其进行处理,然后将去除噪声的对比度增强图像和高低频细节图像进行线性加权融合和颜色矫正,获得最终的清晰图像. 该算法对于大范围的水下图像具有较好的效果,对颜色和细节信息恢复较好,提高了整体的对比度. 但是该方法对于明暗亮度变化较大的图像效果较差.
对于背景较暗或者亮度相差较大的图像,采用已有的直方图类算法或者单一增强算法容易出现过增强或欠增强的现象,同时增强后图像色彩容易出现偏色,不符合人的主观视觉感受.
通过以上分析可知,目前单一的图像增强算法已经无法满足人们对于复杂环境的需求,基于图像融合的方法以其适用性广泛和增强效果好而受到人们的广泛关注.
2. 增强算法构建
图像增强算法步骤如图3所示. 1)使用快速中值滤波对输入图像进行初步滤波去噪;2)经过二维一级小波变换,将图像分解为高、低频2部分;3)对图像低频部分(近似分量)采用改进γ-CLAHE算法进行处理;4)对图像高频部分(其余分量)使用快速双边滤波进行二次滤波去噪;5)处理后的图像高低频部分,经过小波重构,得到最终的增强图像.
图 3
2.1. 快速中值滤波
采用快速中值滤波算法作为初始滤波算法. 中值滤波的核心操作是选取滤波窗口内像素点的中间值. 在中值滤波过程中,每次移动窗口都要对像素点重新排序,但是中值滤波窗口每次只移动1列或者1行像素点,没有移出窗口的像素点排序完好,只须将新加入窗口的像素点加入到原来已经排好的像素中即可完成新一轮排序. 而且窗口内像素点排序的目标在于找到中值点,采用直方图方式统计像素点,将移出窗口的像素点和移入窗口的像素点进行对比,只加入大于移出像素点的值,这样将方便中值的选取. 试验研究发现,当窗口包含的像素点超过13个时,程序的计算量显著增大,但是噪声消除效果的改进却并不明显[21]. 因此最终采用3×3的移动窗口作为模板进行处理.
2.2. 快速双边滤波
双边滤波(bilateral filter,BF)是考虑灰度和空域信息相似性的平衡处理操作. BF能够保留清晰的图像边缘,可以在保留图像大量细节特征的同时具有较好的滤波能力,达到去噪保边的效果,具有简单、局部、非迭代的特点.
选用快速双边滤波对图像进行滤波处理,相对初始双边滤波,其优化主要分为以下3个部分:1)图像距离相似度
2.3. 改进的γ-CLAHE算法
水下图像增强方法一般通过对原始图像像素值进行修改和调整改善图像的整体质量、图像亮度、清晰度.常用的增强算法有3类:基于直方图的方法、基于Retinex方法以及基于融合的图像增强算法[22].
Retinex算法认为物体对不同波长光线反射造成了物体颜色的不同,主要通过调整图像辐射照度进行增强. 因此算法对于明暗不均匀以及阴影部分大的水下图像有较好的处理效果,但是处理后的图像会放大原图噪声,并且失真现象严重. 图像融合算法能改善单一方法的不足,但是算法运算时间会相应变长.
限制对比度直方图均衡化(contrast limited adaptive histogram equalization, CLAHE)算法是一种经典的局部对比度增强技术,通过对图像分区域限制对比度,降低图像对比度幅值,有效改善自适应直分图均衡(adaptive histogram equalization, AHE)算法对噪声的放大问题,增强图像的局部细节. 但是单独的CLAHE算法在处理明暗相差较大的图像时,其效果并不理想. 另外,由于CLAHE算法会对直方图超过裁剪阈值的部分进行裁剪并将其均匀分布到每个灰度级上,可能会丢失输入图像的部分细节信息.对于使用辅助光源造成明暗对比度明显的图像,经过单独的CLAHE算法的处理后,图像亮度过度增加,导致图像对比度差和亮度过高.为了解决这个问题,引入添加了伽马函数的CLAHE算法[22].
伽马函数是描述像素的亮度及其数值映射的灰度变换函数,应用于图像可以矫正图像亮度和对比度[23]. 假设原始图像P的像素值在[0,1.0],则伽马函数可以定义为
式中:
可以通过改变矫正系数
式中:
改进的γ-CLAHE算法具体操作步骤如下.
1)将输入的原始图像从RGB彩色空间转到Lab空间. 其中Lab空间为颜色-对立空间,通道L表示亮度,通道a和b表示颜色对立维度.
2)使用归一化处理的伽马校正函数调整待处理图像的L分量对比度:
式中:
3)将对比度调整后的L分量图像分成若干个大小X×Y的不重叠区域,取X=Y=8;
4)通过累积分布函数(cumulative distribution function, CDF)计算各非重叠区域的直方图:
式中:i、j为像素k位置坐标索引;
5)计算裁剪限制β:
式中:β为裁剪限幅;
利用式(6)修改所有直方图,保留小于或等于剪裁限幅β的直方图,裁剪超过β的直方图并进行重新分配.
6)根据新的直方图分布及其在对比度受限区域的位置,使用如下映射函数计算新的像素值:
式中:Pnew和Pold分别为在图像对应直方图被重新分布之前和之后的区域
7)使用CDF调整a、b色度分量,得到矫正后的色度分量AC、BC.
8)将调整后的图像从Lab空间转回到RGB空间.
2.4. 离散小波变换
小波变换对时域频率的局部化分析使得其能对图像进行时频上的细分处理,适用于不同信号分析处理环境,因此小波变换在图像处理领域得到广泛应用. 其中,离散小波变换定义灵巧,更加高效,不占用系统该内存,计算方便且实时性好,因此本研究选用二维可分离小波进行图像处理. 通过对图像进行行列小波分解,将其分解为近似部分、水平部分、垂直部分和对角部分,其中近似部分属于图像低频部分,包含图像大部分的像素,也包含小部分的图像噪声;水平、垂直和对角部分都属于图像的高频部分,包含大量图像细节,能量较少,但是噪声较多. 为了限制噪声增加并避免过分强调细节信息,使用归一化伽马校正的CLAHE算法(γ-CLAHE)处理图像的低频部分,增加图像亮度,提高图像整体对比度,使用快速双边滤波算法对图像的高频分量进行处理,去掉冗杂干扰,保留图像细节,对经过增强和滤波处理后的高低频分量进行小波重构,得到最终的增强图像.
3. 增强结果及验证
图 4
图 5
图 6
由图6可以看出,对于具有蓝绿色调的礁石图像和水下潜水员图像,Singh融合算法处理后的图像色彩偏黄,CLAHE算法处理的图像色彩没有太大改变,Retinex处理后的图像色彩偏红,本研究算法对图像的色彩和边缘特征恢复较好. 对于在室外水池中拍摄的管道图像,在中度模糊的情况下,几种算法都能显现出管道整体图像,在重度模糊的情况下,本研究所提算法效果最好,能更好地显现出管道的形状. 图像处理效果的客观评价指标对比如图7~9所示. 可以看出,基于AG评价指标,本研究算法在各算法中处于平均水平,表现一般,但是本研究算法的PSNR和SSIM这2项指标高于前几种算法,说明所提出算法在图像增强后能更好地恢复图像细节,保留图像特征,其综合增强效果优于其他几种算法. 图像的处理时间与处理单元的运算能力相关,采用同一处理单元,获得礁石、潜水员、弯管1、直管及弯管2在多种图像增强算法下的处理时间,如表3所示. 可以看出,本研究所提算法在处理水下直管、弯管图像时速度较快,在处理礁石、潜水员图像时,略慢于CLAHE、Retinex算法,但明显快于Singh融合算法.
图 7
图 8
图 9
表 3 图像处理时间
Tab.3
图像 | Singh融合 | CLAHE | Retinex | 本研究算法 |
礁石 | 2.1 | 0.88 | 0.52 | 1.01 |
潜水员 | 1.4 | 0.90 | 0.63 | 1.05 |
弯管1 | 1.2 | 0.84 | 1.10 | 0.87 |
直管 | 1.2 | 0.75 | 0.77 | 0.56 |
弯管2 | 1.7 | 0.65 | 0.83 | 0.92 |
4. 结 语
针对水下机器人所拍摄图像模糊和背景噪声较强的特点开展研究,提出适用于水下图像处理的增强算法. 对不同的水下图像如礁石、潜水员、直管、弯管等,通过与传统的CLAHE、Retinex算法以及Singh的融合算法的图像处理效果对比,证明了本研究算法在水下图像处理方面对于恢复图像细节、保留图像特征优于其他几种算法并且能较快处理类似直管、弯管的简单图像.未来,计划在动态水域中对本研究算法处理性能和快速性做进一步改进和完善.
参考文献
Design of optimal scheme for industrial network monitoring of ocean energy power generation system
[J].DOI:10.1088/1755-1315/647/1/012120 [本文引用: 1]
国内外海洋资源研究知识图谱解析及启示
[J].
Analysis and enlightenment of knowledge map of marine resources research at home and abroad
[J].
深海综合观测浮标研制及其在热带西太平洋的应用
[J].
Design and development of deep-sea buoys and their applications in the tropical western Pacific
[J].
中国南海海洋真菌资源及其活性次级代谢产物研究评述
[J].
Review on the research of marine fungus resources and their bioactive secondary metabolites from the South China Sea
[J].
基于 DPSIR-TOPSIS 模型的我国沿海省份海洋资源环境承载力评价及障碍因素研究
[J].
Evaluation and obstacle factors of marine resources and environment carrying capacity of coastal provinces and cities in China based on DPSIR-TOPSIS model
[J].
我国海洋探测技术五十年发展的回顾与展望(三)
[J].DOI:10.3969/j.issn.1003-2029.2000.01.003 [本文引用: 1]
Review and prospect for the marine survey technology development in the past 50 years of china
[J].DOI:10.3969/j.issn.1003-2029.2000.01.003 [本文引用: 1]
Underwater image processing method for fish localization and detection in submarine environment
[J].DOI:10.1016/j.jvcir.2016.05.017 [本文引用: 1]
基于双目视觉的水下海参尺寸自动测量方法
[J].DOI:10.3778/j.issn.1002-8331.2005-0096 [本文引用: 1]
Automatic measurement of underwater sea cucumber size based on binocular vision
[J].DOI:10.3778/j.issn.1002-8331.2005-0096 [本文引用: 1]
Vision-based line detection for underwater inspection of breakwater construction using an ROV
[J].DOI:10.1016/j.oceaneng.2015.09.007
水下光学图像处理研究进展
[J].
Research progress on underwater optical image processing
[J].
基于注意力的多尺度水下图像增强网络
[J].DOI:10.11999/JEIT200311 [本文引用: 1]
Multi-scale underwater image enhancement network based on attention mechanism
[J].DOI:10.11999/JEIT200311 [本文引用: 1]
A taxonomy and evaluation of dense two-frame stereo correspondence algorithms
[J].
基于YOLOv3的水下小目标自主识别
[J].
Small underwater target recognition based on YOLOv3
[J].
A review on intelligence dehazing and color restoration for underwater images
[J].DOI:10.1109/TSMC.2017.2788902 [本文引用: 1]
基于图像融合的自适应水下图像增强
[J].
Adaptive underwater image enhancement method via image fusion
[J].
Underwater image enhancement using an integrated colour model
[J].
基于高低频分量融合的水下图像增强算法
[J].
Underwater image enhancement algorithm based on fusion of high and low frequency components
[J].
Normalised gamma transformation-based contrast-limited adaptive histogram equalisation with colour correction for sand-dust image enhancement
[J].DOI:10.1049/iet-ipr.2019.0992 [本文引用: 2]
Adaptive local power-law transformation for color image enhancement
[J].DOI:10.12785/amis/070542 [本文引用: 1]
/
〈 |
|
〉 |
