基于改进CycleGAN的多失真类型水下图像增强
Multi-distortion type underwater image enhancement based on improved CycleGAN
通讯作者:
收稿日期: 2024-04-8
基金资助: |
|
Received: 2024-04-8
Fund supported: | 重庆市教委科学技术研究资助项目(KJQN202203207);重庆市科技创新领军人才支持计划资助项目(CSTCCCXLJRC201920);重庆市高校创新研究群体(CXQT20019). |
作者简介 About authors
吕振鸣(2000—),男,硕士生,从事水下机器人研究.orcid.org/0009-0009-3520-7523.E-mail:
针对由散射、吸收和色偏等多种因素导致的水下图像模糊、对比度低、图像失真辨识困难的问题,提出基于改进CycleGAN的多失真类型水下图像增强算法. 为了提高图像增强效果,在CycleGAN的生成器中采用Auto-Encoder+Skip-connection的网络结构,添加全局色彩校正结构,从像素方面以及颜色方面进行全局增强,从而更好地捕捉水下图像中的色彩信息. 设计多维感知判别器来学习图像的全局特征和局部特征,此设计更加注重图像局部细节部分,有效针对散斑和色彩噪声,从多维空间上感知图像,提取特征能力更强,从而能提高图像判别的精度. 在EUVP、UIEB和U45数据集上的实验结果表明,所提出的方法取得了较好的结果,相较其他算法,在处理多种水下失真类型的图像方面,该算法的SSIM指标平均比第2名高出1.57%、PSNR指标高出1.836%、UIQM指标高出1.324%、UCIQE指标高出1.086%,在处理颜色和噪声细节方面表现出色.
关键词:
A multi-distortion type underwater image enhancement algorithm based on improved CycleGAN was proposed, aiming at the difficulties of underwater image blurring, low contrast and image distortion recognition caused by various factors such as scattering, absorption and color deviation. Firstly, in order to improve the image enhancement effect, Auto-Encoder+Skip-connection network structure was used in the generator of CycleGAN, and global color correction structure was added for global enhancement in terms of pixel as well as color, so as to better capture the color information in underwater images. Secondly, a multidimensional perceptual discriminator was designed to learn the global and local features of the image. This discriminator payed more attention to the local details of the image, effectively targeted scattering and color noise, perceived the image from a multidimensional space, and had a stronger ability to extract the features, thereby enhancing the accuracy of image discrimination. Finally, the experimental results on EUVP, UIEB and U45 datasets showed that the proposed method achieved better results, compared with other algorithms. In processing multi-distortion types of underwater images, the algorithm’s SSIM indicator was higher than that of the second place by an average of 1.57%, the PSNR indicator was higher by 1.836%, the UIQM indicator was higher by 1.324%, and the UCIQE indicator was higher by 1.086%. The proposed method performed well in processing color and noise details.
Keywords:
本文引用格式
吕振鸣, 董绍江, 夏宗佑, 牟小燕, 王明权.
LV Zhenming, DONG Shaojiang, XIA Zongyou, MOU Xiaoyan, WANG Mingquan.
水下图像处理对于水下航行器的检测、定位和导航等功能的实现具有至关重要的意义. 然而,水作为传输介质,其光学特性会给水下图像带来各种失真,光学失真严重影响水下航行器通过图像识别外界环境和目标物体[1]. 因此,提高水下图像的质量尤为重要.
传统的图像增强方法[2-6]在直接应用于图像增强时,往往表现出一定的局限性. 深度学习以其强大的分类性能和特征学习能力在图像处理中得到了广泛应用. Perez等[7]创建了一个退化和清晰水下图像的配对数据集,并使用深度学习方法学习两者之间的映射关系,建立基于卷积神经网络的水下图像增强模型,实现了水下图像的增强,但是采用配对的数据集在多种场景的失真效果处理上效果不佳. Wei等[8]提出基于视觉转换器(vision transformer)的新型整体特异性注意力(holistic-specific attention, HSA)机制. 这种机制能够更详细地捕获全局信息,并对水下图像进行初始增强,但是并未对有雾图像进行增强研究. Zhang等[9]提出用于水下图像增强的多教学知识蒸馏 GAN(multi-teacher knowledge distillation GAN for underwater image enhancement, MTUW-GAN),此方法在视觉质量、模型参数和实时性能方面具有明显的优势,但算法中的学习模型难以有效地恢复各类失真图像. Anwar等[10]使用室内环境合成水下图像作为CNN训练集,并使用建立的网络重建清晰的水下图像,但是其针对有雾图像的效果较差. Liang等[11]提出基于对比学习和生成对抗网络(generative adversarial networks, GAN)的UL模型来增强输入水下图像,将对抗性损失、PatchNCE损失和身份损失这3个损失函数整合到网络中,以保证结构相似性和颜色真实性,能有效提高图像视觉质量,然而对于图像的对比度恢复能力较弱. Liu等[12]考虑到水下图像的固有退化因素对于提高模型泛化性能至关重要,提出用于水下图像增强(UIE)的弱强双监督生成对抗网络(weak-strong dual supervised generative adversarial network, WSDS-GAN)以实现水下图像增强,但并未对蓝色以及彩色图像进行比较分析. Park等[13]添加了一对基于Cyc1eGAN的判别器,该模型由2个生成器和4个鉴别器组成,在保留输入图像内容的同时实现图像增强,引入自适应加权方法来限制2个鉴别器的损失,但训练起来较困难,在处理绿色以及雾化图像时存在模糊情况. 上述方法针对特殊的失真情况偶尔有不错的效果,但是针对多种失真类型的水下图像来说,效果较一般.
Wang等[14]提出全面的水下图像增强框架用来处理各种水下场景,实验证明其能够解决水下图像中的低对比度和模糊细节的问题,但是针对颜色失真问题会增强过度,图像泛白. Zhu等[15]提出基于色彩补偿和融合的自适应水下图像增强方法,能适应各种水下场景类型,然而,局部水域仍存在颜色失真现象. Huang等[16]构建用于水下图像增强的新型零参考深度网络(Zero-UIE)消除对配对或未配对数据的要求,可以选择自适应色彩补偿来改善图像色彩,从而获得更高的视觉质量,其在亮度、色彩、对比度和自然度方面表现出不错的视觉表现,但在有雾的失真水下图像上较弱. Park等[17]采用自适应标准化网络和归一化网络,提出基于机器学习的水下图像增强方案. 自适应标准化网络旨在纠正水下图像的失真分布,网络结构简单,参数量小. 所提出的方法在改善各类水下图像方面表现出不错的性能,但是在处理严重的色彩失真情况下的图像时,效果一般. Guan等[18]设计了新的基于GAN的UIE任务网络结构,通过引入可训练的权重来平衡机制的效果,从而改变自注意力机制的学习,提高模型的自适应能力,也提高图像质量. 模型对不同风格图像的增强效果相对稳定,然而在RGB空间中拟合R通道时显示出问题,这导致一些结果出现红色偏差. 梁秀满等[19]提出基于颜色线模型和多尺度融合的水下图像增强算法,有效处理了蓝绿色偏、雾化以及噪声问题,但是在处理雾化的图像时,存在模糊化情况,且并未对黄色失真图像进行分析. 温佩芝等[20]针对水下图像成像模型提出基于生成式对抗网络和改进卷积神经网络的水下图像增强算法,克服了水下图像的雾模糊效应和色彩失真问题,但是其增强图像存在局部失真、色彩偏差的情况.
为了保证模型具有处理多种失真类型的水下图像的能力,解决水下图像的颜色失真,噪声干扰和细节丢失的问题,本研究提出多维感知判别的全局色彩校正循环一致性生成对抗网络(MGCycleGAN),创新点如下:1)针对多种类别的水下失真图像提出基于改进 CycleGAN 的多失真类型水下图像增强算法;2)引入全局色彩校正结构和自注意力机制解决水下图像色彩失真模糊问题,设计多维感知判别器从不同维度的图像区域判别,全面捕获水下图像细节,抑制伪影和噪声.
1. 基于全局色彩校正的多维感知判别器的网络
基于CycleGAN模型提出MGCycleGAN模型,模型总共分为2个周期,每个周期有一个生成器和一个多维感知判别器,生成器采用自编码器+跳跃连接(Auto-Encoder+Skip-connection)的架构,判别器采用PatchGAN框架. 总体框架如图1所示,模型由前向过程和后向过程组成.
图 1
图 1 面向多失真类型水下图像的网络总体结构
Fig.1 Overall network architecture for multi-distortion type underwater image
输入的非配对的清晰水下图像和模糊的水下图像服从2种分布,在前向过程中,通过生成器A将A域的图像转换为C域的图像,同时设计多维感知判别器MPDA将输入的C域图像与B域的图像进行判别,判断两者的相似程度,如若输入MPDA的C域图像质量低且与B域图像质量有明显的差别,则判别器很容易鉴别生成器A生成的图像为假,即MPDA判别为错误. 如若输入MPDA的C域图像质量较好且与B域的图像质量相似,则判别器可能会做出错误判断,预测的结果不准确,最后将预测结果反馈给生成器A进行微调. 此外,在后向过程中,生成器B也被添加至该网络中,将生成器A生成的C域图像输入其中,利用多维感知判别器MPDB来判断生成器B生成的图像A1域是否属于A域. 综上,本研究提出MGCycleGAN,包括2个生成器和2组多维感知判别器.
1.1. MGCycleGAN生成器
图 2
图 2 水下图像增强网络生成器模型结构
Fig.2 Underwater image enhancement network generator model structure
1.1.1. SA模块
SA模块如图3所示. 通道使用平均池化来缩小样本特征图,但不完全压缩,然后对注意力通道的输出
图 3
式中:
式中:
水体会吸收可见光波长较长的一部分,对于红色的吸收较为明显,视觉感知的目标物常呈现黄、蓝、绿色较多,因此色偏现象是水下图像增强中的一个显著问题. 将SA模块安插在每一次下采样和上采样中,同时这个模块可以获得特征图的每个颜色通道的重要程度,然后给每个颜色特征赋予权重值,从而让生成器重点关注某些颜色的特征通道,提升对当前任务有用的颜色特征的通道,并抑制杂乱颜色特征通道.
1.1.2. 自注意力模块
SA模块在处理水下图像颜色方面有一定的效果,针对每一次下采样过后的特征处理,在生成器的瓶颈处添加自注意力模块,如图4所示. 将自注意力机制中全局链接的特性与残差网络可以防止网络退化的特性完美结合. 改进原始残差网络被局限在小窗口提取特征的缺陷,在增大特征提取的全局视野的同时,也增加了多尺度不变的特性. 该模块继承了原有残差网络的2个3×3卷积层,另外又增加了一个自注意力层,其工作原理是将特征图X(X∈RC×W×H,C为通道数,H为高度,W为宽度)分别通过3个1×1卷积层,得到特征图Q、K、V,其中Q、K的通道数减半,V保持不变(Q,K∈
图 4
自注意力模块可以进一步提炼SA模块提供的特征表示,通过更加精细的注意力权重分配,提高特征的表达能力,以帮助模型更准确地恢复水下图像中的原始颜色. 通过考虑全局信息,模型可以更好地识别由于水下环境导致的颜色失真,并采取相应的措施进行校正. 这有助于改善水下图像的视觉效果,使其更接近真实场景. 综上,由SA模块和自注意力机制构成的全局色彩校正机制可以自动关注图像中重要的颜色通道,不仅在全局上提取特征,还具有多尺度不变性,可以生成更高质量的水下图像,防止生成器生成的图像失真.
1.2. 多维感知判别器
须对经过生成器处理后的多种失真情况的水下图像进行质量判别. PatchGAN作为CycleGAN的判别器,过于强调水下图像的局部细节,忽略整体一致性,导致生成器生成的图像容易产生伪影、失真的问题. 受到Jiang等[23]的启发,使用全局鉴别器和局部判别器构成全局局部判别器,用来鉴别生成器的效果以及增强局部细节. 单独的全局和局部分支难以同时较好地捕捉多尺度信息且生成效果依赖数据集,全局局部视角对不同风格的水下失真图像不一定都效果显著,为此设计多维感知判别器,来促进不同尺度特征间的交互,从不同的视野出发对生成器生成的图像在不同维度的图像区域进行判别,从而更全面地获取水下图像细节. 同时,挤压激励(sequeeze-and-excitation, SE)注意力机制[24]被添加至判别器中使得判别器对生成的水下图像的特征感知更加敏感,SE注意力机制可以动态地感知特征图中每个通道的重要性,使得判别器能够更加专注于真实图像和生成图像中最具区分性的特征. 这有助于提高判别器对真实图像和生成图像之间差异的感知能力,抑制噪声和伪影,更好地感知判别生成器生成的多种失真风格的水下图像. 多维感知判别器的综合结果如下:
式中:
如图5所示为多维感知判别器的模型结构图,多维感知判别器可以更好地判别输入的水下图像,从而促进生成器生成更好的增强图像.另外,为了促使结构更稳定,多维感知判别器同时运用在前向和后向过程中.
图 5
图 5 水下图像增强网络判别器模型结构
Fig.5 Discriminator model structure of underwater image enhancement network
2. 损失函数
2.1. 对抗性损失
对抗性损失是生成对抗网络中的损失函数,用于衡量预测结果与输入图像实际标签之间的偏差. 为了使训练更稳定,通常采用最小二乘损失来训练网络,表达式如下:
式中:
2.2. 协同一致性损失
循环一致性损失用于正则化网络的训练,计算输入图像和循环图像之间的损失. 表达式如下:
式中:pdata(x)表示水下模糊图像数据分布,pdata(y)表示水下清晰图像数据分布,x为水下失真图像,y为水下清晰图像.
2.3. 相同损失
由于水下图像增强的结果往往具有颜色失真,利用身份映射损失[25]保留输入和输出颜色的一致性,表达式如下:
2.4. 相似性损失
水下图像的像素与复原图像的像素之间存在显著相关性. 然而图像和循环重建图像之间的计算损失不足以恢复所有的结构信息,因为模糊图像大多损坏严重. 结构相似性(SSIM)考虑图像亮度、对比度和结构之间的相似性. 与传统的均方误差(MSE)和平均绝对误差(MAE)损失不同,SSIM[26]能够更好地匹配人眼视觉系统对图像质量的感知.
式中:x、y表示2幅图像,
式中:M为像素的数量.
根据训练经验,当
3. 实验结果
3.1. 数据集和实现细节
CycleGAN方法不需要配对的图像来训练,因此可以收集覆盖不同图像质量和内容的未配对训练集. 共选取
MGCycleGAN模型的生成器和判别器训练采用Adam线性优化器,学习率为
3.2. 评估
3.2.1. 定性评估
将提出的方法和其他几个算法在较严重的失真图像上进行比较. 为了验证模型针对多种失真水下图像的性能,随机选取多种风格的失真图像进行评估,结果如图6、7所示. 图中,第1列是失真的水下图像,第2列从左往右依次为CLAHE算法[30]、UDCP算法[31]、Retinex算法[32]、IBLA算法[33]、CycleGAN算法[25]、FUnIE-GAN算法[27]、LANet算法[34]、SCEIR算法[35]以及本研究提出的MGCycleGAN算法显示的结果. 为了保证实验数据具有可靠的对比性,用作对比的大部分深度学习的方法,使用与MGCycleGAN实验相同的训练集进行训练,得到可靠的训练模型参数而非原作者提供的训练模型参数来运行代码,以产生最佳结果.
图 6
图 6 黄色、有雾、绿色水下图像增强方法的视觉比较(局部差异放大表示)
Fig.6 Visual comparison of yellow, fogged and green underwater image enhancement methods (local difference amplification representation)
图 7
图 7 蓝色、彩色水下图像增强方法的视觉比较(局部差异放大表示)
Fig.7 Visual comparison of blue and color underwater image enhancement methods (local difference amplification representation)
为了验证模型具有泛化性能,将这些算法在U45数据集中进行测试,结果如图8所示. 从几种算法的对比可以看出,CLAHE算法增强了细节表现能力,但难以还原真实颜色,各种风格的图像都存在颜色失真,处理后的图像存在噪声. UDCP算法较好地做到了去雾且增强了对比度,但是在各类失真图像上都出现较暗的情况. Retinex算法能够较好地提升对比度,保留图像细节信息且去雾效果明显,但是通过处理黄色、绿色以及彩色失真图像可以看出,这几类失真图像过度增强,其他种类的失真图像增强效果一般. 整体图像补偿较严重,色彩感知较差. IBLA算法对于黄色、绿色失真图像有改善效果,对于蓝色以及彩色失真图像处理效果一般且去雾效果较弱. CycleGAN算法整体的效果略优于前面几种算法,但是却产生伪影和纹理噪声,图像局部也有失真情况. FUnIE-GAN算法在处理伪影和噪声方面有改善,但是对于黄色、绿色以及彩色图像的处理效果不佳,且通过有雾可以看出存在红色通道过度增强的情况. LANet算法对比前面的算法,整体效果较好,且处理蓝色失真图像效果最佳,但是对于其他失真图像存在模糊的情况,图像的处理背景差异不大,效果较好. SCEIR算法对于蓝色图像的处理稍微逊色,对于有雾图像的处理也存在些许的失真. MGCycleGAN算法在大部分测试的失真的水下图像上都表现出良好的增强性能,不仅增强了图像的每个区域,而且减少了噪声和伪影,图像更加清晰.
图 8
图 8 各种水下图像增强方法在U45数据集上的视觉比较(局部差异放大表示)
Fig.8 Visual comparison of various underwater image enhancement methods on U45 dataset (local difference amplification representation)
3.2.2. 定量评估
选择500张来自EUVP数据集和UIEB数据集的图像,其中每种失真类别水下图像各100张,以此对所提方法的有效性进行定量分析. 对黄色失真图像的评估结果如表1所示. 表中,粗体表示最佳分数. 采用峰值信噪比(PSNR)、结构相似指数(SSIM)、水下图像质量测试(UIQM)和水下颜色图像质量评价(UCIQE)来评估各算法. 在所有算法中,MGCycleGAN在各个指标上均显示出最好的效果,分别比第2名提高了1.12%、1.63%、2.82%、1.16%. 提出的方法达到在处理黄色水下失真图像达到最好的性能.
表 1 几种算法在EUVP和UIEB中黄色失真图像上的定量评估结果
Tab.1
算法 | PSNR | SSIM | UIQM | UCIQE |
CLAHE | ||||
UDCP | ||||
Retinex | ||||
IBLA | ||||
CycleGAN | ||||
FUnIE-GAN | ||||
LANet | ||||
SCEIR | ||||
MGCycleGAN |
针对有雾失真水下图像如表2所示. 表中,粗体表示最佳分数. 可以看出,在4个指标上,MGCycleGAN比第2名分别提高了3.90%、2.44%、1.37%、1.49%. MGCycleGAN对有雾图像的处理效果相较于其他方法更优.
表 2 几种算法在EUVP和UIEB中有雾失真图像上的定量评估结果
Tab.2
算法 | PSNR | SSIM | UIQM | UCIQE |
CLAHE | ||||
UDCP | ||||
Retinex | ||||
IBLA | ||||
CycleGAN | ||||
FUnIE-GAN | ||||
LANet | ||||
SCEIR | ||||
MGCycleGAN |
针对蓝色失真水下图像的评估结果如表3所示. 表中,粗体表示最佳分数. 可以看出,MGCycleGAN与第1名相比稍有劣势,但是在PSNR、UIQM和UCIQE的指标上达到了第2名.
表 3 几种算法在EUVP和UIEB中蓝色失真图像上的定量评估结果
Tab.3
算法 | PSNR | SSIM | UIQM | UCIQE |
CLAHE | ||||
UDCP | ||||
Retinex | ||||
IBLA | ||||
CycleGAN | ||||
FUnIE-GAN | ||||
LANet | ||||
SCEIR | ||||
MGCycleGAN |
针对彩色失真水下图像的定量评估结果如表4所示. 表中,粗体表示最佳分数. 在4个指标上,MGCycleGAN比第2名分别高出1.05%、0.68%、1.74%、0.79%. MGCycleGAN处理彩色图像的效果是最优的.
表 4 几种算法在EUVP和UIEB中彩色失真图像上的定量评估结果
Tab.4
算法 | PSNR | SSIM | UIQM | UCIQE |
CLAHE | ||||
UDCP | ||||
Retinex | ||||
IBLA | ||||
CycleGAN | ||||
FUnIE-GAN | ||||
LANet | ||||
SCEIR | ||||
MGCycleGAN |
针对绿色失真水下图像的定量评估结果如表5所示. 表中,粗体表示最佳分数. 在4个指标上,MGCycleGAN比第2名分别高出2.04%、1.93%、0.84%、4.32%. MGCycleGAN在处理绿色图像方面表现出色.
表 5 几种算法在EUVP和UIEB中绿色失真图像上的定量评估结果
Tab.5
算法 | PSNR | SSIM | UIQM | UCIQE |
CLAHE | ||||
UDCP | ||||
Retinex | ||||
IBLA | ||||
CycleGAN | ||||
FUnIE-GAN | ||||
LANet | ||||
SCEIR | ||||
MGCycleGAN |
通过定量以及定性分析可以发现,对于几种不同失真风格的水下图像来说,与其他几种算法对比,MGCycleGAN有较好的处理多种风格的水下失真图像的性能. MGCycleGAN处理后的多种失真类型图像的SSIM指标平均比第2名高出1.570%、PSNR指标高出1.836%、UIQM指标高出1.324%、UCIQE指标高出1.086%.
选择U45数据集中的45张图像进行定量评估来验证模型的泛化性能,如表6所示. 表中,粗体表示最佳分数. 在4个指标上,MGCycleGAN比第2名提高了0.53%、0.22%、1.26%、2.88%. MGCycleGAN对比其他水下图像增强算法有最优的效果.
表 6 几种算法在U45数据集上的定量评估结果
Tab.6
算法 | PSNR | SSIM | UIQM | UCIQE |
CLAHE | ||||
UDCP | ||||
Retinex | ||||
IBLA | ||||
CycleGAN | ||||
FUnIE-GAN | ||||
LANet | ||||
SCEIR | ||||
MGCycleGAN |
3.3. 消融研究
为了证明所提出的模型配备的全局色彩校正机制、多维感知判别器以及SSIM损失的有效性,进行了3次不同的消融研究试验,实验结果如图9所示. 对于多类别失真情况下的图像来说. 第1行为输入的失真水下图像,第2行为去除(w/o)色彩校正模块(color correction block)的增强算法实验,第3行为去除多维感知判别器(MP discriminator)的增强算法实验,最后一行则表示MGCycleGAN的增强图像. 可以看出,若缺少全局色彩校正结构,无法对颜色通道的权重做出较好的分配,增强的图像在颜色方面明显存在失真. 通过对比第3列图像红色框图部分可以发现,去除多维感知判别器之后,仅靠PatchGAN鉴别器的单一鉴别能力会使得图像的局部纹理细节存在模糊、伪影的失真现象.
图 9
图 9 消融实验的视觉比较(局部差异放大表示)
Fig.9 Visual comparison of ablation experiments (local difference amplification representation)
研究对500张不同风格的水下图像进行了增强处理,消融实验的定量评估结果如表7所示. 表中,粗体表示最佳分数. 使用PSNR、SSIM这2个需要参考图像的指标以及UCIQE、UIQM这2个无需参考图像的指标来对比增强效果. 经过多次实验发现,采用MGCycleGAN模型处理图像可以获得最优的各项评估指标得分. 根据PSNR和SSIM这2项指标,可以看出MGCycleGAN模型处理后的图像与原始图像的差异最小,质量最高,结果证明了SSIM损失函数的添加使得增强后的图像和原始输入图像的相似度增加. 其次,在UCIQE和UIQM上,MGCycleGAN模型增强后的图像也获得了最高分数,表明视觉质量最好. 消融实验对比表明,MGCycleGAN模型在色彩校正、去雾,以及去除图像噪声方面,结果最佳.
表 7 消融实验的定量评估
Tab.7
消融实验 | PSNR | SSIM | UIQM | UCIQE |
w/o color correction block | ||||
w/o MP discriminator | ||||
MGCycleGAN |
对损失函数进行消融研究,评估每个损失函数对模型性能的贡献,结果如表8所示. 表中,粗体表示最佳分数. 可以看出,当去除损失函数
表 8 损失函数消融实验的定量评估
Tab.8
消融实验 | PSNR | SSIM | UIQM | UCIQE |
w/o | ||||
w/o SSIM Loss | ||||
MGCycleGAN |
4. 结 语
为了适用于多种场景下的失真水下图像的恢复网络,提出不需要配对数据集的水下图像增强网络MGCycleGAN. 其生成器使用Auto-Encoder+Skip-connection框架,为了弥补水下图像恢复的色彩损失以及有雾的问题,在生成器中添加SA模块,和自注意力模块构成全局色彩校正机制. 抛弃以往的全局判别器结构,选择使用多维感知判别器,以去除图像的伪影和噪声. 消融实验研究证明了所提出方法的有效性. 多算法对比实验表明该网络在针对多种失真风格的图像质量上有较大的改进.
本研究提出用于水下图像增强的MGCycleGAN,该方法在生成器中引入了全局色彩校正结构,增加了自注意力机制和色彩校正模块. 自注意力机制能够改善图像的细节和结构,使生成的图像更加清晰逼真;色彩校正模块则可以调整图像的色彩和亮度,使生成的图像更接近空气图像的视觉效果. 此外,MGCycleGAN还采用了多维感知判别器,能够诱导生成器针对图像的整体和局部细节进行增强,同时每个判别器都能增强特征选择能力并减少冗余通道. 大量实验表明,MGCycleGAN能够有效提高水下图像质量,在处理多种水下图像失真时仍具有较优的性能,且在水下图像去噪、水下目标检测的领域具有很大的潜在价值.
MGCycleGAN在许多水下图像恢复任务场景下表现出色,能有效地从模糊和失真的输入图像中恢复出更清晰和真实的输出图像. 未来可将其部署在水下航行器上,用于水下视频的实时处理.
参考文献
A hybrid framework for underwater image enhancement
[J].DOI:10.1109/ACCESS.2020.3034275 [本文引用: 1]
Underwater image de-scattering and enhancing using dehazenet and HWD
[J].
Polarization-driven solution for mitigating scattering and uneven illumination in underwater imagery
[J].
A hybrid algorithm for underwater image restoration based on color correction and image sharpening
[J].DOI:10.1007/s00530-020-00693-2 [本文引用: 1]
Learning a Holistic-Specific color transformer with Couple Contrastive constraints for underwater image enhancement and beyond
[J].DOI:10.1016/j.jvcir.2024.104059 [本文引用: 1]
MTUW-GAN: a multi-teacher knowledge distillation generative adversarial network for underwater image enhancement
[J].DOI:10.3390/app14020529 [本文引用: 1]
NPT-UL: an underwater image enhancement framework based on nonphysical transformation and unsupervised learning
[J].
WSDS-GAN: a weak-strong dual supervised learning method for underwater image enhancement
[J].DOI:10.1016/j.patcog.2023.109774 [本文引用: 1]
Adaptive weighted multi-discriminator CycleGAN for underwater image enhancement
[J].DOI:10.3390/jmse7070200 [本文引用: 1]
Metalantis: a comprehensive underwater image enhancement framework
[J].
Adaptive underwater image enhancement based on color compensation and fusion
[J].DOI:10.1007/s11760-022-02435-5 [本文引用: 1]
Underwater image enhancement based on zero-reference deep network
[J].DOI:10.1109/JOE.2023.3245686 [本文引用: 1]
Underwater image enhancement using adaptive standardization and normalization networks
[J].DOI:10.1016/j.engappai.2023.107445 [本文引用: 1]
AUIE-GAN: adaptive underwater image enhancement based on generative adversarial networks
[J].DOI:10.3390/jmse11071476 [本文引用: 1]
基于颜色线模型和多尺度融合的水下图像增强
[J].
Underwater image enhancement based on color-line model and multi-scale fusion
[J].
基于生成式对抗网络和多级小波包卷积网络的水下图像增强算法
[J].
Underwater image enhancement algorithm based on GAN and multi-level wavelet CNN
[J].
EnlightenGAN: deep light enhancement without paired supervision
[J].DOI:10.1109/TIP.2021.3051462 [本文引用: 1]
Emerging from water: underwater image color correction based on weakly supervised color transfer
[J].DOI:10.1109/LSP.2018.2792050 [本文引用: 1]
Fast underwater image enhancement for improved visual perception
[J].DOI:10.1109/LRA.2020.2974710 [本文引用: 2]
An underwater image enhancement benchmark dataset and beyond
[J].
Underwater image restoration based on image blurriness and light absorption
[J].DOI:10.1109/TIP.2017.2663846 [本文引用: 1]
Adaptive learning attention network for underwater image enhancement
[J].DOI:10.1109/LRA.2022.3156176 [本文引用: 1]
Atmospheric scattering model induced statistical characteristics estimation for underwater image restoration
[J].DOI:10.1109/LSP.2023.3281255 [本文引用: 1]
/
〈 |
|
〉 |
