浙江大学学报(理学版), 2023, 50(2): 160-166 doi: 10.3785/j.issn.1008-9497.2023.02.005

数学与计算机科学

基于非凸非光滑变分模型的灰度图像泊松噪声移除算法

张远鹏,,, 陈鸿韬, 王伟娜,,

杭州电子科技大学 理学院,浙江 杭州 310018

Nonconvex nonsmooth variational model for Poisson noise removal of gray image

ZHANG Yuanpeng,,, CHEN Hongtao, WANG Weina,,

School of Sciences,Hangzhou Dianzi University,Hangzhou 310018,China

通讯作者: ORCID: https://orcid.org/0000-0001-7606-915X,E-mail: wnwang@hdu.edu.cn.

收稿日期: 2021-11-19  

基金资助: 国家自然科学基金资助项目.  12001144
浙江省自然科学基金资助项目.  LQ20A01007

Received: 2021-11-19  

作者简介 About authors

张远鹏(2001—),ORCID:https://orcid.org/0000-0003-4569-9743,男,本科生,主要从事计算数学研究,E-mail:2028251625@qq.com. , E-mail:2028251625@qq.com

摘要

基于非凸变分方法在图像边界结构保持和对比度保持上的优势,针对泊松噪声的移除问题提出一种新的非凸非光滑正则化模型及快速求解算法。模型由非凸Lipschitz势函数复合图像梯度信息的正则化项和非线性Kullback-Leibler数据保真项两部分构成。通过使用临近点线性化策略,将求解非凸变分模型转化为求解一系列凸变分模型,进而使用交替方向乘子法求解。同时证明了算法的目标函数值序列具有单调下降性。实验结果表明,该方法能有效消除图像中的泊松噪声,且信噪比较经典算法有明显提升。

关键词: 泊松噪声移除 ; 非凸非光滑 ; 临近点线性化 ; 交替方向乘子法

Abstract

Based on the advantages of nonconvex variational models on image edge-preserving and contrast-preserving, this paper introduces a new nonconvex and nonsmooth variational model together with a fast algorithm for the Poisson noise removal. The proposed model consists of a regularization term and a data fidelity term. The regularization term is formulated by a nonconvex Lipschitz potential function composed of the first-order derivative of images, while the data fitting term is depicted by the nonlinear Kullback-Leibler divergence. By using the proximal linearization strategy, the proposed nonconvex and nonsmooth model can be converted into a series of convex models, which are able to be solved by alternating direction method of multipliers. Moreover, we can also prove the monotonic decreasing property of the objective function value sequence. Numerical experiments show that our model with the proposed algorithm is effective for eliminating Poisson noise and obtains higher SNR values compared to classical methods.

Keywords: Poisson noise removal ; nonconvex nonsmooth ; proximal linearization ; alternating direction method of multipliers

PDF (1483KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张远鹏, 陈鸿韬, 王伟娜. 基于非凸非光滑变分模型的灰度图像泊松噪声移除算法. 浙江大学学报(理学版)[J], 2023, 50(2): 160-166 doi:10.3785/j.issn.1008-9497.2023.02.005

ZHANG Yuanpeng, CHEN Hongtao, WANG Weina. Nonconvex nonsmooth variational model for Poisson noise removal of gray image. Journal of Zhejiang University(Science Edition)[J], 2023, 50(2): 160-166 doi:10.3785/j.issn.1008-9497.2023.02.005

0 引 言

泊松噪声是一类常见的电子噪声,常见于天文成像、荧光显微镜和正电子发射断层扫描等场所。由于噪声强度与图像的强度有关,因此从观测图像中消除泊松噪声具有一定的挑战性。通常将受噪声破坏的观测图像恢复为真实图像视作数学中的线性反问题,但该问题通常是不适定的。一种常见的求解思路是在模型中加入图像的某种先验信息,即对图像进行正则化约束,从而建立关于图像的变分模型。变分模型通常由正则化项和数据保真项构成。根据泊松噪声的统计特性,本文采用经典非线性Kullback-Leible数据保真项1-2,将重点放在建立合适的正则化项并设计有效的求解算法上。

经典的全变分(total variation)正则化模型13,在一定程度上能保持图像的边界信息,但图像边界的对比度有所降低。为求解此类凸问题,常采用交替方向乘子法进行数值求解14。由于全变分模型会导致图像光滑区域产生阶梯效应,为此提出通过采用高阶变分模型25-7克服这一缺陷。相比一阶变分模型1,高阶变分模型具有一定优势,但求解过程更复杂,耗时更长2。理论分析8-13和实验结果14-16表明,相比凸变分模型,非凸非光滑正则化变分模型能更好地刻画图像梯度信息的稀疏性,在保持图像结构及边界对比度方面具有明显优势,广受国内外研究者关注。然而,对非凸变分模型设计一种快速且收敛的数值算法是一件比较困难的事情。迄今为止,常见的非凸变分模型求解算法有光滑化逼近法1017-19、迭代加权法20-21及邻近迭代支撑集收缩法15-1622等。通常,前两类算法需要引入一系列光滑化参数对非光滑正则化项进行修正,第三类算法需要利用梯度支撑集概念处理非利普希茨正则化项。

针对泊松噪声消除问题,文献[23]提出了基于非凸非利普希茨正则化的变分模型及相关算法,但此模型较适合分片常值图像中泊松噪声的移除,对自然图像中泊松噪声的移除不太理想,并且需要对非利普希茨点进行特殊处理。为此,本文基于非凸利普希茨势函数和图像在梯度变换下的稀疏特征,设计了一类新的非凸非光滑正则化变分模型,并给出了快速求解算法。实验结果表明,所提算法能更有效地移除分片常值图像和自然图像中的泊松噪声,提高图像的修复质量。

1 预备知识

首先,引入所需的基本符号,然后,简单介绍利用交替方向乘子法求解带约束的凸优化问题。

1.1 基本符号

一般地,二维数字图像与二维矩阵URn×n对应。通过重新按列排序矩阵,二维图像也可与一维向量uRmm=n2对应。记fRm为一幅受泊松噪声影响的观测图像,可表示为f=u+εuRm代表真实图像,εRm代表泊松噪声。对图像像素i,记di=dix,diyTR2×m,表示该点处的梯度算子,其中dix,diyRm,分别表示水平和垂直方向的向前差分,计算过程可参见文献[116]。另记D=d1,d2,,dmT

1.2 交替方向乘子法

交替方向乘子法(alternating direction method of multipliers,ADMM)对带等式约束的凸优化问题非常有效14

考虑带约束的凸优化问题:

minx,y fx+gy,
s.t. Ax+By=c

其中,变量xRn1yRn2;矩阵ARn3×n1BRn3×n2;向量cRn3f(x)g(y)为凸函数。

在交替方向乘子法中,首先给出其增广拉格朗日函数:

Lx,y;λ=fx+gy+λTAx+By-c+r2Ax+By-c2,

其中,变量λRn3为拉格朗日乘子,实数r为正的罚参数。给定迭代点(xk,yk,λk),由文献[4],可得求解式(1)的交替方向乘子法迭代格式:

xk+1= arg minx Lx,yk;λk,yk+1= arg miny Lxk+1,y;λk,λk+1=λk+rAxk+1+Byk+1-c,k=0,1,2,

迭代式(2),直到满足给定的终止条件,输出最终结果。

2 模型及算法

2.1 非凸非光滑变分模型

为了修复观测图像中的真实图像,提出非凸非光滑正则化模型:

minuRm FuiJβdiu1+βdiu+ αiJui-filg ui
  s.t.  ui>0,iJ

其中,diu=dixu2+diyu2βt1+βtβ>0代表非凸利普希茨势函数,α>0,为模型参数,J={1,2,,m}式(3)右边第1项为非凸非光滑正则化项,其作用是保持图像的结构信息,第2项为数据保真项,其作用是消除泊松噪声。

2.2 求解算法

(3)中的diu为非凸势函数耦合项, 其增大了算法设计的难度,本文采用临近点线性化策略进行处理。具体地,给定迭代点uk,通过求解以下优化问题计算uk+1

minuRm FkuiJβ(1+βdiuk)2diu+αiJ(ui-filg ui)+ρ2u-uk2+χsu 

其中,S={uRm:ui>0,iJ}χsu为指示函数,

χsu=0,    u S,+,    其他

易知,式(4)是一个凸优化问题,而交替方向乘子法对凸问题的求解非常有效14。首先,引入2个辅助变量pν,使得

pi=diu,  iJ, vi=ui,  iJ   

于是,式(4)可等价为

minu,p,v iJβ(1+βdiuk)2pi+αiJ(vi-filg vi)+ρ2u-uk2+χv>0v
s.t.   pi=diu,  iJ, vi=ui,    iJ          

其对应的增广拉格朗日函数为

L(u,p,v;λ,μ)=iJβ(1+βdiuk)2pi+iJλi,diu-pi+r12iJdiu-pi2+αiJ(vi-filg vi)+iJμi,ui-vi+r22iJui-vi2+ρ2u-uk2+χv>0v

其中,λμ为拉格朗日乘数,r1r2>0为罚参数。给定迭代点(uk,t,pk,t,vk,t;λk,t,μk,t),由文献[14],可得求解式(4)的交替方向乘子法迭代格式:

uk,t+1arg minu L(u,pk,t,vk,t;λk,t,μk,t),   (pk,t+1,vk,t+1)arg minp,v L(uk,t+1,p,v;λk,t,μk,t),λik,t+1=λik,t+r1(diuk,t+1-pik,t+1),μik,t+1=μik,t+r2(uik,t+1-vik,t+1)6

具体地,式(6)中关于变量u的子问题为

uk,t+1arg minu iJλik,t,diu+r12iJ diu-pik,t2+iJμik,t,ui+r22iJui-vik,t2+ρ2u-uk2

其最优解uk,t+1可通过求解下列线性方程组得到:

r1D*D+r2I+ρIu=D*r1pk,t-λk,t+ρuk+r2vk,t-μk,t

其中,D*D的共轭矩阵。与文献[1-2]相同,在求梯度图像时,考虑周期边界条件,可通过快速傅里叶变换求解(7)

对式(6)中关于变量(p,v)的子问题,变量pv可通过并行计算求得。其中,p子问题等价于求解优化问题

pk,t+1arg minp iJβ1+βdiuk2pi+r12iJpi-diuk,t+1+λik,tr12,

其封闭解为

pik,t+1=shrinkdiuk,t+1+λik,tr1,β1+βdiuk2r1

其中,shrink函数定义为

shrinka,b=aamax a-b,0

变量v的优化问题为

vk,t+1arg minv αiJvi-filg vi+r22iJvi-uik,t+1+μik,tr22+χv>0v

可见,变量v的每个分量可单独求解。由文献[23],可解得

vik,t+1=12ci+ci2+4αr2fi

其中, ci=r2uik,t+1+μik,t-αr2

因此,为求解非凸非光滑优化问题式(3),首先需将其转化为求解一系列凸优化问题式(4),然后通过交替方向乘子法求解。求解步骤如下:

算法1 邻近点线性化交替方向乘子法。

步骤1 输入α,f,ρ>0,r1>0,r2>0,初始化u0=f

步骤2 对每个k=0,1,2,,计算凸优化问题(式(4))的解uk+1

(a) 初始化uk,0=uk,pk,0=0,vk,0=0,λk,0=0

(b) 对每个t=0,1,2,,用式(7)计算uk,t+1;用式(8)计算pk,t+1;用式(9)计算vk,t+1

(c) 如果内迭代终止条件不满足,返回(b)。否则,输出uk+1=uk,t+1

步骤3 如果外迭代终止条件不满足,返回步骤2。否则,输出uk+1

相较文献[23],该算法无需特殊处理非Lipschitz点,而且在图像修复质量和效率上有较明显提升。

以下定理说明该算法能保证目标函数值为非增序列。

定理1 由算法1产生的目标函数值迭代序列{Fuk}为非增序列且满足

ρ2uk+1-uk2Fuk-Fuk+1

算法1产生的迭代序列{uk}满足

limk uk+1-uk=0

证明 由于βt1+βt为凹函数,因此有

βdiu1+βdiuβdiuk1+βdiuk+βdiu-diuk1+βdiuk2

另外,uk+1为式(4)的解,从而

iJβdiuk+11+βdiuk2+ρ2uk+1-uk2+αiJ(uik+1-filg uik+1)iJβdiuk(1+βdiuk)2+ρ2uk-uk2+αiJ(uik-filg uik)

(3),知

Fuk+1=iJβdiuk+11+βdiuk+1+αuik+1-filg uik+1iJβdiuk1+βdiuk+iJβ(diuk+1-diuk)(1+βdiuk)2+αiJ(uik+1-filg uik+1)iJβdiuk1+βdiuk+αiJ(uik-filg uik)-ρ2uk+1-uk2=Fuk-ρ2uk+1-uk2,

式(12)的第1个不等式可由式(10)得到,第2个不等式可由式(11)得到。

由于ρ>0,所以对任意的k0,有

Fuk+1FukF(u0)

{Fuk}收敛,记作收敛于F*

k=0,1,2,,+时所得的类似于式(12)的式子相加,可得

ρ2k=1+uk+1-uk2Fu0-F*<

因此,当k+时,uk+1-uk0

证毕。

3 实验结果及分析

为检验模型对移除泊松噪声的有效性,将本文结果与文献[1]、文献[23]的修复结果进行了比较。其中,文献[1]和文献[23]的实现代码来自原作者。由于本文和文献[23]算法均包含两层迭代过程,为保证实验公平,终止条件与文献[23]一致,内迭代(交替方向乘子法)终止条件和外迭代终止条件分别为:

uk,t+1-uk,tuk,t+1<10-4,
uk+1-ukuk+1<10-4,

最大外迭代次数为300。文献[1]算法需手动调试1个模型参数,其余算法参数对结果的影响不大,可以固定为常值;文献[23]算法需手动调试1个模型参数,其余算法参数及变量p的取值与原文一致;实验表明,本文算法中的模型参数α和变量β均对实验结果有影响,需手动调试,其他参数可固定为常值。公平起见,3种算法均将最高信噪比(SNR)时的参数作为手动调试参数的最优值。

所有实验均以Matlab R2016a为工具,电脑配置:处理器为Intel Core i5 CPU @1.60 GHz,内存为8.00 GB。除通过视觉直接观察图像的修复质量外,还用SNR和结构相似度(SSIM)242个常用的量化指标衡量结果的优劣,SNR和SSIM越大恢复效果越好。

图1展示的为6幅测试图像。图2展示的为3种算法对受泊松噪声影响的分片常值图像的修复结果,其中泊松噪声通过Matlab自带函数imnoise('Poisson')添加。从图2第2行的放大图看,文献[1]提出的凸变分模型不能完全消除噪声,文献[23]提出的非凸变分模型,其图像中仍有少量噪点存在,而用本文方法得到的图像,恢复效果较好。

图1

图1   测试图像

Fig.1   Test images


图2

图2   SheppLogan图像去噪效果对比

Fig.2   Comparison for SheppLogan image denoising


图3展示了3种算法对受泊松噪声影响的自然图像的修复结果,其中泊松噪声通过Matlab自带函数imnoise('Poisson')添加。从图3第2行的放大图看,由文献[1]算法恢复的图像并不光滑且存在轻微斑块,由文献[23]算法恢复的图像在书籍的边界位置存在噪点,而用本文算法得到了更清晰的边界和更光滑的内部区域。主要原因为:相比文献[1]和文献[23]算法,本文算法使用的Lipschitz势函数耦合图像梯度正则化,既有非凸正则化保持边界结构的优势,又克服了基于非Lipschitz势函数正则化过度锐化边界甚至不能完全移除噪点的缺陷。

图3

图3   Books图像去噪效果比较

Fig.3   Comparison for books image denoising


表1列出了详细的量化测试结果。其中,粗体标注的为每行中的最高值。从SNR和SSIM看,本文算法得到的SNR和SSIM较另2种算法更大,呈现出更好的消除泊松噪声的能力。

表1   3种算法的SNR(dB)和SSIM

Table 1  SNR(dB) and SSIM by three methods

图像文献[1]算法文献[23]算法本文算法
参数/SNR/SSIM参数/SNR/SSIM参数α/β/SNR/SSIM
Circles12/30.31/0.992 412/37.19/0.999 69/70/40.11/0.999 8
SheppLogan18/23.66/0.961 225/29.64/0.996 435/20/30.82/0.996 8
NCAT15/26.89/0.984 020/32.14/0.999 215/40/33.67/0.999 4
Cameraman20/20.17/0.888 330/19.06/0.873 155/4/20.43/0.899 4
Books20/20.86/0.905 450/20.42/0.908 222/1.5/21.23/0.928 2
Landscape15/22.75/0.935 740/22.07/0.920 015/1.1/23.02/0.937 0

新窗口打开| 下载CSV


图4展示了目标函数值序列{Fuk}uk+1-uk的迭代曲线,其中测试图像为受泊松噪声影响的NCAT和Cameraman。由图4可知,随着外迭代次数的增加,目标函数值F(uk)快速下降且趋于收敛,uk+1-uk逐步下降且趋向于零,本文算法收敛。

图4

图4   数值收敛结果

Fig.4   Numerical convergence result


4 结 语

利用非凸变分模型在图像边界结构保持及对比度保持方面的优势,提出了一种新的非凸Lipschitz势函数耦合图像梯度信息的变分模型,并给出了保证目标函数序列单调下降的求解算法。模型利用了非凸势函数能产生更稀疏解的优势,同时无需特殊处理非Lipschitz点。数值实验表明,本文算法得到了较好的视觉效果和较高的量化指标。

下一步将对受泊松噪声影响的彩色图像修复展开深入研究和探讨。

http://dx.doi.org/10.3785/j.issn.1008-9497.2023.02.001

参考文献

WU C LZHANG J YTAI X C.

Augmented Lagrangian method for total variation restoration with non-quadratic fidelity

[J]. Inverse Problems and Imaging, 201151): 237-261. DOI:10.3934/IPI.2011.5.237

[本文引用: 16]

GAO Y MLIU FYANG X P.

Total generalized variation restoration with non-quadratic fidelity

[J]. Multidimensional Systems and Signal Processing, 2018294): 1459-1484. DOI:10.1007/s11045-017-0512-x

[本文引用: 4]

RUDIN L IOSHER SFATEMI E.

Nonlinear total variation based noise removal algorithms

[J]. Physica D: Nonlinear Phenomena, 1992601-4): 259-268. DOI:10.1016/0167-2789(92)90242-F

[本文引用: 1]

HE B SYUAN X M.

On the O(1/n) convergence rate of the Douglas-Rachford alternating direction method

[J]. SIAM Journal on Numerical Analysis, 2012502): 700-709. DOI:10.1137/110836936

[本文引用: 5]

JIANG LHUANG JLYU X Get al.

Alternating direction method for the high-order total variation-based Poisson noise removal problem

[J]. Numerical Algorithms, 2015693): 495-516. 10.1007/s11075-014-9908-y

[本文引用: 1]

HUANG JHUANG T Z.

A nonstationary accelerating alternating direction method for frame-based Poissonian image deblurring

[J]. Journal of Computational and Applied Mathematics, 20193521): 181-193. DOI:10.1016/j.cam.2018.11.028

RAHMAN CHOWDHURY MZHANG JQIN Jet al.

Poisson image denoising based on fractional-order total variation

[J]. Inverse Problems and Imaging, 2020141): 77-96. DOI:10.3934/ipi.2019064

[本文引用: 1]

NIKOLOVA M.

Analysis of the recovery of edges in images and signals by minimizing nonconvex regularized least-squares

[J]. Multiscale Modeling & Simulation, 200543): 960-991. DOI:10.1137/040619582

[本文引用: 1]

SHEN YLI S.

Restricted p-isometry property and its application for nonconvex compressive sensing

[J]. Advances in Computational Mathematics, 2012373): 441-452. DOI:10.1007/s10444-011-9219-y

CHEN X JNG M KZHANG C.

Non-Lipschitz p -regularization and box constrained model for image restoration

[J]. IEEE Transactions on Image Processing, 20122112): 4709-4721. DOI:10. 1109/TIP.2012.2214051

[本文引用: 1]

SHEN YHAN BBRAVERMAN E.

Adaptive frame-based color image denoising

[J]. Applied and Computational Harmonic Analysis, 2016411): 54-74. DOI:10.1016/j.acha.2015.04.001

BAO C LDONG BHOU L Ket al.

Image restoration by minimizing zero norm of wavelet frame coefficients

[J]. Inverse Problems, 20163211): 115004. DOI:10.1088/0266-5611/32/11/115004

ZENG CWU C L.

On the edge recovery property of noncovex nonsmooth regularization in image restoration

[J]. SIAM Journal on Numerical Analysis, 2018562): 1168-1182. DOI:10.1137/17M1123687

[本文引用: 1]

NIKOLOVA MNG M KZHANG S Qet al.

Efficient reconstruction of piecewise constant images using nonsmooth nonconvex minimization

[J]. SIAM Journal on Imaging Sciences, 200811): 2-25. DOI:10.1137/070692285

[本文引用: 1]

GAO Y MWU C L.

On a general smoothly truncated regularization for variational piecewise constant image restoration: Construction and convergent algorithms

[J]. Inverse Problems, 2020364): 045007. DOI:10.1088/1361-6420/ab661

[本文引用: 1]

WANG W NWU C LTAI X C.

A globally convergent algorithm for a constrained non-Lipschitz image restoration model

[J]. Journal of Scientific Computing, 2020831): 1-29. DOI:10.1007/s10915-020-01190-4

[本文引用: 3]

CHEN X JNIU L FYUAN Y X.

Optimality conditions and a smoothing trust region Newton method for non-Lipschitz optimization

[J]. SIAM Journal on Optimization, 2013233): 1528-1552. DOI:10.1137/120871390

[本文引用: 1]

HINTERMULLER MWU T.

Nonconvex TV q -models in image restoration: Analysis and a trust-region regularization-based superlinearly convergent solver

[J]. SIAM Journal on Imaging Sciences, 200363): 1385-1415. DOI:10.1137/110854746

BIAN WCHEN X J.

Linearly constrained non-Lipschitz optimization for image restoration

[J]. SIAM Journal on Imaging Sciences, 201584): 2294-2322. DOI:10.1137/140985639

[本文引用: 1]

LAI M JXU Y YYIN W T.

Improved iteratively reweighted least squares for unconstrained smoothed ℓ q minimization

[J]. SIAM Journal on Numerical Analysis, 2013512): 927-957. DOI:10.1137/110840364

[本文引用: 1]

CHEN X JZHOU W J.

Convergence of the reweighted ℓ1 minimization algorithm for ℓ2-ℓ p minimization

[J]. Computational Optimization and Applications, 2014591): 47-61. DOI:10.1007/s10589-013-9553-8

[本文引用: 1]

ZENG CJIA RWU C L.

An iterative support shrinking algorithm for non-Lipschitz optimization in image restoration

[J]. Journal of Mathematical Imaging and Vision, 2019611): 122-139. DOI:10.1007/s10851-018-0830-0

[本文引用: 1]

ZHENG ZNG MWU C L.

A globally convergent algorithm for a class of gradient compounded non-Lipschitz models applied to non-additive noise removal

[J]. Inverse Problems, 20203612): 125017. DOI:10.1088/1361-6420/abc793

[本文引用: 12]

WANG ZBOVIK A CSHEIKH H Ret al.

Image quality assessment: From error visibility to structural similarity

[J]. IEEE Transactions on Image Processing, 2004134): 600-612. DOI:10.1109/TIP.2003.819861

[本文引用: 1]

/