浙江大学学报(工学版), 2020, 54(2): 320-330 doi: 10.3785/j.issn.1008-973X.2020.02.013

计算机技术、信息工程

结合编码曝光和运动先验信息的局部模糊图像复原

叶晓杰,, 崔光茫, 于快快,, 赵巨峰, 朱礼尧

Restoration of local blurred images based on coded exposure and motion prior information

YE Xiao-jie,, CUI Guang-mang, YU Kuai-kuai,, ZHAO Ju-feng, ZHU Li-yao

通讯作者: 于快快,男,工程师. orcid.org/0000-0003-2025-5126. E-mail: oespfa2018@126.com

收稿日期: 2019-05-6  

Received: 2019-05-6  

作者简介 About authors

叶晓杰(1996—),男,硕士生,从事图像处理研究.orcid.org/0000-0003-4546-2826.E-mail:13588029671@163.com , E-mail:13588029671@163.com

摘要

针对局部运动模糊图像复原的病态性和背景被破坏的问题,提出基于编码曝光和运动先验信息的局部模糊图像复原方法. 分析编码曝光成像理论模型,建立最优码字选取的适应度函数准则. 通过物像关系,获得运动目标的点扩散函数(PSF)像移尺度初步估计参数,作为运动先验信息. 采用背景差分法进行目标提取,综合编码曝光运动模糊图像的叠加特性,实现对运动模糊目标区域的精确提取. 结合先验信息,引入基于贝叶斯最大后验概率框架的student-t复原算法进行PSF精确估计和复原重建,快速迭代得到复原结果. 搭建实验仿真系统,并开展针对实际运动目标的复原实验. 实验结果表明,该方法能有效改善传统曝光中运动模糊复原的病态性问题,抑制复原过程中目标图像边缘振铃及背景噪声的放大效应,所复原图像具有更好的主客观评价结果.

关键词: 编码曝光 ; 运动模糊 ; 运动先验信息 ; 局部复原 ; 点扩散函数

Abstract

A local blurred image restoration method based on the coded exposure and motion prior information was proposed, aiming at the problem of ill-posed and background damage along with the local motion blurred image restoration process. The theoretical model of coded exposure imaging was analyzed, and the fitness function criterion for the optimum code sequence selection was established. Through the object-image relationship, the preliminary estimation scale parameters of point spread function (PSF) for moving target were obtained as the prior information of motion. The background difference subtraction method was used to extract the motion blurred target area accurately by synthesizing the overlapping characteristics of the motion blurred image by coded exposure. Combined with the prior information, the student-t restoration algorithm based on the Bayesian maximum posteriori probability framework was introduced to estimate and reconstruct the PSF accurately. And the restoration results were obtained by several iterations fast. The experimental simulation system was built and the reconstruct experiments aming at the real motion targets were carried out. Experimental results show that the method can improve the pathological problem of motion blur restoration in traditional exposure effectively, as well as restrain the magnification effect of edge ringing and background noise in the restoration process. The images restored by the proposed method have better subjective and objective evaluation results than that of other methods.

Keywords: coded exposure ; motion blur ; motion prior information ; local restoration ; point spread function

PDF (2616KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

叶晓杰, 崔光茫, 于快快, 赵巨峰, 朱礼尧. 结合编码曝光和运动先验信息的局部模糊图像复原. 浙江大学学报(工学版)[J], 2020, 54(2): 320-330 doi:10.3785/j.issn.1008-973X.2020.02.013

YE Xiao-jie, CUI Guang-mang, YU Kuai-kuai, ZHAO Ju-feng, ZHU Li-yao. Restoration of local blurred images based on coded exposure and motion prior information. Journal of Zhejiang University(Engineering Science)[J], 2020, 54(2): 320-330 doi:10.3785/j.issn.1008-973X.2020.02.013

运动模糊是光学成像过程中经常会遇到的问题,其产生的原因是在相机曝光过程中被拍摄物和相机之间发生相对位移,造成获取图像的运动模糊,降低图像分辨率,影响成像质量. 运动模糊图像复原技术,就是在不重新对目标景物拍摄的前提下,利用已有的运动模糊图像,通过成像物理过程建模和数学求解,将模糊图像恢复为清晰图像,在民用和军事领域有着重要的应用价值.

在场景成像获取过程中,对于传统相机曝光模式,其相机快门在曝光过程中始终处于开启状态,相当于在时间域上定义了一个盒状滤波器,并与场景图像进行卷积. 该模式在频域上可近似为低通滤波器,破坏图像中的高频信息. 同时,外界噪声的加入使得通过反卷积进行图像的运动模糊复原成为病态性问题. 常用的模糊图像复原方法有维纳滤波法、逆滤波法、约束最小二乘法等[1-4]. 近年来,研究者们提出各类图像复原算法[5-7],取得了较大进展,但是由于在成像过程中大量信息缺失,算法的处理效果不够理想.

为了解决传统成像模式下的运动模糊复原病态问题,Raskar[8]等将计算摄影技术引入运动模糊复原领域,创新性地提出编码曝光(coded exposure,CE)成像技术,利用在曝光过程中对于相机快门的调制,保留运动模糊图像中更多的中高频信息,较好地改善了复原病态问题. 随后,研究者们在编码曝光复原领域开展了众多研究工作. Agrawal等[9]探讨运动模糊点扩散函数(point spread function,PSF)的估计问题,验证编码曝光相对传统成像模式的应用价值. Mccloskey等[10-11]研究编码曝光序列选取准则,提出依赖于运动速度的最优编码序列搜索算法. Tai等[12]研究基于编码曝光成像的空间变化PSF估计方法,基于运动模糊投影模型估计编码曝光图像空间移变的运动模糊信息,不过这种方法须人工参与,是半自动的图像模糊信息估计方法. Jeon等[13]开展基于编码曝光模式的多幅视频序列图像运动去模糊研究,采用多个信息互补码字序列,更好地保留图像各频段的信息,结合图像复原算法获得了质量较好的清晰图像. 近年来,国内学者在该领域也进行了相关研究和探索. He等[14-15]将编码曝光引入颤振遥感图像复原,提出最优码字选取准则,结合光纤陀螺探测相机的颤振轨迹,实现颤振图像快速复原. 李红等[16]基于编码曝光模式的相机,利用进阶精简指令集机器(advanced RISC machine,ARM)处理器对获取的模糊图像进行去模糊处理,效果较好. 何富斌[17]利用序列模糊图像的互补信息,提出对称码字序列设计方法,复原效果较好. Li等[18]通过模糊图像和复原迭代图像的结构相似度,估计得到编码曝光模糊核,并利用图像熵进行优化,得到复原图像. 本课题组在编码曝光码字设计方面也开展了相关研究[19],提出基于Memetic算法的最优码字搜索方法,并应用于图像复原,得到的复原效果较好.

另外,在目前大多数运动目标成像过程应用中,时常出现背景静止而目标区域模糊的局部运动模糊图像场景. 由于前景背景成像过程不同,利用全局一致的模糊模型建模不能较好的描述图像退化获取过程. 目前大部分模糊复原算法均针对全局图像进行模糊复原,并未考虑局部运动模糊复原问题中PSF的空间非一致性问题. 直接采用全局模糊复原算法,会使得复原图像的背景产生严重的振铃效应,影响复原图像的质量. 针对局部模糊复原,有研究者提出提取包含运动物体的矩形区域的方法,但这样操作易导致图像在复原融合后出现图像分层现象[20]. 朱加豪等[21]利用鲁棒性主成分分析(robust principal components analysis,RPCA)方法,通过视频图像序列帧实现图像的前后景分离,经过维纳滤波获得复原图像,但是此方法未考虑噪声对恢复过程的影响,且采用大量视频帧,造成信息的冗余,算法的实时性不足. Cho等[22]通过提取图像的边缘区域,通过增强模糊图像的边缘对清晰图像进行近似估计,利用近似的清晰图像与模糊图像的对应关系求解模糊核,但是此方法对于噪声较敏感,当图像边缘不明显时易失效. Tai等[23]构建混合相机系统来获取运动物体的额外信息,能较好地优化运动模糊问题,但是需要较高精度的硬件支持.

为了解决局部运动模糊高质量复原结果获取问题,本研究从模糊图像获取和复原方案设计角度出发,提出基于编码曝光和运动先验信息的局部模糊图像复原方法. 分析编码曝光模式特点,结合最优码字选取的适应度函数准则获取最优码字. 利用物像关系,初步估计运动目标PSF相移尺度作为运动先验信息. 综合背景差分法和编码曝光运动模糊叠加特性,实现对运动模糊目标区域的精确提取,并结合student-t复原算法进行目标PSF的精确估计和复原重建,算法迭代2~3次得到运动区域复原结果. 将复原结果和背景图像进行加权融合处理,得到主客观评价效果较为优异的结果图.

1. 编码曝光成像理论

编码曝光成像作为计算摄影技术中时间维度调制的重要手段,为运动模糊图像的复原提供新的解决思路和途径,突破传统相机成像的限制,改善模糊图像的反卷积的病态性问题.

1.1. 编码曝光成像模型

在运动目标成像过程中,目标和相机在曝光时间内会发生相对位移,造成图像退化. 图像的退化过程可以被认为是被摄景物成像点在曝光时间内的移位叠加过程,同时加上一些外界噪声成分,卷积模型表达式如下:

$g(x,y) = f(x,y) \otimes h(x,y) + n(x,y).$

式中: $g(x,y)$为模糊图像, $f(x,y)$为清晰图像, $h(x,y)$为点扩散函数, $n(x,y)$为图像的噪声成分, $ \otimes $为卷积退化符号.

式(1)在频域上表示为

$G(u,v) = F(u,v) H(u,v) + N(u,v).$

式中: $G(u,v)$$F(u,v)$$H(u,v)$$N(u,v)$分别为模糊图像、清晰图像、点扩散函数和噪声成分的频域表示.

对于传统相机的曝光模式,在曝光时间T内获得模糊图像,相当于在时间域上定义盒状滤波器和图像卷积. 传统曝光模式如图1(a)所示. 图中, $t$为时间,纵坐标“0”表示快门闭合,“1”表示快门开启. 将其转化到频域中,得到傅里叶变换的幅值曲线如图1(b)所示. 图中,f为频率,Hf)为对应幅值. 可以看出,幅值曲线在频域上有较多零点.

图 1

图 1   传统曝光模式示意图

Fig.1   Schematic diagram of traditional exposure


在图像复原中最简单的方法是直接逆滤波,图像复原结果表达式如下:

$\mathop F\limits^ \wedge (u,v) = F(u,v) + {{N(u,v)} / {H(u,v)}}.$

由逆滤波公式可以看出,幅值曲线在频域上存在较多零点,在逆滤波过程中作为噪声的分母,在复原过程中会无限放大噪声,严重影响图像的复原效果,这是图像复原病态性的最重要因素.

不同于传统相机的曝光模式,编码曝光技术采用扩频技术通过对快门的编码将频域扩展到更宽的频谱,在时间域上相当于宽带滤波器. 如图2(a)所示,将其快门模式所对应的PSF与图像进行卷积,尽可能多的保留图像的高频信息. 编码曝光模式PSF的傅里叶变换曲线在频域率上如图2(b)所示,消除频域上的零点部分,在逆滤波过程中缓解噪声的无限放大. 这使得图像复原成为良态问题,提高了图像的复原效率和复原质量.

图 2

图 2   编码曝光模式示意图

Fig.2   Schematic diagram of coded exposure


1.2. 最优码字选取

在编码曝光过程中须通过二进制码字来控制相机控制,设定“0”表示快门的闭合,“1”表示快门的开启. 设定码制长度为 $N$,则二进制码字的具体表达式为

$A = [{A_1},{A_2},{A_3},\cdots,{A_{N - 1}},{A_N}]{\text{;}} \quad{A_i} = \{{1,}\;{0}\}{\text{.}} $

式中: $ i = 1,2,\cdots, N $.

在码字的选择过程中,须满足基本准则[24]:1)码字的起始和末尾均为“1”,保证码字的长度;2)“1”和“0”的转换次数适中;3)“1”的设定个数适中,保证在成像过程中有足够的光通量;4)在码字序列傅里叶幅值中不存在零点;5)幅值的曲线尽量平稳,避免剧烈的幅值所造成的结果不稳定;6)在保证幅值平稳的基础上,减少复原过程中噪声的影响,因此傅里叶曲线的最小值应尽可能大. 码字的选择在编码曝光中有较重要的作用,在理论上它直接决定最终图像复原所需的PSF. 本研究基于上述准则选取最优编码码字序列,获取编码曝光图像.

2. 基于运动先验信息估计的局部模糊图像复原

2.1. 整体流程图

设计基于编码曝光和运动先验信息的局部模糊图像复原方案. 通过构建物像关系,获得运动目标PSF像移尺度初步估计参数,作为运动先验信息. 采用背景差分法进行目标提取,综合编码曝光运动模糊叠加特性,实现运动模糊目标区域的精确提取. 引入基于贝叶斯最大后验概率框架的student-t复原算法进行PSF精确估计和复原重建,快速迭代得到复原结果. 对复原结果和背景图像实行加权融合得到最终复原图像. 基于编码曝光和运动先验信息的局部模糊图像复原方案实施如图3所示.

图 3

图 3   基于编码曝光和运动先验信息的局部模糊图像复原方案实施流程图

Fig.3   Implementation flow chart of local blurred image restoration scheme based on coded exposure and motion prior information


2.2. 模糊图像PSF像移长度初步估计

若利用单帧图像进行PSF的估计,精确度较低,本研究采用多帧图像进行PSF的估计. 同一相机在连续拍摄多帧图像时,图像运动退化PSF是一致的,因此在一段时间内持续拍摄多帧图像,分析相邻2帧图像之间目标在图像上的位置差异,可以计算出目标的运动速度 $v$. 根据运动速度可以预估PSF的模糊尺度 $d$,表达式如下:

$d = vM.$

式中: $M$为相机曝光时间.

根据获得的多帧图像进行多次求解,最后进行均值处理,以保证模糊尺度的准确性. 在实验中物体运动速度为25~40 mm/s,物距为80~100 cm.

2.3. 图像目标与背景的分割

对于背景静止、目标运动的局部图像复原,只须针对运动模糊目标区域实施复原清晰化算法,图像运动目标分割能够极大提高图像的复原效率和复原质量. 本研究利用编码曝光成像,分析图像的运动模糊叠加特征,进行图像目标的有效分割提取.

利用编码曝光成像获得运动目标模糊图像,如图4(a)所示,其较好的保留了图像中高频细节信息. 如图4(b)所示为在拍摄图4(a)之前在相同条件下拍摄所获得的背景图像. 将背景图像和目标图像差值运算得到的结果图记为图H,设定合理的阈值T,与图H上每一点的像素进行比较:

图 4

图 4   运动模糊目标与背景

Fig.4   Motion blurred target and background


${H{'}}(x,y) = \left\{ {\begin{array}{*{20}{l}} {1,\quad|H(x,y)| \geqslant T;} \\ {0,\quad|H(x,y)| < T.} \end{array}} \right.$

获得模板图 ${H{'}}$,如图5(a)所示. 将模板图与目标图像进行模板运算,得到运动目标提取结果,如图5(b)所示. 在根据此方法获得的目标图像中,由于运动模糊叠加的因素,在目标边缘部分混入了一部分背景像素,须进一步处理以去除.

图 5

图 5   目标模板和运行目标提取图

Fig.5   Target template and moving target extraction diagram


针对目标图像边缘像素和背景像素混叠的问题,目前大多数方法都是借鉴“抠图”思想来进行处理[25],其算法处理过程如下:

$W = \beta X + (1 - \beta )Y.$

式中: $W$为最终的运动模糊叠加图像; $X$为所要得到的目标图像; $Y$为背景图像; $\beta $为在图像 $W$中任意位置(xy)处目标图像所占的像素百分比, $0 \leqslant \beta \leqslant 1$.

图像 $W$的生成过程如下:在曝光时间内目标像素的不断扩散和背景像素被遮挡至曝光或者曝光至被遮挡的成像过程[4]. 如前文所述,可通过多帧图像计算得出图像的模糊尺度 $d$. 假设在相机曝光过程中目标的运动状态为匀速直线运动,可知目标分别向左右两端外延 $d$个像素. 在传统曝光中,可以假设在曝光过程中,外延的 $d$个像素的曝光时间为均匀的梯次叠加,根据传统曝光图像和目标运动状态分析,目标图像占运动模糊叠加图像中每一行的像素百分比近似为

${\beta} = \left[\frac{1}{d},\frac{2}{d},\frac{3}{d},\cdots,1,1,1,\cdots,\frac{{d - 1}}{d},\frac{{d - 2}}{d},\cdots,\frac{1}{d}\right].$

式中:“1”的个数为清晰目标图中目标所占宽度; $\beta $为一维矩阵,表示从目标图像中每行第1个不为0的像素起,目标像素占该行总像素的百分比, $\beta $的起始位置为目标提取图像中每行第1个不为0的像素值处.

在编码曝光模式中,在曝光过程中不断开闭快门,真实的曝光时间并不是均匀增加的. 对于每一点, $\beta $= $t/d$t为对应点实际有效曝光时间和整体曝光时间的比值:

$t = s/M.$

式中:s为实际有效曝光时间,对应码制中的“1”.

根据式(8)中所表示的 $\beta $,结合编码曝光码字序列和模糊尺度,最终可以得到目标图像每一行的 $\beta $. 结合对式(7)进行求解,求出的 $X$为最终所要得到的目标提取图像. 为了避免在图像复原过程中出现图像梯度截断,在复原前中要进行模板的扩张,扩大模板的范围,在得到复原结果后再与图5(a)进行相与操作,获得最后的局部复原图像.

综上所述,对于背景目标图像分割,首先采用背景差分法获得模板图,再进行简单的形态学操作以保证目标轮廓的完整性,如图5(a)所示;将获得的模板图与模糊图像进行模板运算获得目标提取图像,如图5(b)所示;再结合运动模糊图像叠加特性和编码曝光码字进行图像边缘像素和背景像素的分割以获得最终的目标提取图像.

2.4. 基于student-t的PSF估计和图像复原

将2.3节获得的PSF模糊尺度作为复原算法的运动先验信息,采用基于student-t约束下的PSF估计和图像复原算法[26-28],得到复原结果.

基于student-t的约束复原方法是利用马尔可夫专家场模型,构成该模型的全部参数和滤波器都是由训练得到的,训练主要是利用一系列自然图库进行训练,因此该模型对于自然图像能够有更精确的建模. 采用基于student-t函数的概率模型对PSF进行建模,该模型能够对PSF的稀疏分布特点进行准确描述. 在PSF估计中选择具有较多图像信息的部分进行轮换迭代算法,在迭代过程中,将上次迭代所得的结果作为下一次迭代的约束条件,具体算法描述如下.

在贝叶斯最大后验框架下对复原求解过程建模:

$\begin{split} (f,h) =& \arg {\max _{(f,k)}}\;P(f,h|g) =\\ & \arg {\max _{(f,h)}}\;P(g|f,h)P(f)P(h) . \end{split}$

式中:g为模糊图像,f为清晰图像,h为运动模糊PSF, $P(f)$$P(h)$分别为 $f$$h$发生的先验概率,P(f, h|g)为在g已知的前提下,能够得到fh的联合概率,P(g|f, h)为在fh已知的前提下,能够得到g的概率.

取上式的负对数:

$\begin{split} (f,h) = {\rm{argmi}}{n_{(f,h)}}\;\{ - {\rm{ln}}\;P(g|f,h) - {\rm{ln}}\;P(f) - {\rm{ln}}\;P(h)\} . \end{split}$

对变换后得到的最优化问题(式(11))进行概率建模. 设 $P(g|f,h)$服从高斯分布,则

$ - {\rm{ln}}\;P(g|f,h) \propto ||hf - g|{|^2}.$

$P(f)$进行建模,利用马尔可夫专家场,引入student-t函数作为势函数,表达式如下:

$U(x) = c{(1 + m{x^2})^{ - \alpha }}.$

式中:cm$\alpha $为构成student-t函数的参数.

将图像经过各个滤波器后的响应相乘,最终可以得到 $P(f)$的表达式:

$P(f) = \frac{1}{Z}{\prod\limits_{i,j} {[1 + m(f{w_i})_{_j}^2]} ^{ - \alpha }}.$

式中: $Z$为分化系数, ${w_i}$为滤波器, $j$为像素索引. 则有

$ - \ln \;P(f) \propto \alpha {\prod\limits_{i,j} {{\rm{ln}}\;[1 + m(f{w_i})_{_j}^2]}}.$

在对 $ - \ln \;P(h)$进行建模时,采用各向同性总变分正则化方法,即

$ - \ln \;P(h) \propto \sum\limits_j {\sqrt {({d_1}h)_j^2 + ({d_2}h)_j^2} } .$

式中:d1d2分别为水平方向和垂直方向上的梯度算子.

盲复原问题可以表示为

$\begin{split} (f,h) =& \arg {\min _{(f,h)}}\;\bigg\{ \frac{\lambda }{2}\displaystyle\sum\limits_j {{{[{g_j} - {{(fh)}_j}]}^2}} + \\ & \alpha \displaystyle\sum\limits_{i,j} {\ln \;\left[ {1 + m({w_i}f)_j^2} \right]} + \\ & \frac{\xi }{2}\displaystyle\sum\limits_k {\sqrt {({d_1}h)_k^2 + ({d_2}h)_k^2} } \bigg\} . \end{split} $

式中: $\lambda $$\xi $分别为清晰图像和PSF的正则系数, $\lambda \in [300,1\;500]$$\xi \in (0,1)$.

在求解过程中,如果能够明确运动约束条件,将其作为较为准确的初始模糊核输入,利用运动先验信息对PSF和复原图像进行轮换、反复迭代直至求取到清晰图像,可将上述盲复原问题转换为半盲复原问题,大大提高复原速度和质量. 在本研究实验中,利用3.2节中的运动先验信息所获得的PSF模糊尺度作为初始值,经过2~3次迭代,即可快速得到较高质量的复原求解. 将复原结果与背景图像采用加权融合方法进行融合,实现目标复原结果和背景图像的合理过渡.

3. 实验结果与分析

3.1. 硬件仿真平台搭建

针对一维方向的匀速运动开展算法结果对比和分析,搭建硬件仿真平台,硬件仿真实验平台实物图如图6所示. 在实验中,采用SC300-1B位移台控制导轨水平速度,运动导轨速度可控范围为0~45 mm/s. 相机型号为Point Gray系列FL2-20S4C,其在Mode 5模式下支持编码曝光成像,相机采集图像为像素为1 200×1 600的单通道灰度图像. 开发设计基于STM32单片机的编码序列发生器,通过GPIO线与STM32单片机实现通信来实现码字的传输和成像控制,利用1394b数据线来实现相机和计算机的链接. 在拍摄中采用flycapture2软件控制相机进行拍摄,所选取的码字为11110001101000100110101010011011,码字长度为32.

图 6

图 6   基于编码曝光的局部运动模糊图像采集实验平台

Fig.6   Experimental platform of local motion blur image acquisition based on coded exposure


计算机硬件环境为AMD 2600X Six-Core处理器,主频为3.60 GHz,MATLAB 2014a平台. 为了更好地分析和展示算法性能和应用范围,设置3组运动导轨速度参数,分别为30、35、40 mm/s,结合成像系统物像关系,对应的模糊尺度分别约为15、20、25像素,作为初始PSF输入的运动先验信息.

分别开展不同背景目标分割方法、不同复原算法、传统曝光和编码曝光复原方法、全局复原和局部复原方法的多组对比分析实验. 为了比较不同方法的复原结果,引入图像峰值信噪比(peak signal to noise ratio,PSNR)和结构相似度(structural similarity index metrics,SSIM)2种评价指标来进行图像复原结果客观评价.

3.2. 不同背景目标分割方法对比分析

对比分析不同背景目标分割方法的处理效果,包括基于固定阈值的分割方法、基于小波的分割方法和本研究所提分割方法,不同方法的目标提取结果如图7所示.

图 7

图 7   不同方法的目标提取结果

Fig.7   Object extraction results of different methods


图7(a)所示为基于固定阈值的分割算法处理结果,如图7(b)所示为基于小波的分割算法处理结果,如图7(c)所示为本研究所提分割算法处理结果. 由图7(a)可以看出,在分割结果中,目标区域像素有所缺失,同时目标边缘区域也未完整分割提取,分割效果较差. 当目标边缘像素与背景较接近时,固定分割阈值的局限性较大. 基于小波的分割算法,与基于固定阈值的分割算法相比,有较大改进,但其分割图像边缘有类似“膨胀”的效果,边缘有明显的扩张,后部的边缘部分出现明显突起,边缘提取不够完善. 相比于其他2种方法,本研究所提方法能够完整有效地提取目标区域,分割边缘较为准确,能够为后续局部图像复原提供较好的基础.

3.3. 不同复原算法结果对比分析

开展不同复原算法的对比分析实验,如图8所示为场景清晰图像,将红框中图像信息较为丰富的区域作为复原效果分析比较区域. 在同样的编码曝光图像获取方式和运动先验信息下,对比本研究复原方法、Levin的复原方法[29]和RL复原方法的结果,对比结果如图9~11所示. 如图9~11所示分别为PSF像移尺度为15、20、25像素下的模糊图像和复原图像.

图 8

图 8   清晰图像及局部放大图

Fig.8   Sharp image and partial enlarged image


图 9

图 9   编码曝光模糊图和不同方法复原结果(PSF像移尺度约为15个像素)

Fig.9   Coded exposure blurred image and restored results of different methods with PSF motion scale of about 15 pixels


图 10

图 10   编码曝光模糊图和不同方法复原结果(PSF像移尺度约为20个像素)

Fig.10   Coded exposure blurred image and restored results of different methods with PSF motion scale of about 20 pixels


图 11

图 11   编码曝光模糊图和不同方法复原结果(PSF像移尺度约为25个像素)

Fig.11   Coded exposure blurred image and restored results of different methods with PSF motion scale of about 25 pixels


由本研究算法复原图(见图9(d)~11(d))可以看出,目标图像细节得到较好的复原,在复原中噪声得到较好的抑制,图像振铃现象不明显;随着PSF尺度增加,复原结果主观评价始终较好. 由Levin的复原图(见图9(c)~11(c))可以看出,细节信息复原效果差,部分区域噪声被过度放大,图像的整体性下降,视觉效果不佳. 由RL复原图(见图9(b)~11(b))可以看出,在复原过程中所利用的先验信息较少,复原效果较差,且RL复原算法需要较多迭代次数,复原效率不高. 比较3种不同PSF尺度下的复原结果,当PSF尺度为15像素时复原效果最佳,但图像仍然存在较大振铃现象,细节信息模糊,视觉效果差. 分析结果说明,本研究所提复原算法更具优势,能达到更好的视觉效果,主观评价更好.

采用PSNR、SSIM这2种评价指标,得到不同长度不同算法下的复原评价结果,如表1所示. 可以看出,在不同PSF尺度下,本研究所提算法的客观评价都优于其他算法,主客观评价一致.

表 1   不同长度不同算法下的复原评价指标

Tab.1  Recovery evaluation indicators for different lengths and algorithms

算法 15像素 20像素 25像素
SSIM PSNR SSIM PSNR SSIM PSNR
RL 0.788 2 34.271 5 0.494 6 30.908 3 0.640 6 32.006 4
Levin 0.840 9 30.839 5 0.696 0 30.651 3 0.750 2 31.301 3
本研究算法 0.876 9 36.513 8 0.697 1 32.145 9 0.770 3 33.852 2

新窗口打开| 下载CSV


3.4. 传统曝光与编码曝光的复原结果对比分析

为了论证编码曝光的优势,采用编码曝光进行图像获取,对传统曝光与编码曝光的复原结果进行对比分析. 不同PSF像移尺度下的对比结果如图12~14所示. 可以看出,由于成像模式不同,传统曝光模糊图像的有效曝光时间大约为编码曝光模糊图像的2倍,导致图(a)的整体亮度高于图(c). 传统曝光复原图像的对比度较低,高频信息被破坏,较难分辨目标信息. 编码曝光复原图像的高频信息保留较多,细节部分复原清晰,复原效果较好,有更好的主观评价.

图 12

图 12   不同曝光模式复原效果(PSF像移尺度约为15个像素)

Fig.12   Restored results under different exposure modes with PSF motion scale of about 15 pixels


图 13

图 13   不同曝光模式复原效果(PSF像移尺度约为20个像素)

Fig.13   Restored results under different exposure modes with PSF motion scale of about 20 pixels


图 14

图 14   不同曝光模式复原效果(PSF像移尺度约为25个像素)

Fig.14   Restored results under different exposure modes with PSF motion scale of about 25 pixels


为了更好地对比编码曝光和传统曝光的复原结果,开展不同曝光方式下的复原客观评价结果分析. 如表2所示为传统曝光和编码曝光下图像复原的客观评价结果. 可以看出,编码曝光复原的客观评价均高于传统曝光复原.

表 2   不同曝光方式的复原评价指标

Tab.2  Evaluation indicators for restoration of different exposure modes

曝光方式 15像素 20像素 25像素
SSIM PSNR SSIM PSNR SSIM PSNR
传统曝光复原 0.601 6 30.966 2 0.513 8 30.373 9 0.535 2 31.154 0
编码曝光复原 0.876 9 36.513 8 0.697 1 32.145 9 0.770 3 33.852 2

新窗口打开| 下载CSV


3.5. 全局复原和局部复原结果对比分析

对比分析在编码曝光成像模式下的全局复原和局部复原结果,进一步论证本研究所提算法对于局部运动模糊复原的有效性. 局部复原为分割前后景,对于前景进行复原,为了方便全局观察,在实验中将局部复原结果重新放入原图进行对比;全局复原为对整幅图像进行复原.

图15所示为在编码曝光下基于本研究PSF估计算法的全局复原和局部复原图像. 由不同PSF尺度下的局部复原图(见图15(a)(c)(e))可以看出,局部复原图有效保护背景信息不被破坏,防止目标边缘像素和背景的相互影响,视觉效果较好. 由不同PSF尺度下的全局复原图(见图15(b)(d)(f))可以看出,图像背景原始信息被破坏,背景噪声被放大,图像整体效果下降,主观评价较差. 说明本研究所提方法能够有效提高模糊图像的复原效果,得到更好的主观评价.

图 15

图 15   编码曝光下基于student-t算法的全局和局部复原图像

Fig.15   Global and local restoration images based on student-t algorithm under coded exposure


基于所搭建的硬件仿真平台,更多不同背景和目标的成像实验结果如图16所示. 其中,如图16(a)所示为不同背景和目标场景的清晰图像,如图16(b)所示为对应场景的局部运动模糊图像,如图16(c)所示为利用本研究方法所得到的复原结果. 由实验结果图可知,本研究所提复原方案通过背景差分法和编码曝光下运动模糊叠加特性进行模糊目标获取,能够避免目标边缘与背景混合;同时结合运动先验信息和student-t算法对模糊目标进行复原,保证目标的细节信息得到较好的恢复;在复原过程中抑制图像噪声,从而得到主客观评价效果较为优异的结果. 针对不同背景和目标成像探测场景,本研究所提算法均具有较好的适用性.

图 16

图 16   编码曝光下不同背景不同目标的复原结果图

Fig.16   Recovery results of different targets with different backgrounds under coded exposure


3.6. 实际运动目标复原结果分析

为了进一步论证所提方法的适用性,在室外环境中开展针对实际运动目标的采集和复原实验. 运动目标为遥控玩具小车,利用遥控器可以调节其运动速度,背景为一幅静止图画,具有一定的细节和纹理信息,便于更好地验证局部运动目标提取算法的效果. 实际运动目标复原结果如图17所示. 其中,如图17(a)所示为在目标静止状态下拍摄的清晰图;如图17(b)所示为局部运动模糊图;如图17(c)所示为针对实际运动目标的全局复原结果,由于未区分背景和运动目标区域,背景部分被严重破坏,出现明显的振铃伪信息,影响主观视觉效果;如图17(d)所示为利用本研究所提算法得到的局部复原结果图,图像背景被完整保存,同时运动小车得到较好的复原,清晰度有较大提升和改善,主观视觉效果较好. 此外,选取图17(a)成像场景中的红色方框区域作为局部放大图,进一步对比所选不同复原算法的复原结果,对比结果如图18所示,对应的图像质量客观评价指标如表3所示. 综合图18复原结果和表3的评价数据可以看出,相比其他2种对比方法,本研究所提算法对实际运动目标的复原效果较优异,在主客观评价上都有更好的表现.

表 3   图18的运动复原结果评价指标

Tab.3  Evaluation indexs of exercise recovery results in Fig.18

复原算法 SSIM PSNR
RL 0.533 7 30.127 3
Levin 0.626 8 30.088 3
本研究算法 0.678 5 34.477 9

新窗口打开| 下载CSV


图 17

图 17   实际运动目标的复原结果

Fig.17   Deblurring results of real moving target


图 18

图 18   不同复原方法对实际运动目标的复原结果(局部放大区域)

Fig.18   Deblurring results of real moving target for differenet methods(local region zoomed in)


在针对实际运动目标和真实场景的运动模糊复原应用中,运动模糊复原算法会面临更多的不确定性因素,给复原算法带来新的挑战. 如场景光照不均匀会对编码曝光的码字设计和拍摄图像信噪比带来干扰;实际成像链路的噪声来源会更加复杂,可能与复原算法框架的理论噪声模型不完全一致;由于材质、光照等原因,场景中会存在反光的高亮区域,影响复原图像的质量. 另外,在真实复原应用中,有可能在一幅模糊图像上同时存在多种类型的运动模糊,即非空间一致性的复原问题,如图17(b)所示的模糊图像,小车车身为直线运动,车轮胎由于旋转则呈现圆周运动模糊,单一的PSF无法解决PSF空间变化的运动模糊问题. 针对上述真实应用场景中存在的问题,仍须进一步开展大量的研究和探索,设计和提出鲁棒性更好、稳定性更高、应用范围更广的运动模糊复原解决方案.

4. 结 语

本研究提出基于编码曝光和运动先验信息的局部模糊图像复原方法;搭建基于编码曝光的局部运动模糊图像采集实验平台;分别在实验室环境和实际场景环境下进行不同曝光模式下的局部模糊图像的实拍实验. 实验结果表明,利用所提方法能够得到更高质量的运动模糊图像和复原结果图,在提升图像细节部分质量的同时保护背景图像不受影响,主客观评价更好. 目前本研究算法仅针对匀速直线运动模糊情况下的局部复原,下一步会将其拓展到二维的其他运动形式的模糊复原中,同时考虑设计多目标的分离提取方法,进一步扩展算法的应用范围.

参考文献

李东升, 陈春晓, 王章立, 等

基于全局方差和噪声估计的维纳滤波图像的复原方法

[J]. 生物医学工程研究, 2017, 36 (4): 331- 335

[本文引用: 1]

LI Dong-sheng, CHEN Chun-xiao, WANG Zhang-li, et al

Restoration method of Wiener filtered image based on global variance and noise estimation

[J]. Journal of Biomedical Engineering Research, 2017, 36 (4): 331- 335

[本文引用: 1]

朱一帆

基于逆滤波、维纳滤波算法的图像复原技术的研究

[J]. 中国新通信, 2018, 20 (6): 238

DOI:10.3969/j.issn.1673-4866.2018.06.190     

ZHU Yi-fan

Research on image restoration technology based on inverse filtering and Wiener filtering algorithm

[J]. China New Telecommunications, 2018, 20 (6): 238

DOI:10.3969/j.issn.1673-4866.2018.06.190     

徐岩, 曾祥波

基于红色暗通道先验和逆滤波的水下图像复原

[J]. 激光与光电子学进展, 2018, 55 (2): 221- 228

XU Yan, ZENG Xiang-bo

Underwater image restoration based on red dark channel prior and inverse filtering

[J]. Laser and Optoelectronics Progress, 2018, 55 (2): 221- 228

肖宿, 韩国强

基于变量分离和加权最小二乘法的图像复原

[J]. 计算机应用研究, 2012, (4): 1584- 1587

DOI:10.3969/j.issn.1001-3695.2012.04.108      [本文引用: 2]

XIAO Su, HAN Guo-qiang

Image restoration based on variable separation and weighted least square method

[J]. Application Research of Computers, 2012, (4): 1584- 1587

DOI:10.3969/j.issn.1001-3695.2012.04.108      [本文引用: 2]

叶鹏钊, 冯华君, 徐之海, 等

基于块效应抑制的压缩降质模糊图像盲复原

[J]. 浙江大学学报: 工学版, 2018, 52 (2): 406- 412

[本文引用: 1]

YE Peng-zhao, FENG Hua-jun, XU Zhi-hai, et al

Blind restoration of compressed degraded blurred images based on block effect suppression

[J]. Journal of Zhejiang University: Engineering Science, 2018, 52 (2): 406- 412

[本文引用: 1]

苏慧, 冯华君, 徐之海, 等

基于数值保真项优化的TDI遥感图像复原方法

[J]. 浙江大学学报: 工学版, 2018, 52 (4): 674- 679

SU Hui, FENG Hua-jun, XU Zhi-hai, et al

TDI remote sensing image restoration method based on numerical fidelity optimization

[J]. Journal of Zhejiang University: Engineering Science, 2018, 52 (4): 674- 679

张玉叶, 周胜明, 赵育良, 等

高速运动目标的运动模糊图像复原研究

[J]. 红外与激光工程, 2017, (4): 257- 262

[本文引用: 1]

ZHANG Yu-ye, ZHOU Sheng-ming, ZHAO Yu-liang, et al

Research on motion blurred image restoration of high-speed moving targets

[J]. Infrared and Laser Engineering, 2017, (4): 257- 262

[本文引用: 1]

RASKAR R, AGRAWAL A, TUMBLIN J

Coded exposure photography: motion deblurring using fluttered shutter

[J]. ACM Transactions on Graphics, 2006, 25 (3): 795- 804

DOI:10.1145/1141911.1141957      [本文引用: 1]

AGRAWAL A, RASKAR R. Optimal single image capture for motion deblurring [C]// Computer Vision and Pattern Recognition. Miami: IEEE, 2009: 2560-2567.

[本文引用: 1]

MCCLOSKEY S. Temporally coded flash illumination for motion deblurring [C]// IEEE International Conference on Computer Vision. Barcelona: IEEE, 2011: 683-690.

[本文引用: 1]

MCCLOSKEY S, DING Y, YU J

Design and estimation of coded exposure point spread functions

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34 (10): 2071- 2077

DOI:10.1109/TPAMI.2012.108      [本文引用: 1]

TAI Y W, KONG N, LIN S, et al. Coded exposure imaging for projective motion deblurring [C]// Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 2408-2415.

[本文引用: 1]

JEON H G, LEE J Y, HAN Y, et al

Multi-image deblurring using complementary sets of fluttering patterns

[J]. IEEE Transactions on Image Processing, 2017, 26 (5): 2311- 2326

DOI:10.1109/TIP.2017.2675202      [本文引用: 1]

HE L, CUI G, FENH H, et al

Fast image restoration method based on coded exposure and vibration detection

[J]. Optical Engineering, 2015, 54 (10): 536- 545

[本文引用: 1]

HE L, CUI G, FENH H, et al

The optimal code searching method with an improved criterion of coded exposure for remote sensing image restoration

[J]. Optics Communications, 2015, 338: 540- 550

DOI:10.1016/j.optcom.2014.11.021      [本文引用: 1]

李红, 李明伟

编码曝光相机设计与实现

[J]. 光电工程, 2016, 43 (9): 72- 77

DOI:10.3969/j.issn.1003-501X.2016.09.013      [本文引用: 1]

LI Hong, LI Ming-wei

Design and implementation of coded exposure camera

[J]. Opto-Electronic Engineering, 2016, 43 (9): 72- 77

DOI:10.3969/j.issn.1003-501X.2016.09.013      [本文引用: 1]

何富斌. 编码曝光图像的运动去模糊方法研究[D]. 大连: 大连理工大学, 2016.

[本文引用: 1]

HE Fu-bin.Research on motion deblurring method for encoding exposure image [D]. Dalian: Dalian University of Technology, 2016.

[本文引用: 1]

LI X, SUN Y

Joint structural similarity and entropy estimation for coded-exposure image restoration

[J]. Multimedia Tools and Applications, 2018, 77 (22): 29811- 29828

DOI:10.1007/s11042-018-5773-3      [本文引用: 1]

崔光茫, 于快快, 叶晓杰, 等

基于Memetic算法的编码曝光最优码字序列搜索方法

[J]. 光学学报, 2019, 39 (3): 0311004

[本文引用: 1]

CUI Guang-mang, YU Kuai-kuai, YE Xiao-jie, et al

Search method of coded exposure optimal codeword sequence based on Memetic algorithm

[J]. Acta Optica Sinica, 2019, 39 (3): 0311004

[本文引用: 1]

王俊臣. 基于小波变换的单幅运动模糊图像恢复[D]. 兰州: 兰州交通大学, 2013.

[本文引用: 1]

WANG Jun-chen. Single motion blurred image restoration based on wavelet transform [D]. Lanzhou: Lanzhou Jiaotong University, 2013.

[本文引用: 1]

朱加豪, 唐岚, 廖若冰

基于RPCA的局部运动模糊图像的复原

[J]. 软件, 2017, 38 (8): 54- 58

DOI:10.3969/j.issn.1003-6970.2017.08.010      [本文引用: 1]

ZHU Jia-hao, TANG Lan, LIAO Ruo-bing

Restoration of local motion blurred images based on RPCA

[J]. Computer Engineering and Software, 2017, 38 (8): 54- 58

DOI:10.3969/j.issn.1003-6970.2017.08.010      [本文引用: 1]

CHO S, LEE S

Fast motion deblurring

[J]. ACM Transactions on Graphics, 2009, 28 (5): 145

[本文引用: 1]

TAI Y W, DU H, BROWN M S, et al

Correction of spatially varying image and video motion blur using a hybrid camera

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32 (6): 1012- 1028

DOI:10.1109/TPAMI.2009.97      [本文引用: 1]

何丽蓉, 黄加紫, 冯华君, 等

基于颤振探测和编码曝光的快速图像复原方法

[J]. 光学学报, 2014, 34 (9): 0910003

[本文引用: 1]

HE Li-rong, HUANG Jia-zi, FENG Hua-jun, et al

Fast image restoration method based on flutter detection and coded exposure

[J]. Acta Optica Sinica, 2014, 34 (9): 0910003

[本文引用: 1]

赵东, 赵宏伟, 于繁华

动态多目标优化的运动物体图像分割

[J]. 光学精密工程, 2015, 23 (7): 2109- 2116

[本文引用: 1]

ZHAO Dong, ZHAO Hong-wei, YU Fan-hua

Dynamic multi-objective optimization for moving object image segmentation

[J]. Optics and Precision Engineering, 2015, 23 (7): 2109- 2116

[本文引用: 1]

ROTH S, BLACK M J

Fields of experts

[J]. International Journal of Computer Vision, 2009, 82 (2): 205

DOI:10.1007/s11263-008-0197-6      [本文引用: 1]

WEISS Y, FREEMAN W T. What makes a good model of natural images? [C]// IEEE Conference on Computer Vision and Pattern Recognition. Minneapoli: IEEE, 2007.

董文德. 基于光纤陀螺颤振探测的图像复原技术研究[D]. 杭州: 浙江大学, 2013.

[本文引用: 1]

DONG Wen-de. Research on image restoration technology based on fiber optic gyroscope flutter detection [D]. Hangzhou: Zhejiang University, 2013.

[本文引用: 1]

LEVIN A, FERGUS R, DURAND F, et al

Image and depth from a conventional camera with a coded aperture

[J]. ACM Transactions on Graphics, 2007, 26 (3): 70

DOI:10.1145/1276377.1276464      [本文引用: 1]

/