浙江大学学报(工学版), 2020, 54(11): 2138-2148 doi: 10.3785/j.issn.1008-973X.2020.11.009

计算机与控制工程

基于深度学习的遥感影像变化检测方法

王昶,, 张永生,, 王旭, 于英

Remote sensing image change detection method based on deep neural networks

WANG Chang,, ZHANG Yong-sheng,, WANG Xu, YU Ying

收稿日期: 2019-09-18  

Received: 2019-09-18  

作者简介 About authors

王昶(1983—),男,博士生,从事卫星遥感影像处理.orcid.org/0000-0003-3132-2996.E-mail:wangchang324@163.com , E-mail:wangchang324@163.com

摘要

为了获得可靠的训练样本及提高遥感影像变化检测的精度,提出基于深度学习的遥感影像变化检测方法. 采用结构相似性方法(SSIM)选取纹理特征(灰度共生矩阵法),通过融合变化向量分析(CVA)方法获取不同时相遥感影像差异图(DI)及纹理特征差异图获得差异影像,并采用构造的变分去噪模型对差异影像进行去噪. 利用频域显著性方法获取去噪差异影像的显著性图,通过模糊c-均值(FCM)算法对粗变化检测图(对显著性图选取阈值获得的)进行预分类(变化类、未变化类及未确定类). 将从遥感影像上提取的变化像素和未变化像素的邻域特征引入深度神经网络模型进行训练,并利用训练好的深度神经网络模型对差异影像进行变化检测,得到最终的变化检测图. 对3组遥感影像数据集进行变化检测实验,结果表明本研究方法的变化检测精度高于其他比较方法.

关键词: 频域显著性方法 ; 变化向量分析 ; 灰度共生矩阵 ; 深度神经网络 ; 差异影像

Abstract

A remote sensing image change detection method based on deep learning was proposed to obtain reliable training samples and improve the accuracy of remote sensing image change detection. Firstly, texture features (gray co-occurrence matrix method) are selected by structural similarity method (SSIM), and the multitemporal remote sensing image difference image (DI) and textural feature DI obtained by change vector analysis (CVA) are fused to construct the final DI, then the difference images are denoised by the constructed variational denoising model. Secondly, the frequency domain significance method is used to obtain the DI saliency map, and the coarse change detection map obtained by selecting a threshold for the DI saliency map is pre-classified (change, unchanged and undetermined) by the fuzzy c-means (FCM) clustering algorithm. Finally, the neighborhood features of the changed pixels and unchanged pixels extracted from remote sensing images are introduced into the deep neural network model for training, and the trained deep neural network model is used to detect the changes in multitemporal remote sensing image, then the final change detection map is obtained. Experiment on three real remote sensing image data sets shows that the change detection accuracy of the proposed method is higher than that of other comparison methods.

Keywords: frequency domain significance method ; change vector analysis ; grey level co-occurrence matrix ; deep neural network ; different image

PDF (2468KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

王昶, 张永生, 王旭, 于英. 基于深度学习的遥感影像变化检测方法. 浙江大学学报(工学版)[J], 2020, 54(11): 2138-2148 doi:10.3785/j.issn.1008-973X.2020.11.009

WANG Chang, ZHANG Yong-sheng, WANG Xu, YU Ying. Remote sensing image change detection method based on deep neural networks. Journal of Zhejiang University(Engineering Science)[J], 2020, 54(11): 2138-2148 doi:10.3785/j.issn.1008-973X.2020.11.009

遥感影像变化检测是研究热点. 近年来,学者针对不同分辨率的遥感影像提出较多变化检测方法. 主要思路分为2步:1)差异影像(difference image,DI)构建、2)DI分析[1]. 在步骤1)中,对于中低分辨率影像,常采用变化向量分析方法(change vector analysis,CVA)[2]、鲁棒变化向量分析(robust change vector analysis,RCVA)方法构建DI. 随着遥感影像分辨率的不断提高,可以提取每个对象的光谱、形状、纹理和上下文等特征.为了能够凸显变化区域,常将光谱特征与其他特征相结合来构建DI. 如通过多尺度分割获得影像的光谱、纹理及空间特征,然后通过自适应融合经CVA得到纹理特征差异图、光谱特征差异图及空间特征差异图获得DI[3-5]. 虽然这类方法能够凸显DI中的变化区域,但由于受分割尺度、样本选取可靠性、变化阈值和特征权重的分配等因素的影响,易引入不确定因素,从而使变化检测性能降低. 在步骤2)中,主要以阈值法、聚类法及机器学习方法为主要方法. 阈值法不能对变化和未变化类的统计分布准确建模,从而导致检测精度降低. 聚类方法,如k-mean聚类[6]、模糊c-均值聚类[7]、模糊局部信息c-均值聚类[8]、改进的模糊局部信息c-均值聚类[9]等方法,虽然能达到较好的聚类效果,但聚类结果易受DI的效果及噪声影响. 近年来,将机器学习方法应用到变化检测问题. Gao等[10]采用邻域比值法从2幅不同时相的合成孔径雷达(synthetic aperture radar,SAR)影像提取训练样本,并通过极限学习机进行训练及分类,从而获得变化检测图. 虽然此方法在SAR影像变化检测方面呈现出较好的效果,但受到斑点噪声的影响,易将斑点噪声作为训练样本,从而使变化检测性能下降. Tan等[11]提取不同时相遥感影像光谱特征、纹理特征及空间特征作为可靠样本,并在构造的多分类器上进行训练,从而实现变化检测的目的. 此方法提取多种影像特征,易造成数据冗余,从而增加变化检测的不确定因素. 近些年,受大脑结构深度的启发,深度学习已成为新型的机器学习方法. Gong等[12]利用模糊c-均值聚类的联合分类器直接从2幅原始SAR影像提取特征,并通过深度神经网络获得变化检测图. 此方法不用构建DI,避免影像信息丢失,但由于受斑点噪声影响,从原始SAR影像提取的影像特征的质量较低,影响分类精度. Zhang等[13]提出通过参数T设置亮度区间的方式从光谱及纹理变化图中提取训练样本,最后通过深度学习方法进行分类. 但该方法只考虑灰度共生矩阵法(grey level co-occurrence matrix,GLCM)方差计算的纹理特征,没有针对不同影像选择纹理特征,从而使DI不能较好地凸显变化区域,导致训练样本可靠性下降,变化检测性能降低.

上述方法虽然在遥感影像变化检测方面取得了较好的效果,但变化检测技术仍然存在构造的DI不能较好地凸显变化区域、训练样本可靠性较差及分类方法性能较低等问题. 针对上述问题,本研究从构造DI、训练样本选取及分类方法三方面进行分析,提出基于深度学习的遥感影像变化检测方法. 1)为了使构造的DI更好地凸显变化区域及减少白斑噪声对变化检测精度的影响,采用结构相似性方法(structural similarity method,SSIM)选取纹理特征(灰度共生矩阵法),并通过融合CVA方法获取不同时相遥感影像差异图及纹理特征差异图获得DI,同时采用构造的变分去噪模型去除DI的白斑噪声. 2)为了获取可靠的训练样本,利用频域显著性方法(frequency domain significance method,FDS)获取去噪DI的显著性图,并利用模糊c-均值聚类算法对显著性图选取阈值得到的粗变化检测图进行预分类(变化类、未变化类及未确定类). 3)为了获得高精度的变化检测结果,从不同时相遥感影像上提取变化及未变化像素的邻域特征进行深度神经网络训练,利用训练好的深度神经网络分类器对差异影像进行分类,从而确定最终的变化检测图.

1. 可靠训练样本获取

训练样本的可靠性直接影响机器学习方法的分类精度. 为了获取可靠的训练样本,从2个方面进行考虑:1)构造的DI能否有效凸显变化区域;2)如何获取可靠的变化及未变化的训练样本.

1.1. DI构造

如果在DI中,部分变化区域未能有效凸显,那么从未凸显的变化区域中提取的训练样本的可靠性就会下降. 为了使构造的DI凸显变化区域,将通过灰度共生矩阵法获取的纹理特征与不同时相遥感影像差异图进行融合. 但此步骤不仅会增加数据冗余度,而且会引入大量白斑噪声,从而使后续提取训练样本的可靠性下降. 为了使构造的DI更好地凸显变化区域及尽量减少白斑噪声对变化检测的影响,通过融合不同时相的遥感影像差异图及不同时相遥感影像差异最大的纹理特征(SSIM选取)差异图来构造DI,并通过构建的变分去噪模型对DI进行去噪处理. 为了在去除斑点噪声的同时尽量减少微小变化区域丢失,同时避免去噪影像产生阶梯效应,提出具有同性扩散能力及异性扩散能力的变分去噪模型,该模型表达式[14]如下:

$J(s,v) = \mathop {{\rm{inf}}}\limits_{S = s + v} \it\int\limits_\Omega {{{{{\left| {\nabla s} \right|}^2}}}{{{{({\rm{1}} + {{\left| {\nabla s} \right|}^{\rm{2}}})}^{^{{\rm{ 1/2}}}}}}}} {\rm{d}}s + \\ {\lambda _{\rm{0}}}\it\int\limits_\Omega {{{\left| {s - S} \right|}^{\rm{2}}}} {\rm{d}}s.$

式中:等号右边第1项为正则约束项,第2项为保真项, $S$为含噪影像, $s$为去噪影像, $v$为噪声, ${{{{\left| {\nabla s} \right|}^2}}}{{{{(1 + {{\left| {\nabla s} \right|}^2})}^{ {1}/{2}}}}}$为势函数, ${\lambda _{\rm{0}}}$为正则化参数,Ω为整个图像区域.

1.2. 可靠训练样本的获取

为了获取可靠的训练样本,采用FDS及模糊c-均值(fuzzy c-means)聚类方法. FDS方法采用适当尺度的低通高斯核进行振幅谱卷积,得到显著性图. 通过傅里叶变换将影像 $f(x,y)$转化为频域: $f(x,y) \to F(f)(u,v)$;计算相位谱 $P(u,v){\rm{ = }}{\rm{angle}}{\kern 1pt} \left| {F(f)} \right|$和振幅谱 $A(u,v){\rm{ = }}\left| {F(f)} \right|$,用高斯内核 $h$来抑制影像,其关系表达式为

${A}(u,v) = \left| {F(f)} \right|h.$

为了获得显著性图,将得到的平滑振幅谱A与原始相位谱相结合计算逆变换:

$S = {F^{ - 1}}\left\{ {{A}(u,v){{\rm{e}}^{P(u,v)}}} \right\}.$

通过引入FDS[15],不仅可以有效锁定DI中最可能发生变化的区域,同时避免非显著性区域对后续分类方法的影响.

在显著性图中,利用FCM将粗变化检测图(对显著性图选取阈值获得的)中的像素划分为3类:变化类 ${w_{\rm{c}}}$、未变化类 ${w_{{\rm{uc}}}}$及未确定类 ${w_{{\rm{ud}}}}$. 通过此步骤不仅可以缩小样本选取范围,而且对分类进行了更细的划分,从而使获取的训练样本更可靠.

2. 特征深度神经网络建立

在预分类后,把从遥感影像中提取的变化类及未变化类的邻域特征转化为矢量,输入到神经网络里进行训练. 由于非线性网络具有多重隐层,其权值和偏差的优化是难点. 多层反向传播(back propagation,BP)网络从随机权值出发,往往不能得到令人满意的结果. 如果初始权重较大,那么结果通常会陷入局部优化. 初始权值较小会导致早期层的梯度较小,从而无法训练具有多个隐含层的网络. 为了解决上述问题,选择一次只学习一层特征的受限玻尔兹曼机(restricted Boltzmann machine,RBM)构建深度神经网络[12].

该方法的过程如图1所示. 图中,ω1ω2ω3ω4分别为各层权重,ε1ε2ε3ε4分别为各层学习速率. 输入变化类及未变化类的邻域特征,如图1(a)所示;每个RBM在RBMs栈中通过吉布斯采样进行预训练,如图1(b)所示. 将RBMs展开,创建用于训练的深度神经网络,如图1(c)所示. 此外,利用误差导数BP对深度神经网络进行微调,如图1(d)所示.

图 1

图 1   特征深度神经网络

Fig.1   Characteristic depth neural network


RBM网络的一般结构如图1(e)所示,RBM有 $l$个与输入特征对应的可见层神经元 $({v_1},{v_2}, \cdots ,{v_l})$以及 $n$个经过训练的隐藏层神经元 $({h_1},{h_2}, \cdots ,{h_n})$. 此外,RBM中的每个连接必须将一个可见层神经元连接到一个隐藏层神经元. 图中, ${{{W}}_{n \times l}}$为可见层和隐层之间的权矩阵; $a$为可见层神经元偏置, $a = ({a_1},{a_2}, \cdots ,{a_l})$$b$为隐藏层神经元偏置, $b = ({b_1}, {b_2}, \cdots ,{b_n})$. 对于一组给定的状态 $(v,h)$,定义如下能量函数:

$E(v,h) = - \sum\limits_{i \in {\rm{pixel}}} {{b_i}{v_i} - \sum\limits_{j \in {\rm{features}}} {{c_j}{h_j} - \sum\limits_{i,j} {{v_i}} } } {h_j}{W_{ij}}.$

式中:c为隐藏单元的偏置,c=(c1, c2, ···, cm);pixel为像素集合;fectures为特征集合.

假设 ${\forall {i,j}},{v_i} \in \left\{ {0,1} \right\},{h_j} \in \left\{ {0,1} \right\}$. 对于给定的 $v$,将每个隐藏层神经元 $j$的二进制状态 ${h_j}$设置为1概率:

$P({h_j} = 1\left| v \right.) = \sigma \left( {\sum\limits_{i = 1}^l {{W_{ij}}{v_i} + {c_j}} } \right).$

式中: $\sigma (x)$是S型函数, $\sigma (x) = 1/(1 + {{\rm{e}}^{ - x}})$. 一旦为隐藏层神经元选择了二进制状态,将每个 ${v_i}$的概率设为1,就会生成一个重构数据. 然后再次更新隐藏层神经元的状态,使它们表示重构数据的特征. 权重的变化量为

$\Delta {W_{ij}} = \varepsilon \left( {{{\left\langle {{v_i}{h_j}} \right\rangle }_{{\rm{data}}}} - {{\left\langle {{v_i}{h_j}} \right\rangle }_{{\rm{re}}}}} \right).$

式中: $\varepsilon $为学习的速率, ${\left\langle {{v_i}{h_j}} \right\rangle _{{\rm{data}}}}$为特征检测器由数据驱动时数据的比例, ${\left\langle {{v_i}{h_j}} \right\rangle _{{\rm{re}}}}$为重构的对应分数.

利用对称加权方法将随机二值特征与随机二值特征检测器连接起来构成两层RBM网络,可以对邻域特征进行建模. 这些特征对应于RBM的可见层神经单元,特征检测器对应于隐藏单元. 网络通过式(4)中的能量函数为每个可能的像素分配一个概率. 给定之前选择的训练样本集,使用RBMs进行预训练,在预训练前不使用类标签上的任何信息. 如图1(b)所示,取上层的输出作为下一层的输入. 这里,每一层都是一个两层RBM网络,按照前面描述的规则进行训练.

在预训练之后,将RBM模型展开,生成一个深度神经网络,最初使用相同的权值和偏差,如图1(c)所示. 整个网络采用交叉熵误差反向传播策略对权重进行微调,得到最优分类,如图1(d)所示. 交叉熵误差表达式为

$E = - \sum\limits_i {{e_i}{\mathop{\rm lg}\nolimits} {\kern 1pt} {\kern 1pt} {\kern 1pt} } {\hat e_i} - \sum\limits_i {(1 - {e_i})} \lg\; (1 - {\hat e_i}).$

式中: ${e_i}$为样本 $i$的标签, ${\hat e_i}$为分类结果.

通过对神经网络的训练和微调,建立最终的深度神经网络. 将每个位置的邻域特征输入深度神经网络中. 通过构建的神经网络对输入的像素进行标签分类. 类标签为0表示被更改的像素,类标签为1表示未更改的像素.

3. 实验与分析

3.1. 基于深度学习遥感影像变化检测方法流程

为了更好地说明本研究方法的思路,绘制基于深度学习的遥感影像变化检测方法流程图,如图2所示.

图 2

图 2   基于深度学习的遥感影像变化检测方法流程图

Fig.2   Flow chart of change detection method based on deep neural network


3.2. 遥感影像实验数据集及评价指标

选取3对不同分辨率的遥感影像进行变化检测实验. 第1个遥感影像数据集是由Landsat-7卫星的增强型专题绘图仪(enhanced thematic mapper,ETM)+传感器分别于2000年4月及2002年5月获得的两时相第4波段的影像,分辨率为30.0 m/像素,影像大小为512×512像素,如图3(a)所示. 第2个遥感影像数据集是由Spot5卫星分别于2006年5月和2007年8月获取的不同时相的遥感影像,包含红、绿、近红外3个波段,影像分辨率为2.5 m/像素,影像大小为560×440像素,如图3(b)所示. 第3个遥感影像数据集是由Ikonos卫星分别于2010年9月和2015年7月获取的两时相影像,包含红、绿、蓝三波段,分辨率为0.9 m/像素,影像大小为1394×801像素,如图3(c)所示. 上述实验影像在进行变化检测前都进行了精确配准及辐射校正.

图 3

图 3   实验遥感影像数据集

Fig.3   Experimental remote image data sets


本研究不仅通过变化检测效果图与参考变化影像进行对比来评价,而且采用5种客观评价指标,漏检数(false negatives,FN)、错检数(false positives,FP)、总错误数(overall errors,OE)、正确率(percentage correct classification,PCC)及Kappa系数(Kappa coefficient,KC),来定量进行评价.OE、PCC、KC的表达式分别为

$\left. \begin{array}{*{20}{c}} {{\rm{OE}} = {\rm{FN}} + {\rm{FP,}}}\\ {{\rm{PCC}} = ({\rm{TP}} + {\rm{TN}})/({\rm{TP}} + {\rm{TN}} + {\rm{FN}} + {\rm{FP}}),\;}\\ {{\rm{KC}} = \left( {{\rm{PCC}} - {\rm{PRE}}} \right)/(1 - {\rm{PRE),}}} \end{array}\right\} $

${\rm{PRE}} = \frac{{({\rm{TP}} + {\rm{FP}})({\rm{TP}} + {\rm{FN}})}}{{{{({\rm{TP}} + {\rm{TN}} + {\rm{FP}} + {\rm{FN}})}^2}}} + \frac{{({\rm{FN}} + {\rm{TN}})({\rm{FP}} + {\rm{TN}})}}{{{{({\rm{TP}} + {\rm{TN}} + {\rm{FP}} + {\rm{FN}})}^2}}}.$

式中:TN、TP分别为正确的未变化个数和正确的变化个数.

3.3. 粗变化检测图

3.3.1. 3组遥感影像数据集的DI构造

通过本研究构造DI方法获取3对实验影像的差异影像. 通过SSIM计算,对Landsat-7数据集、Spot5数据集、Ikonos数据集分别选取由灰度共生矩阵计算的均值、对比度、能量、熵、同质性(相关性)、方差等标量来描述影像纹理特征,并与CVA获得的DI、本研究DI(无去噪)进行对比,实验结果如图4所示. 可以看出,在经CVA构建的DI中存在未凸显的变化区域,并且变化区域较未变化区域凸显不明显. 本研究DI(无去噪)虽然可以使变化区域较未变化区域更凸显,并且凸显CVA方法没有凸显的变化区域(如图4中橙色矩形区域),但同时也引入了大量的白斑噪声,尤其对于Ikonos数据集.

图 4

图 4   本研究构造DI(无去噪)、本研究构造DI(变分去噪)及CVA方法获得的3组遥感影像数据集差异图

Fig.4   DIs of three remote sensing image data sets obtained by proposed DI (no denoising), proposed DI (variational denoising) and CVA method


本研究构造DI的融合比例主要根据在构造的DI中变化区域能否较未变化区域凸显更明显、能否凸显融合前未凸显的变化区域、能否尽量减少引入的白斑噪声及最终变化检测的精度为参考依据. 在通过CVA获得的不同时相遥感影像的差异图中,变化区域较未变化区域凸显不明显,因此在设定融合比例时,不同时相遥感影像的差异图的系数要大于1.0. 为了尽量减少由于融合纹理特征差异图而引入的白斑噪声及更好地凸显融合前未凸显的变化区域,纹理特征差异图的系数要设定为0~1.0,同时还要考虑变化检测的精度. 通过实验分析,Landsat-7数据集和Spot5数据集构造DI的融合比例为3.0和0.2,对于Ikonos数据集而言,为了更好地凸显融合前未凸显的变化区域,纹理特征差异图的系数要大些,因此,选择构造DI的融合比例为2.0和1.0.

3.3.2. 3组遥感影像数据集的DI(变分去噪)显著图及粗变化检测图

通过FDS方法获得DI(变分去噪)的显著性图. 为了能有效地选取可靠训练样本,同时避免增加DNNs训练的时间. 分别选取Landsat-7数据集、Spot5数据集、Ikonos数据集的DI(变分去噪)显著图的阈值为0.03、0.08、0.07,得到粗变化检测图,实验结果如图5所示. 可以看出,FDS方法可以较好地凸显变化区域. 由粗变化检测图可以看出,白色图斑基本包含参考变化影像中的变化区域.

图 5

图 5   3组遥感影像数据集DI显著性图及粗变化检测图

Fig.5   DI significance graph and coarse change detection graph of three remote sensing image data sets


3.4. 最终变化检测图

通过FCM将粗变化检测图分为3类(变化类、未变化类、不确定类),提取变化像素及未变化像素的邻域特征进行深度神经网络训练,并利用训练好的深度神经网络分类器对DI进行变化检测,获得最终变化检测图. 为了验证本研究方法的优越性,设计3个实验,第1个实验是为了验证本研究方法能够获得可靠的训练样本;第2个实验是为了验证本研究构建的变分去噪模型的有效性;第3个实验是为了验证本研究方法变化检测的性能.

1)实验1. 实验1选择CVA+FDS+FCM+DNNs、本研究方法(无去噪)与本研究方法(变分去噪)进行比较,实验结果如图6表1所示. 由图6可以看出,3组遥感影像数据集经CVA+FDS+FCM+DNNs方法获得的变化检测图中都丢失较多变化像素,因此,其FN大于本研究方法(无去噪)、本研究方法(变分去噪)的FN,如表1所示. Spot5数据集及Ikonos数据集经本研究方法(无去噪)获得的变化检测图中的白斑噪声多于CVA+FDS+FCM+DNNs方法及本研究方法(变分去噪). 因此,其FP最大. 从OE、KC及PCC可以看出,本研究方法(变分去噪)变化检测性能最好,精度最高. 通过上述实验分析可知,由于CVA构建的DI中存在没有凸显的变化区域及在获得DI(无去噪)中引入白斑噪声,从而容易提取变化区域中的像素作为未变化样本及白斑噪声作为变化的训练样本,导致训练样本可靠性降低. 本研究DI(变分去噪)不仅可以较好地凸显变化区域,同时也抑制了白斑噪声,从而可以提高后续获取训练样本的可靠性.

表 1   3组遥感影像变化检测评价指标统计结果(实验1)

Tab.1  Statistical results of change detection evaluation indexes of three remote sensing image data sets in experiment 1

数据集 方法 FN FP OE PCC KC
Landsat-7 CVA+FDS+FCM+DNNs 6380 241 6621 0.9742 0.8383
本研究方法(无去噪) 1752 1650 3402 0.9867 0.9259
本研究方法(变分去噪) 1686 1654 3340 0.9870 0.9272
Spot5数据集 CVA+FDS+FCM+DNNs 12360 6741 19101 0.9208 0.5761
本研究方法(无去噪) 7114 8023 15137 0.9373 0.6890
本研究方法(变分去噪) 6501 7766 14267 0.9409 0.7052
Ikonos数据集 CVA+FDS+FCM+DNNs 32816 5043 37859 0.9657 0.9075
本研究方法(无去噪) 19048 17875 36932 0.9666 0.9127
本研究方法(变分去噪) 18824 14228 33052 0.9701 0.9222

新窗口打开| 下载CSV


图 6

图 6   3组遥感影像数据集变化检测实验结果图(实验1)

Fig.6   Experimental results of three remote sensing image data sets change detection in experiment 1


2)实验2. 为了验证变分去噪模型的优越性,与引入Lee滤波、Frost滤波及均值滤波等方法进行比较,实验结果如图7表2所示. 由图7可以看出,对于3组遥感影像数据集而言,经本研究方法(变分去噪)获得的变化检测图中白斑噪声较少,因此,FP最小,如表2所示. 说明在抑制白斑噪声的效果上,变分去噪模型好于其他去噪方法. 对于Spot5数据集及Ikonos数据集而言,经本研究方法(变分去噪)获得变化检测图的FN较其他比较方法小,如表2所示. 说明在保留微小变化区域的效果上,变分去噪模型好于其他去噪方法. 从3组数据集的PCC和KC可以看出,本研究方法(变分去噪)的变化检测性能最优. 通过上述实验分析可知,在变化检测的效果上,变分去噪模型好于其他比较去噪方法.

表 2   本研究方法的不同去噪方法对3组遥感数据集变化检测评价指标统计结果

Tab.2  Statistical results of change detection and evaluation indicators of three remote sensing image data sets by different denoising methods in proposed method

数据集 去噪方法 FN FP OE PCC KC
Landsat-7 Lee滤波 1532 1861 3393 0.9868 0.9256
Frost滤波 1562 1829 3392 0.9868 0.9257
均值滤波 1514 1834 3348 0.9869 0.9266
变分去噪 1686 1654 3340 0.9870 0.9272
Spot5数据集 Lee滤波 6877 8022 14899 0.9382 0.6928
Frost滤波 7031 7902 14933 0.9381 0.6934
均值滤波 6752 8064 14816 0.9387 0.6942
变分去噪 6501 7766 14267 0.9409 0.7052
Ikonos数据集 Lee滤波 22474 14482 36956 0.9663 0.9128
Frost滤波 23189 14482 37671 0.9659 0.9117
均值滤波 20523 15037 35560 0.9678 0.9164
变分去噪 18824 14228 33052 0.9701 0.9222

新窗口打开| 下载CSV


图 7

图 7   本研究方法的不同去噪方法对3组实验遥感影像数据集变化检测结果图

Fig.7   Change detection results of three experimental remote sensing image data sets by different denoising methods in proposed method


3)实验3. 为了验证本研究方法的优越性,与CVA+FLICM、CVA+MRFFCM、CVA+SVM、CVA+FDS+FCM+ELM、PCAKM[6]、JFCM+DNNs[12]等方法进行比较,实验结果如图8表3所示. 由图8可以看出,对于Landsat-7数据集而言,经CVA+MRFFCM、CVA+SVM、JFCM+DNNs方法获得的变化检测图中出现较多白斑噪声,因此,这些方法的FP较大,如表3所示. 经CVA+FDS+FCM+ELM、PCAKM方法获得变化检测图中丢失较多变化区域,因此,这2种方法的FN较大,如表3所示. 从变化检测效果图来看,CVA+FLICM及本研究方法(变分去噪)变化检测效果较好. 不过,从表3可以看出,本研究方法(变分去噪)的KC及PCC最大的,说明本研究方法(变分去噪)对Landsat-7变化检测效果最好. 对于Spot5数据集而言,经CVA+FLICM、CVA+FDS+FCM+ELM方法获得的变化检测图丢失较多变化区域,因此,这2种方法的FN较大. 经CVA+MRFFCM、CVA+SVM、PCAKM方法获得的变化检测图中不仅出现较多白斑噪声,而且也丢失较多变化区域,因此,这3种方法的FN及FP都较大. 本研究方法(变分去噪)及JFCM+DNNs方法获得的变化检测图效果较好,但从变化检测客观评价指标来看,本研究方法(变分去噪)对Spot5数据集变化检测效果仍然最好. 对于Ikonos数据集而言,经CVA+FLICM、CVA+MRFFCM、CVA+SVM、PCAKM方法获得的变化检测图中出现较多白斑噪声,而经CVA+FDS+FCM+ELM方法及JFCM+DNNs方法获得的变化检测图中丢失较多变化区域. 由表3可以看出,本研究方法的OE最小,KC及PCC最大,说明本研究方法对Ikonos数据集变化检测效果最好.

表 3   3组遥感影像变化检测评价指标统计结果(实验2)

Tab.3  Statistical results of change detection and evaluation indexes of three remote sensing image data sets in experiment 2

数据集 方法 FN FP OE PCC KC
Landsat-7 CVA+FLICM 1113 3506 4619 0.9824 0.8956
CVA+MRFFCM 1439 4272 5711 0.9782 0.8699
CVA+SVM 1567 6286 7753 0.9704 0.8466
CVA+FDS+FCM+ELM 7983 189 8172 0.9688 0.7952
PCAKM 5103 833 5936 0.9774 0.8611
JFCM+DNNs 346 7658 8004 0.9687 0.7996
本研究方法(变分去噪) 1686 1654 3340 0.9870 0.9272
Spot5数据集 CVA+FLICM 26418 3481 29899 0.8787 0.5257
CVA+MRFFCM 25247 12176 37423 0.8481 0.4582
CVA+SVM 26364 9287 35651 0.8553 0.4649
CVA+FDS+FCM+ELM 32611 1766 34377 0.8605 0.4093
PCAKM 28269 9808 38077 0.8455 0.4211
JFCM+DNNs 9508 8314 17822 0.9261 0.6456
本研究方法(变分去噪) 6501 7766 14267 0.9409 0.7052
Ikonos数据集 CVA+FLICM 40622 27961 68583 0.9386 0.8366
CVA+MRFFCM 39397 42065 81462 0.9270 0.8094
CVA+SVM 42581 31325 73906 0.9338 0.8243
CVA+FDS+FCM+ELM 40950 23812 64762 0.9420 0.8449
PCAKM 48680 45876 94556 0.9153 0.7773
JFCM+DNNs 14724 34830 49554 0.9551 0.8800
本研究方法(变分去噪) 18824 14228 33052 0.9701 0.9222

新窗口打开| 下载CSV


图 8

图 8   3组遥感影像数据集变化检测实验结果图(实验2)

Fig.8   Experimental results of three remote sensing image data sets change detection in experiment 2


对比本研究方法与其他对比方法,变化检测方法的精度受DI构造、可靠样本选取及分类方法效果等的影响. FLICM分类方法虽然可以抑制噪声,保留图像细节,无须设置任何参数,但经CVA获得的差异影像凸显变化区域的效果不好,因此,CVA+FLICM方法的检测效果受到影响. MRFFCM方法虽然将马尔可夫随机场(Markov random field,MRF)的空间邻域信息引入聚类方法中,但FCM方法对噪声较敏感,因此变化检测图中的错检数较多. PCAKM方法是通过主成分分析(principal component analysis,PCA)构造DI的特征向量空间,然后通过k-均值聚类方法将特征聚类到变化类和未变化类中,但由于CVA获得的差异影像凸显效果不明显,并且主成分分析法容易把白斑噪声当成变化类,从而降低变化检测的精度. SVM、ELM及DNNs等机器学习方法具有较好的分类效果,但CVA、CVA+FDS+FCM及JFCM提取变化及未变化的训练样本可靠性较差,ELM分类结果不稳定且SVM方法、DNNs方法对可靠样本的依赖性较强,因此,这3种方法变化检测的效果较本研究方法差. 虽然JFCM+DNNs方法起初是针对SAR影像进行变化检测的,但此方法在光学影像上同样适用,而且SAR影像受斑点噪声的影响较光学影像大,因此利用JFCM在光学影像上提取的训练样本的可靠性要优于在SAR影像上提取的训练样本.

3.5. 参数确定

1) ${\lambda _0}$参数. ${\lambda _0}$选择主要以变化检测的精度为主要参考(PCC及KC). ${\lambda _0}$不宜过大,否则在去除斑点噪声的同时微小变化区域也会被去除. 通过实验分析,对于Landsat-7、Spot5数据集和Ikonos数据集选取 ${\lambda _0}$分别为0.6、0.6、0.4.

2)特征提取的邻域窗口k的大小. k的大小是影响最终变化检测结果的重要参数,邻域窗口k主要由变化检测的精度(PCC、KC)决定. 邻域窗口k不宜过大,否则不仅会增加数据量,还会引入变化检测的不确定性因素,导致变化检测性能下降. 因此,选取k=3、5、7、9、11、13进行实验比较. 根据实验分析,对于Landsat-7、Spot5数据集及Ikonos数据集,当k=5时,PCC和KC最大.

3)DNNs参数. 为了创建高性能的DNNs,须调整较多参数,例如批处理大小、每个数据集训练的迭代次数、层数等. 通过实验分析,本研究DNNs参数的确定主要根据变化检测的精度(PCC、KC)来决定. 通过实验分析,Landsat-7数据集、Spot5数据集及Ikonos数据集分别选择批处理的大小为10、5、10,每个数据集训练迭代次数为 32、40、22,使用深度网络架构均为50-250-1,达到的分类效果最好.

4. 结 论

(1)本研究构建的DI及变分去噪方法不仅能较好地凸显变化的区域,减少数据冗余,而且能减少纹理差异影像融入时增加的白斑噪声对变化检测精度的影响,提高后续分类的性能.

(2)通过FDS+FCM方法不仅可以有效锁定变化区域,而且能更好地提取可靠训练样本.

(3)由实验分析可知,DI构建、训练样本选取及聚类方法3个环节均影响变化检测的精度. 如果构造的DI凸显变化区域的效果不好,那么再好的聚类方法也达不到好的变化检测效果. 同样,提取训练样本的可靠性差或者聚类性能不高,也会降低变化检测的性能.

(4)从DI构造、训练样本选取及聚类方法等三方面进行分析,提出基于监督分类的深度神经网络学习变化检测方法,与其他方法相比,本研究方法的变化检测性能最好.

(5)本研究方法仍存在一些不足,比如,参数较多,训练的速度较慢;参数选择无法实现自动方式确定.

(6)下一步研究针对不同类型影像自动选取融合系数值的方法,从而使方法的适应性更强。

参考文献

HUSSAIN M, CHEN D, CHENG A

Change detection from remotely sensed images: from pixel-based to object-based approaches

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 80 (2): 91- 106

[本文引用: 1]

BOVOLO F, BRUZZONE L

A theoretical framework for unsupervised change detection based on change vector analysis in the polar domain

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45 (1): 218- 236

DOI:10.1109/TGRS.2006.885408      [本文引用: 1]

ZHANG M, ZHAO Y

Object-oriented and multi-feature hierarchical change detection based on CVA for high-resolution remote sensing imagery

[J]. Journal of Remote Sensing, 2018, 22 (1): 119- 131

[本文引用: 1]

FENG W, ZHANG Y. Object-oriented change detection for remote sensing images based on multi-scale fusion [J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(10): 1142-1151.

LI L, SHU N, WANG K

Change detection method for remote sensing images based on multi-features fusion

[J]. Acta Geodaetica et Cartogrphica Sinica, 2014, 43 (9): 945- 953

[本文引用: 1]

CELIK T

Unsupervised change detection in satellite images using principal component analysis and k-means clustering

[J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6 (4): 772- 776

DOI:10.1109/LGRS.2009.2025059      [本文引用: 2]

MISHRA N S, GHOSH S, GHOSH A

Fuzzy clustering algorithms incorporating local information for change detection in remotely sensed images

[J]. Applied Soft Computing, 2012, 12 (8): 2683- 2692

DOI:10.1016/j.asoc.2012.03.060      [本文引用: 1]

STELIOS K, VASSILIOS C

A robust fuzzy local information C-means clustering algorithm

[J]. IEEE Transactions on Image Processing, 2010, 19 (5): 1328- 1337

DOI:10.1109/TIP.2010.2040763      [本文引用: 1]

GONG M, ZHOU Z, MA J

Change detection in synthetic aperture radar images based on image fusion and fuzzy clustering

[J]. IEEE Transactions on Image Processing, 2012, 21 (4): 2141- 2151

DOI:10.1109/TIP.2011.2170702      [本文引用: 1]

GAO F, DONG J, LI B. Change detection from synthetic aperture radar images based on neighborhood-based ratio and extreme learning machine[J]. Journal of Applied Remote Sensing, 2016, 10(4): 1-14.

[本文引用: 1]

TAN K, JIN X, PLAZA A

Automatic change detection in high-resolution remote sensing images by using a multiple classifier system and spectral-spatial features

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9 (8): 3339- 3451

[本文引用: 1]

GONG M, ZHAO J, LIU J

Change detection in synthetic aperture radar images based on deep neural networks

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27 (1): 125- 138

DOI:10.1109/TNNLS.2015.2435783      [本文引用: 3]

ZHANG X, CHEN X, LI F

Change detection method for high resolution remote sensing images using deep learining

[J]. Acta Geodaetica et Cartogrphica Sinica, 2017, 46 (8): 999- 1008

[本文引用: 1]

王昶, 王旭, 纪松

采用变分法的遥感影像条带噪声去除

[J]. 西安交通大学学报, 2019, 53 (3): 143- 149

[本文引用: 1]

WANG Chang, WANG Xu, JI Song

Strip noise removal of remote images by variation

[J]. Journal of Xi'an Jiaotong University, 2019, 53 (3): 143- 149

[本文引用: 1]

WANG Z, BOVIK A C

A universal image quality index

[J]. IEEE Signal Processing Letters, 2002, 9 (3): 81- 84

DOI:10.1109/97.995823      [本文引用: 1]

/