面向对象轮廓约束GGVF Snake的建筑物边界优化方法
Building boundary optimization method based on object-oriented contour constraint GGVF Snake model
通讯作者:
收稿日期: 2020-11-20
基金资助: |
|
Received: 2020-11-20
Fund supported: | 国家自然科学基金资助项目(41872129);自然资源部地理国情监测重点实验室开放基金资助项目(2020NGCM07);武汉大学测绘遥感信息工程国家重点实验室开放基金资助项目(18R04);海南省地球观测重点实验室开放基金资助项目(2020LDE001) |
作者简介 About authors
常京新(1995—),男,硕士生,从事高分辨率遥感影像智能解译的研究.orcid.org/0000-0002-1086-0608.E-mail:
分析高分辨率遥感影像中建筑物的特征和常用方法提取建筑物存在边界漏检误检导致的边界不规则等问题,提出面向对象轮廓约束广义梯度矢量流(GGVF)Snake模型的建筑物边界优化方法. 在利用分类法获取建筑物轮廓的初始结果基础上,自动提取每个建筑物轮廓线作为GGVF Snake的初始轮廓线,获取各轮廓外接矩形进行对象裁剪,提取每个建筑物的子图对象. 对每个子图对象进行Canny边缘检测,结合Hough变换提取直线特征,输入到广义梯度矢量流模型的迭代求解中快速最小化能量函数,实现对象级建筑物轮廓的精确优化. 实验结果表明,利用提出的方法能够自动获取初始建筑物的轮廓信息,提高优化的自动化程度;基于对象级的边缘检测与直线特征的加入,有助于GGVF Snake快速拟合,准确地平滑建筑物边缘且准确度高. 相对于其他对比方法,本文方法的轮廓优化总体精度和综合值均有提升,可以作为有效提升分类原理获取的建筑物轮廓的优化后处理手段,提高了建筑物提取的精度.
关键词:
An object-oriented contour constrained generalized gradient vector flow (GGVF) Snake model for building boundary optimization method was proposed by analyzing the features of buildings and the problems of conventional methods that the irregular boundary problem caused by false classification is pervasive. Each building boundary was automatically extracted as the initial boundary of GGVF Snake based on the initial building results obtained by classification. The circumscribed rectangle of each building boundary was obtained for object clipping in order to extract each building sub-image object. Canny edge detection was performed on each sub-image object to acquire each building boundary result that will be combined with Hough transform to extract linear features. Then the linear features were inputted into the generalized gradient vector flow model’s iterative solution to minimize the energy function. Then the precise of the object-level building contour was enhanced. The experimental results show that the proposed method can automatically obtain the initial building boundary information and improve the automation degree of optimization. The object-level contour detection and the addition of line features help GGVF Snake quickly fit and accurately smooth the building boundary to enhance the contour accuracy. The overall accuracy and comprehensive value of the proposed method are improved compared with other contour optimization methods. Thus the method can be used as an effective post-processing optimization method for the classification principle to improve the building extraction precision.
Keywords:
本文引用格式
常京新, 高贤君, 杨元维, 李少华, 王萍.
CHANG Jing-xin, GAO Xian-jun, YANG Yuan-wei, LI Shao-hua, WANG Ping.
建筑物作为重要的人工地物之一,从高分辨率遥感影像中完整准确地提取建筑物在城市规划、土地资源利用和地图制图与更新等方面发挥着重要作用. 影像分类提取建筑物是目前常用的方法之一,但普遍存在易受周边地物特征的干扰导致轮廓不规则的问题,在复杂场景下更突出;因此,研究建筑物优化方法具有重要的研究意义.
目前,遥感影像建筑物提取优化的方法主要有以下3种:形态学处理法、图像特征法、深度学习法. 形态学处理法通过形态学建筑物指数、开运算和闭运算等方法优化建筑物[1-2]. 林祥国等[3]利用影像分割、顶帽重建技术获得建筑物的二值图,再进行图斑剔除及其他后处理实现建筑物的提取优化. 高贤君等[4]将影像分类后通过建筑物与阴影的关系提取建筑物,使用腐蚀、膨胀和区域增长等方法优化建筑物结果. 该方法将一幅影像中所有的建筑物一起优化,不能全面地考虑不同建筑物的细节差异. 图像特征法主要是利用建筑物轮廓直线的走向、拐角点、外接矩形等提取优化建筑物轮廓[5-6]. 周绍光等[7]通过获取建筑物角度纹理特征、光谱特征构造特征矢量,提取建筑物候选点,利用最小二乘匹配模板筛选建筑物拐角点并有序连接得到建筑物轮廓. 尹峰等[8]使用基于模板的角点检测算子提取角点,综合角点的位置、角度和显著性等信息,利用空间投票和阈值分割提取建筑物. 这类方法受到建筑物周边地物的影响较大,导致提取的建筑物轮廓局部不规则. 基于深度学习的建筑物提取更注重在模型结构、样本增强和时间效率等方面改进模型检测能力,直接提高检测精度,从而无须进行后处理优化;由于受到模型迁移能力的影响,实际上难以达到高精度的检测,而且该类方法在边缘上的关注度较低,未进一步关注边缘像素点分散,植被或阴影遮挡造成漏检和误检等.
由于GGVF Snake[9]作为活动轮廓优秀模型——梯度矢量流GVF Snake[10-12]的改进模型,收敛效果更理想[13],更适用于场景复杂的建筑物轮廓的提取优化. 本文提出面向对象轮廓约束GGVF Snake模型的建筑物边界优化方法. 在利用分类法获得建筑物轮廓的初始结果基础上,利用建筑物轮廓的外接矩形裁剪出每一个建筑物对象子图,将每个建筑物轮廓的初始结果作为GGVF Snake的初始轮廓线. 通过对单个建筑物对象子图的原始影像进行Canny边缘检测及Hough变换提取直线特征,用于约束GGVF Snake模型的迭代求解,快速最小化能量方程,向建筑物的实际边界精准逼近,实现对象级建筑物轮廓的准确优化,进一步提高分类提取建筑物的精度.
1. 改进GGVF Snake模型的建筑物边缘优化方法
1.1. 建筑物初始结果的提取
目前,基于遥感影像提取建筑物的方法包括分类法、区域分割法、深度学习法等方法,但仍然普遍存在边缘轮廓不规则的问题. 本文以高分辨率遥感影像的建筑物轮廓优化为研究目标,对建筑物轮廓初始结果的提取方法不作限定. 只要能够提供合理的初始结果,本文方法将以该初始结果为基础,开展轮廓优化. 本文采用高贤君等[4]提出的方法,提取建筑物初始轮廓. 该初始轮廓结果将作为本文方法开展轮廓优化的初始结果,提供建筑物对象信息及GGVF Snake模型的初始种子点信息,通过提出的改进GGVF Snake模型,快速、准确地优化建筑物轮廓,使建筑物轮廓更加规则、有效.
1.2. 对象级建筑物目标信息提取
为了精准地优化各个建筑物轮廓,利用初始结果获取外接矩形,进行建筑物对象的子图裁剪. 通过将各个建筑物分别进行边缘检测、直线提取,为GGVF Snake边缘优化提供更加准确的对象级建筑物目标信息.
为了减少建筑物周围其他地物的干扰,提高优化效率,通过获取建筑物初始结果中各建筑物的最小外接矩形,并将最小外接矩形向外膨胀一定面积,以该区域为子图裁剪窗口,获取建筑物对象子图. 这样能够更完整地保留建筑物边缘信息,在理想情况下,该子图包含了完整的建筑物边缘信息及少量的周边地物. 以该对象级的建筑物子图进行边缘优化操作,将会大大避免其他干扰因素的影响.
对每个子图采用Canny双阈值算子进行边缘检测,获取遥感影像的边缘信息. 利用该方法有效平衡了检测快捷、定位准确、最小响应的边缘检测最优标准[14]. 基本步骤如下:利用高斯平滑滤波器进行平滑滤波;计算梯度的方向和大小;对梯度幅值进行非极大值抑制. 通过高阈值确定不含虚假边缘的边缘片段,通过低阈值将边缘片段连接成完整的轮廓. 提取的边缘信息将进一步用于Hough变换,提取直线段信息.
为了完整、正确地检测出建筑物的边缘直线段,避免出现过多的干扰直线,采用累计概率Hough变换[15]检测建筑物轮廓线.
1.3. 改进GGVF Snake的建筑物边缘优化方法
当采用传统GGVF Snake方法提取建筑物轮廓时,模型所需要的初始轮廓需要手工设定,难度受形状复杂度的影响;GGVF力场迭代的次数与建筑物边缘的初始轮廓设置密切相关,提取的建筑物边缘精度无法满足要求. 设计的方法从细节上层层改进,获取更准确逼近的轮廓边缘图方面突破,以更准确地提取目标轮廓.
1.3.1. GGVF Snake模型
Snake模型以构成一定形状的控制点为模板(轮廓线),通过模板自身内力的形变,与外部力的引导达到调和,即某种能量函数极小化,完成对目标物的识别. GGVF Snake模型具有自适应扩散的能力,基本思想是将梯度场f向图像边缘迭代扩散. 假设f (x,y)为图像I (x,y)的初始轮廓,梯度场为▽f,则GGVF的能量函数可以表示为
利用变分法,得到泛函式(1)对应的尤拉方程:
式中:右边第1项为平滑项,它会产生一个平缓变化的矢量场;第2项为数据项,它促使矢量n逼近边缘图的梯度场
定义函数g(|
式中:k决定了平滑作用和梯度一致性之间的平衡度. 除了在一般形状上分割效果优异外,在处理凹形及长管形边界时,该方法取得了较好的分割效果.
1.3.2. 初始轮廓获取
GGVF Snake初始轮廓与目标轮廓的边缘越接近,越有利于降低算法迭代次数,提高效率;当形状越相似时,有利于初始轮廓向目标轮廓准确收敛,提高精度.
在获得建筑物初始结果后,利用Suzuki等[17] 的方法获得各建筑物的轮廓点坐标:通过扫描整个二值图,寻找边界的起始点和终止点,每找到一个边界就用一个唯一的数字去标记,最后标记值相同的像素点属于同一边界,不同边界之间的层次关系通过标记值保存下来. 利用该方法能够准确地找到建筑物轮廓点,可以作为GGVF Snake的初始轮廓线.
1.3.3. GGVF力场计算
使用经过高斯平滑后的梯度图[18]计算输入图像I (x,y)的边缘图f (x,y),即
式中:G(x,y)为高斯滤波函数,
式中:Δx和Δy为像元间隔,一般为1;Δt为每次迭代的时间步长;gmax为在边缘图中遇到的渐变范围内g(·)的最大值.
图 1
1.4. 本文流程
该方法的流程如图2所示. 从高分辨率遥感影像中提取建筑物轮廓,获取建筑物轮廓的初始结果及外接矩形. 为了使初始建筑物轮廓尽量处于真实建筑物内部,将建筑物轮廓腐蚀一定像素后,作为GGVF Snake模型的初始轮廓. 为了裁剪时提高建筑物的完整度,将外接矩形向外膨胀一定像素,提取建筑物子图对象. 利用Canny双阈值算子进行边缘检测,得到高分辨率遥感影像的边缘检测图,开展累计概率Hough变换,提取直线特征. 利用高斯算子计算每一个建筑物Hough变换后的边缘图,通过梯度矢量场的迭代求解,并最小化能量函数获取优化后的建筑物轮廓信息. 依次处理每个子图,待所有建筑物处理完成后,再还原各处理后的子图到初始建筑物轮廓提取结果图对应位置,输出整幅影像建筑物的最终轮廓优化结果.
图 2
图 2 建筑物轮廓优化的流程图
Fig.2 Flow chart of proposed building outline optimization algorithm
2. 试验与分析
式中:|CTP|为建筑物轮廓边缘被判断为建筑物轮廓边缘的像素,|CTotal|为建筑物真值轮廓边缘的像素.
2.1. 试验对比分析
图 3
图 3 影像#1的建筑物轮廓优化方法对比
Fig.3 Comparison of building outline optimization methods for image #1
图 4
图 4 影像#2的建筑物轮廓优化方法对比
Fig.4 Comparison of building outline optimization methods for image #2
图 5
图 5 影像#3的建筑物轮廓优化方法对比
Fig.5 Comparison of building outline optimization methods for image #3
从图3~5和表1可以看出,文献[8]方法对角点检测的精度依赖较大,当建筑物受到树丛、阴影遮挡时,不能检测到角点或角点检测错误时,通常会出现提取到的建筑物部分或整体缺失的情况. 利用U-Net提取方法能够较好地综合影像纹理和光谱的信息,提取建筑物较精确,但训练速度慢且建筑物边缘不平滑. 文献[4]方法综合整幅影像处理,能够提取出绝大部分建筑物,但有少许建筑物面积太小或光谱特征不明显导致漏分,也有建筑物受到周围地物或植被的影响导致部分轮廓的错分和漏分. 传统的GGVF Snake方法易受周边地物的影响,除了存在细条状的毛边外,建筑物边缘小的凹陷一般不能识别保留. 文献[5]方法对建筑物边缘的优化效果较好,能够去除边缘毛边和不平整的地方,但是该方法对于复杂建筑的优化效果稍有欠缺,比如图3~5中的非直角建筑物,就会产生一定的错误优化,导致整体的优化精度降低. 该方法利用裁剪单个建筑物对象的方法,分别对建筑物进行处理优化,在突出处理对象特征的同时,能够减少周围地物的影响,因此该方法提取的建筑物轮廓边缘较平滑,无细条状的毛边,能够较好地保留小的凹陷边缘.
表 1 对图3~5中不同方法结果的客观评价
Tab.1
影像编号 | 对比方法 | CM/% | CR/% | F1/% | OA/% | CA/% |
#1 | 文献[8]的建筑物提取结果 | 92.54 | 98.83 | 95.58 | 91.54 | 15.54 |
#1 | 文献[4]的建筑物提取结果 | 94.82 | 95.67 | 95.24 | 90.93 | 19.10 |
#1 | 传统GGVF Snake优化文献[4]的结果 | 94.11 | 97.69 | 95.87 | 92.07 | 24.30 |
#1 | 文献[5]优化文献[4]的结果 | 94.63 | 96.82 | 95.71 | 91.78 | 23.86 |
#1 | 本文方法优化文献[4]的结果 | 95.81 | 98.88 | 97.32 | 94.78 | 29.81 |
#1 | U-Net神经网络提取结果 | 94.85 | 96.26 | 95.55 | 91.49 | 16.16 |
#1 | 本文方法优化U-Net结果 | 99.36 | 96.06 | 97.68 | 95.47 | 41.49 |
#2 | 文献[8]的建筑物提取结果 | 89.64 | 90.73 | 90.18 | 82.11 | 23.73 |
#2 | 文献[4]的建筑物提取结果 | 85.44 | 93.98 | 89.50 | 81.00 | 17.47 |
#2 | 传统GGVF Snake优化文献[4]的结果 | 85.53 | 92.20 | 88.74 | 79.76 | 18.11 |
#2 | 文献[5]优化文献[4]的结果 | 88.60 | 88.06 | 88.33 | 79.10 | 17.52 |
#2 | 本文方法优化文献[4]的结果 | 87.02 | 96.41 | 91.47 | 84.29 | 19.65 |
#2 | U-Net神经网络提取结果 | 97.98 | 92.29 | 95.05 | 90.57 | 17.33 |
#2 | 本文方法优化U-Net结果 | 97.82 | 93.00 | 95.35 | 91.12 | 38.61 |
#3 | 文献[8]的建筑物提取结果 | 81.89 | 97.34 | 88.95 | 80.10 | 9.14 |
#3 | 文献[4]的建筑物提取结果 | 79.77 | 99.31 | 88.48 | 79.34 | 8.90 |
#3 | 传统GGVF Snake优化文献[4]的结果 | 86.41 | 98.64 | 92.12 | 85.40 | 19.90 |
#3 | 文献[5]优化文献[4]的结果 | 91.36 | 92.83 | 92.09 | 85.34 | 20.76 |
#3 | 本文方法优化文献[4]的结果 | 98.46 | 94.72 | 96.55 | 93.34 | 38.06 |
#3 | U-Net神经网络提取结果 | 82.56 | 96.78 | 89.10 | 80.35 | 12.05 |
#3 | 本文方法优化U-Net结果 | 86.78 | 96.96 | 91.58 | 84.48 | 20.01 |
为了更加直观地体现各方法的差异性,从试验影像中截取4幅单个建筑物影像进行对比,如图6所示. 文献[8]、[4]的方法对屋顶光谱均匀的建筑物提取较好,当差异较大时,存在漏检. 传统GGVF方法对于弱边缘不能很好地判断,导致错误提取;当屋顶有阴影时,易将阴影边界作为建筑物边界,导致漏检. 文献[5]方法对矩形建筑物的优化效果较好,但是对于圆弧形建筑物,优化效果有一定的偏差. U-Net神经网络的尺度信息泛化能力有限,易将周围小物体错分成建筑物,比如第2幅图的上方部分. 该方法能够在识别弱边缘的同时,通过GGVF Snake模型的不断迭代,向建筑边缘逼近,得到完整的建筑物轮廓. 综合来看,利用该方法能够取得更好的效果.
图 6
图 6 利用不同方法对单个建筑物的优化结果对比
Fig.6 Comparison of optimization results by using different methods for single building
2.2. 数据集精度的对比
图 7
2.3. 效率分析
表 2 3种优化方法的运行效率对比
Tab.2
方法 | t /s | ||
影像#1 | 影像#2 | 影像#3 | |
传统GGVF Snake | 35.21 | 548.32 | 465.34 |
文献[5]方法 | 3.92 | 216.45 | 145.08 |
本文方法 | 3.35 | 75.56 | 68.45 |
3. 结 语
针对高分辨率遥感影像建筑物的信息提取,本文提出面向对象轮廓约束GGVF Snake模型的建筑物边界优化方法. 通过初始建筑物提取结果获得GGVF Snake的初始种子点,不仅减少了手工设置的初始边界步骤,而且实现了向建筑物实际边界的逼近,减小了算法搜索实际边界的时间,有效提高了提取精度. 初始轮廓提供了单个建筑物的裁剪范围,有利于实现对象级分析. 对裁剪出的单个建筑物对象子图,使用Canny边缘检测后进行Hough变换,可以较精确地获得建筑物的约束线段;使用GGVF Snake达到能量最小化,获得高精度且平滑的建筑物轮廓.
参考文献
高分辨率遥感影像建筑物分级提取
[J].
Study on hierarchical building extraction from high resolution remote sensing imagery
[J].
增强形态学建筑物指数应用于高分辨率遥感影像中建筑物提取
[J].
An enhanced morphological building index for building extraction from high-resolution images
[J].
面向对象的形态学建筑物指数及其高分辨率遥感影像建筑物提取应用
[J].DOI:10.11947/j.AGCS.2017.20170068 [本文引用: 1]
Object-based morphological building index for building extraction from high resolution remote sensing imagery
[J].DOI:10.11947/j.AGCS.2017.20170068 [本文引用: 1]
城郊高分影像中利用阴影的建筑物自动提取
[J].
Automatic building extraction based on shadow analysis from high resolution images in suburb areas
[J].
高分遥感影像建筑物轮廓的逐级优化方法
[J].DOI:10.3788/CJL202047.1010002 [本文引用: 12]
Hierarchical optimization method of building contour in high-resolution remote sensing images
[J].DOI:10.3788/CJL202047.1010002 [本文引用: 12]
多星形约束图割与轮廓规则化的高分遥感影像直角建筑物提取
[J].DOI:10.11947/j.AGCS.2018.20170486 [本文引用: 1]
Right-angle buildings extraction from high-resolution aerial image based on multi-stars constraint segmentation and regularization
[J].DOI:10.11947/j.AGCS.2018.20170486 [本文引用: 1]
高分辨率遥感影像的建筑物轮廓信息提取方法
[J].
Extraction of building contour from high resolution images
[J].
基于角点的高分辨率遥感影像建筑物提取
[J].DOI:10.3969/j.issn.1672-4623.2018.10.017 [本文引用: 8]
Building extraction from high-resolution remote sensing images based on junction detection
[J].DOI:10.3969/j.issn.1672-4623.2018.10.017 [本文引用: 8]
Generalized gradient vector flow external forces for active contours
[J].DOI:10.1016/S0165-1684(98)00140-6 [本文引用: 3]
White blood cell extraction on fractional calculus and gradient vector flow snake for Leukocyte classification on support vector machines
[J].DOI:10.1166/jmihi.2018.2425 [本文引用: 1]
一种改进的GVF蛇模型水域矢量边界更新方法
[J].
A method of water vector edge updating based on improved GVF snake model
[J].
GVF Snake与显著特征相结合的高分辨率遥感图像道路提取
[J].DOI:10.11947/j.AGCS.2017.20170393 [本文引用: 1]
Road extraction from high-spatial-resolution remote sensing image by combining GVF snake with salient features
[J].DOI:10.11947/j.AGCS.2017.20170393 [本文引用: 1]
Snake模型在图像分割中的应用研究
[J].DOI:10.3969/j.issn.1001-9960.2013.04.039 [本文引用: 1]
Application research of snake model in image segmentation
[J].DOI:10.3969/j.issn.1001-9960.2013.04.039 [本文引用: 1]
Canny双阈值算子在边缘提取中的优势
[J].DOI:10.3969/j.issn.1672-4623.2019.11.036 [本文引用: 1]
Advantages of Canny double threshold operator in edge extraction
[J].DOI:10.3969/j.issn.1672-4623.2019.11.036 [本文引用: 1]
基于概率霍夫变换的车道线识别算法
[J].
Research on lane recognition algorithm based on probability Hough transform
[J].
基于HSV颜色模型的广义梯度矢量流图像分割方法
[J].DOI:10.3969/j.issn.1004-9037.2005.04.006 [本文引用: 1]
GGVF method for image segmentation based on HSV
[J].DOI:10.3969/j.issn.1004-9037.2005.04.006 [本文引用: 1]
Topological structural analysis of digitized binary images by border following
[J].DOI:10.1016/0734-189X(85)90016-7 [本文引用: 1]
Snakes, shapes, and gradient vector flow
[J].DOI:10.1109/83.661186 [本文引用: 1]
U-Net: convolutional networks for biomedical image segmentation
[J].
高分辨率影像分类提取建筑物轮廓的优化方法
[J].DOI:10.3788/LOP57.022801 [本文引用: 1]
Optimization of building contours by classifying high-resolution images
[J].DOI:10.3788/LOP57.022801 [本文引用: 1]
/
〈 |
|
〉 |
