基于样本形态变换的高分遥感影像建筑物提取
Building extraction from high resolution remote sensing image based on samples morphological transformation
通讯作者:
收稿日期: 2019-05-13
Received: 2019-05-13
作者简介 About authors
冉树浩(1996—),男,硕士生,从事高分辨率遥感影像智能解译研究.orcid.org/0000-0002-4377-9048.E-mail:
针对高分辨率遥感影像中建筑物屋顶光谱信息多变引起建筑物提取精度降低的问题,提出基于样本形态变换的建筑物提取方法. 利用偏移阴影分析法自动提取初始建筑物样本,根据建筑物屋顶形态特征,合理利用样本旋转、偏移、缩放变换方法,构建自适应样本精细提取变换组合,以更完整、全面地提取建筑物样本;结合支持向量机(SVM)分类器进行影像分类,得到建筑物初始提取结果;提出基于形态特征的格网占比法对初始提取结果进行确认,剔除不规则非建筑物,实现对建筑物的准确提取. 对高分辨率遥感影像进行对比实验分析,以验证方法的有效性. 结果表明,与面向对象分类、反向传播(BP)神经网络、基于偏移阴影分析3种参照方法对比,所提方法的建筑物提取精度均优于参照算法.
关键词:
A building extraction method based on samples morphological transformation was proposed, aiming at the reduction of building extraction accuracy caused by the various spectral information on the building roof in the high-resolution remote sensing image. The shifted shadow analysis method was utilized to automatically extract the initial building samples. Rotation, offset, and zoom transformations were applied to the initial samples according to the roof shape characteristics of the building. And an adaptive sample fine extraction transformation combination was established so as to extract building samples more completely and comprehensively. The image was classified to obtain the initial extraction results of buildings, combined with the support vector machine (SVM) classifier. A grid proportion method based on morphological features was proposed to confirm the initial extraction results. The final buildings were extracted more accurately by eliminating irregular non-buildings. The comparative experiment analysis of high-resolution remote sensing images was conducted to assess the effectiveness of the proposed method. Comparison with three reference algorithms, i.e. object-oriented, back propagation (BP) neural network, and shifted shadow analysis, shows that the proposed method achieves a better accuracy of building extraction than the reference algorithms.
Keywords:
本文引用格式
冉树浩, 胡玉龙, 杨元维, 高贤君, 李熙, 陈明珠.
RAN Shu-hao, HU Yu-long, YANG Yuan-wei, GAO Xian-jun, LI Xi, CHEN Ming-zhu.
目前,高分辨率遥感影像的建筑物提取方法主要包括动态轮廓法、区域分割法和分类法. 动态轮廓法主要利用直线和角点检测与匹配的原理,基于线性特征的边缘检测得到符合建筑物空间结构和轮廓的矩形,再根据遥感影像上建筑物较明显的角点信息进行角点匹配,并利用高度、阴影、墙面等特征验证建筑物[4-6],以达到提取建筑物的目的. 程曦冉等[7]将直线边缘检测及角点匹配相结合,实现航空影像中多直角建筑物的半自动提取;程效军等[8]通过分别提取机载雷达点云和航空影像中的部分建筑物轮廓线,实现机载点云和航空影像的配准融合,在融合后利用光谱信息和高程信息分离出建筑物,最终提取建筑物. 区域分割法是利用图像分割原理对影像进行分割后提取同类目标,如Rother等[9-10]使用尺度不变特征变换(scale-invariant feature transform,SIFT)算法获取测试图像与模板之间的多个子图匹配的关键点,以提取城市区域,再采用图切割法提取出独立的建筑物. 分类法是通过光谱、纹理、结构等特征结合支持向量机(support vector machine,SVM)、神经网络分类(neural net classification,NNC)、最大似然分类(likelihood classification,LC)等分类器提取建筑物初始结果[11-12],再采取区域增长、数学形态学处理、遗传算法等方法[13-15]进行优化,得到最终建筑物提取结果.San等[16]根据归一化植被指数(normalized difference vegetation index,NDVI)、归一化数字表面模型(normalized digital surface model,nDSM)并结合SVM分类获得初始建筑物提取结果,然后利用Canny边缘检测、Hough变换、基于感知分组的方法,对初始建筑物进行优化得到最终建筑物提取结果. 分类法相对其他2种方法自动分类的程度较高,其中高贤君等[17]设计基于偏移阴影分析的建筑物自动提取方法,以分割-分类-优化为主线,通过逆向偏移阴影自动提取建筑物样本用于SVM分类提取初始建筑物结果,再通过形态学预处理、区域增长、阴影验证等方法优化建筑物提取结果. 该方法能自动捕捉到建筑物样本,减少人工辅助提取样本的工作量,大幅度提高建筑物提取的精度和自动化程度. 但是对于因构造、材质、阴影等原因存在明显光谱差异的建筑物,该方法不能有效、全面地选取样本,可能出现样本遗漏现象,使得建筑物自动提取精度达不到预期效果.
针对该方法中存在的样本选取不全面的问题,本研究提出基于偏移阴影形态变换的高分遥感影像建筑物精细提取方法. 通过对偏移阴影分析提取的初始样本进行旋转、缩放、偏移等变换,并根据建筑物屋顶的形态特征构建相适应的样本精细选取变换组合以更加完整、全面地选取建筑物样本;结合SVM分类器提取初始分类结果,进一步利用设计的基于形态特征的格网占比法对初始建筑物提取结果进行建筑物确认,共同提高建筑物自动提取精度.
1. 基于偏移阴影形态变换分析法的建筑物精细提取
1.1. 基于偏移阴影分析的分类样本自动获取原理
1)光照方向单位向量的估计. 偏移向量方向的确定与光照方向有关,当太阳高度角未知时,可以选取地物及其阴影点进行估计. 如图1(b)所示,通过人工经验目视确定一组建筑物角点
图 1
图 1 基于偏移阴影分析的分类样本自动获取原理
Fig.1 Principle of automatic acquisition of classified samples based on shifted shadow analysis
2)阴影偏移向量的确定. 若对建筑物阴影区域进行逆光照方向偏移,当偏移距离合理时,建筑物本身将成为偏移区域中最大的非阴影地物,如图1(c)所示. 利用阴影区域周长
式中:K为影像中的阴影个数;
该方法能够有效地自动提取建筑物样本,减少分类法中建筑物样本提取的工作量. 不过,高分辨率影像能够表达更加丰富的地物细节信息,更加复杂的地物类型信息,“同物异谱”和“异物同谱”现象同时存在[19],且建筑物屋顶材质多样、结构复杂,同一建筑物屋顶实际可能存在多种光谱特性. 若仅利用基于偏移阴影分析的样本提取方法,可能会无法完整地提取建筑物样本,导致分类提取不充分和不完整,从而导致精度降低. 如图1(a)所示建筑物的屋顶亮度值不均匀,以屋脊线为分界,同一建筑物屋顶存在A、B 2种明暗不一的光谱特征,图1(e)中红色部分为偏移阴影分析法所提取的建筑物样本,该方法只能自动选取部分建筑物样本,依此进行SVM分类,提取建筑物的最终结果如图1(f)中蓝色部分所示,存在漏检现象,导致精度降低.
鉴于此,提出基于偏移阴影样本形态变换的高分影像建筑物提取方法. 根据建筑物屋顶的具体形态,设计“二”字型和“工”字型2种样本精细选取方法,更加全面地选取建筑物样本,并结合SVM分类器提取初始分类结果,设计基于形态特征的格网占比法对初始结果进行建筑物确认,以提高建筑物提取精度. 建筑物提取流程如图2所示.
图 2
1.2. 基于偏移阴影形态变换的建筑物样本自动提取方法
改进基于偏移阴影分析的建筑物样本提取方法,通过逐个分析建筑物屋顶的形态结构特点,对利用偏移阴影分析自动提取的初始建筑物样本进行旋转、缩放、偏移的变换组合,形成“二”字型和“工”字型2种样本精细选取方法,以更全面地选取建筑物样本区域.
1.2.1. 样本形态变换原理
1)样本区域旋转变换. 利用偏移阴影思想提取初始建筑物样本,获取其最小外接矩形为形态变换的基本单元. 为了便于处理,在对初始建筑物样本区域进行旋转处理前,须将建筑物初始样本的屏幕坐标
如图3(a)所示,将样本点
图 3
将
以此获取样本旋转变换矩阵:
式中:
选取得到的初始建筑物样本,并绘制其最小面积外接矩形,以最小面积外接矩形中心点为旋转中心将建筑物样本逆时针旋转90°,得到旋转样本,如图3(b)中的
图 4)
式中:M为所获取的建筑物样本的总个数,
式中:
3)样本区域偏移变换. 样本区域的偏移关键在于偏移向量的确定. 在初始建筑物样本外接矩形中,取矩形任一角点,获取以此角点为起点的2个矩形边向量
图 5
由于建筑物长宽各异,须对偏移距离进行合理定制. 如图5(b)所示为建筑物样本区域偏移示意图. 图中,a为偏移距离,
式中:
1.2.2. 偏移阴影样本形态变换
由于建筑物构造凸起导致受光不均匀、材质多样以及存在其他附属物等影响,影像中同一建筑物屋顶可能呈现不同的光谱特征. 鉴于大多数建筑物可以视为矩形及矩形的组合,几何形态上存在着一定的轴对称关系,通过建筑物样本的长边与阈值的关系将建筑物划分为狭长型及非狭长型,进而采用不同的样本变换组合采集合适的样本. 通过固定偏移距离所获取的建筑物样本宽度一定,其样本长度与长宽比成正比,反映建筑物本身的形态. 取影像中建筑物样本长度的最大值
设
图 6
图 6 狭长型建筑物样本精细提取结果
Fig.6 Elaborate sample extraction result of long-narrow building
“二”字型偏移样本形态变换提高建筑物样本全面性的核心在于利用初始建筑物样本的最小面积外接矩形,对其进行适当的缩放及合理的偏移,以覆盖另一侧存在差异的建筑物区域. 若初始建筑物样本点为
若有
图 7
图 7 非狭长型建筑物样本精细提取过程
Fig.7 Elaborate sample extraction process of non-long-narrow building
1.3. 自动SVM分类提取建筑物的初始结果
SVM是基于统计学习理论的机器学习算法,采用结构风险最小化原理,在最小化样本误差的同时缩小模型的泛化误差,具有较优的分类能力[20]. SVM的本质是二类分类器,通过寻找超平面来分割2类不同的样本,并且要使样本尽可能远离该超平面.
假定有线性不可分样本数据集
式中:
约束条件为
式中:
SVM是通用的两类学习方法,故其在具体运用中的模型应当包含核函数和多类方法. 国内外研究人员对SVM在遥感影像分类中的应用做了深入研究,何灵敏等[21]提出,在利用支持向量机对多源遥感图像进行分类研究时,基于径向基(radial basis function,RBF)核函数:
式中:
本研究选用基于径向基核函数和一对一多类方法的SVM模型,拟将影像分为建筑物、阴影、植被、裸地4类,基于上述策略获取全面的建筑物样本,阴影与植被从自动检测结果中随机选取,裸地样本采用顺向偏移阴影区域提取. 提取4类样本区域的R、G、B、I四维光谱特征构建样本特征向量,用于训练SVM分类器,进而实现对影像其他未识别像素的分类.
1.4. 基于形态特征的格网占比法建筑物确认
对于初步提取的建筑物结果,首先经过形态学运算去除部分较小的非建筑物目标,然后以内轮廓填充法对部分存在“空洞”的建筑物提取结果进行补充,最后进行建筑物确认. 误检的非建筑物主要是错分的裸地以及部分不完整的道路,与建筑物的规则形态存在较大差异,因此,本研究设计基于形态特征的格网占比法,用于剔除误分的非建筑物,最终实现建筑物的准确提取.
具体思想如下. 获取每个待定建筑物目标的最小外接矩形,并将其进行格网划分,逐个判断格网单元的建筑物覆盖面积
表 1 格网占比验证建筑物阈值建议取值
Tab.1
建筑物形态类型 | 格网占比验证阈值范围 | |
名称 | 图例 | |
矩形 | | 0.70~0.80 |
圆形 | | 0.70~0.75 |
凹字形 | | 0.50~0.60 |
回字形 | | 0.40~0.45 |
七字形 | | 0.30~0.35 |
图 8
图 8 基于形态特征的格网占比法建筑物确认示意图
Fig.8 Schematic diagram of building verification method by shape-feature-based grid proportion
2. 实验分析
2.1. 精度评价指标
为了评价提取精度,选用分类结果评价体系最常用的3项评价指标:正确率(correctness,CR)、完整度(completeness,CM)以及综合分数(F1-score,F1)[22],表达式分别为
式中:|TP|为建筑物被判断为建筑物的个数;|FP|为非建筑物被判断为建筑物的个数;|FN|为建筑物被判断为非建筑物的个数. 引用OK[23]提出的基于对象和基于像素的评判方法进行精度评价. 基于对象的精度评定以区域为单元分析:若提取区域与人工提取的真实参考数据相交区域占真实结果比值为0、(0,0.6)、[0.6,1.0]将分别被记为FP、FN、TP. 对提取结果与真实参考数据进行叠置显示,TP、FN、FP分别标识为绿色、蓝色、红色.
2.2. 精度评价结果与分析
对大量的高分辨率可见光遥感影像进行实验,以面向对象的分割分类法[24]、基于反向传播(back propagation,BP)神经网络遥感影像分类法[25]以及高贤君等[17]所提出的基于偏移阴影分析的建筑物提取方法作为参照,与本研究方法进行对比. 面向对象的建筑物提取方法,通过对影像进行多尺度分割合并,并选取各类地物样本区域,利用SVM分类器对分割结果进行分类,以提取建筑物. 基于BP神经网络的遥感影像建筑物提取,通过选定合适的网络模型参数,利用训练样本信息的反馈调节网络,确定合理的建筑物提取模型,进而实现分类提取建筑物. 基于偏移阴影分析的建筑物提取法,以逆光照方向进行的阴影偏移为逆向阴影偏移,用于识别建筑物阴影、提取建筑物样本;以顺光照方向进行的阴影偏移为顺向阴影偏移,用于提取裸地样本,利用相交边界阴影比率准确验证建筑物的存在,剔除无阴影的非建筑物干扰,获取最终结果.
2.3. 实验数据
表 2 建筑物提取结果精度对比
Tab.2
影像名称 | 提取方法 | 基于像素的精度结果 | 基于对象的精度结果 | |||||
CM/% | CR/% | F1/% | CM/% | CR/% | F1/% | |||
A | 面向对象参照方法 | 77.98 | 75.29 | 76.61 | 84.37 | 72.00 | 77.70 | |
BP神经网络参照方法 | 72.93 | 84.71 | 78.38 | 85.94 | 88.71 | 87.30 | ||
基于偏移阴影分析参照方法 | 61.33 | 98.06 | 75.46 | 64.06 | 100.00 | 78.10 | ||
本研究方法 | 73.52 | 98.04 | 84.03 | 93.75 | 100.00 | 96.77 | ||
B | 面向对象参照方法 | 87.45 | 88.18 | 87.81 | 87.50 | 58.33 | 70.00 | |
BP神经网络参照方法 | 71.29 | 97.55 | 82.38 | 75.00 | 78.26 | 76.60 | ||
基于偏移阴影分析参照方法 | 68.66 | 98.44 | 80.90 | 62.50 | 100.00 | 76.92 | ||
本研究方法 | 83.33 | 98.56 | 90.31 | 87.50 | 100.00 | 93.33 | ||
C | 面向对象参照方法 | 88.20 | 85.17 | 86.67 | 91.30 | 72.41 | 80.77 | |
BP神经网络参照方法 | 89.12 | 84.75 | 86.88 | 91.30 | 67.74 | 77.78 | ||
基于偏移阴影分析参照方法 | 84.64 | 99.69 | 91.55 | 78.26 | 100.00 | 87.80 | ||
本研究方法 | 87.60 | 99.43 | 93.14 | 78.26 | 100.00 | 87.80 | ||
D | 面向对象参照方法 | 71.94 | 88.50 | 79.36 | 69.65 | 69.65 | 69.65 | |
BP神经网络参照方法 | 75.85 | 87.53 | 81.27 | 78.57 | 74.58 | 76.52 | ||
基于偏移阴影分析参照方法 | 56.19 | 97.83 | 71.38 | 28.57 | 100.00 | 44.44 | ||
本研究方法 | 84.09 | 96.25 | 89.76 | 82.14 | 95.83 | 88.46 |
图 9
图 9 不同方法下影像A建筑物提取结果对比
Fig.9 Comparison of building extraction results from image A under different methods
图 10
图 10 不同方法下影像B建筑物提取结果对比
Fig.10 Comparison of building extraction results from image B under different methods
图 11
图 11 不同方法下影像C建筑物提取结果对比
Fig.11 Comparison of building extraction results from image C under different methods
图 12
图 12 不同方法下影像D建筑物提取结果对比
Fig.12 Comparison of building extraction results from image D under different methods
通过图表对比可以看出,1)本研究所设计的根据建筑物的形态特征定制合理的样本选取法则,使得样本选取更加精细全面. 影像A中由光照所导致的建筑物产生的2种光谱特征均能被有效选取,影像B、C中建筑物屋顶因异物或自然锈蚀而产生的多种光谱特征也能被较为完整地选取,影像D中由拍摄角度所引起的多种光谱特征也能被全面选取,同时应用格网占比法合理剔除了SVM分类结果中错分的建筑物,使得整体精度较高. 2)面向对象参照方法利用分割算法使得同质区域更易提取,能较为完整地识别出建筑物. 如影像C中建筑物的边缘区域以及影像D中房屋侧边的灰白色墙体部分也能被较好地识别与提取,完整度较好,但由于缺少合理的建筑物确认方法,提取结果中均存在较多的错分对象,部分裸地、道路与建筑物相互连通,难以区分,正确率大大降低,综合值也低于本研究方法. 3)BP神经网络参照方法由前馈多层网络与误差反向传播算法结合而形成,故采用其提取建筑物的正确率较高,但由于过度依赖于训练迭代次数、隐含层节点个数以及先验知识,不同影像间完整度差异较大. 4)对于基于偏移阴影的参照方法,由于在建筑物样本选取时偏移距离的限制,难以全面、有效地选取建筑物样本,部分与阴影不相邻的异质建筑物样本区域难以被选取,在分类时无法完整提取建筑物,存在较多的漏检. 即使可以通过形态学处理与区域增长算法实现部分不完整建筑物的补充,但由于前期建筑物样本选取的不足,仍然存在较多漏检现象,在精度评定时完整度及综合值偏低. 5)本研究利用基于形态特征的格网占比法,有效去除误分的道路与裸地,相较于利用阴影的建筑物确认方法,避免因部分建筑物阴影区域较小而被错误剔除的现象,使得提取结果的正确率与完整度均有所提升. 综上所述,本研究所提出的建筑物样本精细提取方法,使得建筑物样本选取更加全面精细,结合有效的建筑物确认措施,能提高建筑物提取的精度,降低人工参与工作量,提高自动化程度,与3种参照方法相比,整体精度均得到有效提高.
3. 结 语
提出改进偏移阴影分析的建筑物样本精细提取方法,有助于更全面地选取建筑物样本,在提高建筑物样本选取自动化程度的同时,保证样本全面、准确的提取,进一步提高分类提取建筑物的精度;设计基于形态特征的格网占比法,有效剔除建筑物初步提取结果中误分的道路、裸地,最终实现建筑物高精度提取. 但是,建筑物杂乱紧密排列,阴影相互交错重叠会对提取结果造成一定的影响,因此本方法更适用于建筑物独立分散排列区域的建筑物提取. 地物密集分布,阴影相互交错连通区域的建筑物提取是未来研究的方向与重点.
参考文献
Automatic detection and reconstruction of building radar footprints from single VHR SAR images
[J].DOI:10.1109/TGRS.2012.2205156 [本文引用: 1]
Automatic construction of 3-D building model from airborne LIDAR data through 2-D snake algorithm
[J].
Application of snakes and dynamic programming optimisation technique in modeling of buildings in informal settlement areas
[J].DOI:10.1016/S0924-2716(02)00062-X [本文引用: 1]
直线Snakes及其在建筑物提取中的应用
[J].
Line snake and its application in Building extraction
[J].
形态学尺度空间城市建筑物自动分类算法
[J].DOI:10.11834/jig.091082 [本文引用: 1]
The automatic classification algorithm for urban buildings based on morphological scale-space
[J].DOI:10.11834/jig.091082 [本文引用: 1]
航空影像多直角平顶房屋的半自动提取
[J].
Semi-automatic extraction of houses with multi right angles from aerial images
[J].
融合航空影像和LIDAR点云的建筑物探测及轮廓提取
[J].
Buildings detection and contour extraction by fusion of aerial images and LIDAR point cloud
[J].
"GrabCut": interactive foreground extraction using iterated graph cuts
[J].DOI:10.1145/1015706.1015720 [本文引用: 1]
Urban-area and building detection using SIFT keypoints and graph theory
[J].DOI:10.1109/TGRS.2008.2008440 [本文引用: 1]
Building extraction from high-resolution optical spaceborne images using the integration of support vector machine (SVM) classification, Hough transformation and perceptual grouping
[J].DOI:10.1016/j.jag.2014.06.016 [本文引用: 1]
多特征多尺度相结合的高分辨率遥感影像建筑物提取
[J].
Building extraction from high resolution remote sensing imagery with multi-feature and multi-scale
[J].
Automatic building detection based on purposive FastICA (PFICA) algorithm using monocular high resolution Google Earth images
[J].DOI:10.1016/j.isprsjprs.2014.08.017 [本文引用: 1]
An adaptive fuzzy-genetic algorithm approach for building detection using high-resolution satellite images
[J].DOI:10.1016/j.compenvurbsys.2013.01.004 [本文引用: 1]
Building extraction from high resolution satellite images using Hough transform
[J].
基于偏移阴影分析的高分辨率可见光影像建筑物自动提取
[J].
Automatic building extraction from very high resolution visible images on basis of shifted shadow analysis
[J].
高分辨率遥感影像阴影的自动检测与自动补偿
[J].
Automatic shadow detection and automatic compensation in high resolution remote sensing images
[J].
SVM在多源遥感图像分类中的应用研究
[J].DOI:10.3969/j.issn.1006-8961.2007.04.015 [本文引用: 1]
Study on multi-source remote sensing images classification with SVM
[J].DOI:10.3969/j.issn.1006-8961.2007.04.015 [本文引用: 1]
An efficient approach for automatic rectangular building extraction from very high resolution optical satellite imagery
[J].DOI:10.1109/LGRS.2014.2347332 [本文引用: 1]
Automated detection of buildings from single VHR multispectral images using shadow information and graph cuts
[J].
/
〈 |
|
〉 |
