基于长方形点过程的遥感图像汽车提取
Vehicle extraction from remotely sensed images based on rectangle marked point processes
通讯作者:
收稿日期: 2018-07-21
Received: 2018-07-21
作者简介 About authors
余煇(1992—),男,硕士生,从事遥感图像提取算法研究.orcid.org/0000-0002-6600-4739.E-mail:
针对遥感图像中汽车的识别和提取问题,分析大规模数量汽车的分布和排列,提出基于长方形点过程的汽车分布概率模型. 采用先验模型刻画汽车在空间中的分布规律,采用数据项表达模型与图像的联系. 采用模拟退火策略结合可逆跳马尔科夫链蒙特卡洛采样方法,对模型进行优化求解,实现图像中汽车的自动识别和提取. 实验结果表明,所提方法能很好地用于道路和停车场等规则场景,提取精确度达到99%,回收率达到90%;由于先验模型的约束可以很好地解决汽车相互重叠和方向摇摆的问题,汽车提取的效果比传统算法更好.
关键词:
A rectangle marked point processes was proposed for vehicle identification and extraction from remotely sensed images, and to analyze the distribution and arrangement of a large number of vehicles. A prior model was developed to represent spatial distribution of vehicles, and a data term was applied to establish the relationship between the model and image.The optimal configuration was searched by simulated annealing coupled with Reversible Jump Markov Chain Monte Carlo, so that vehicles could be identified and extracted automatically. The experimental results show that the proposed method works well for the scenes of road and parking lot. The extraction precision is 99%, and the recall is about 90%. The constrain of prior model can solve the problem of vehicle overlapping and uncertain direction well, and the extraction results are better than that of the traditional algorithm.
Keywords:
本文引用格式
余煇, 柴登峰.
YU Hui, CHAI Deng-feng.
汽车目标的识别和提取一直以来是遥感领域重要的课题. 随着人们生活水平的提高,遥感图像中出现的汽车数量越来越多. 分析遥感图像中汽车的分布和位置,有助于解决交通堵塞问题以及汽车尾气排放引起的环境污染问题.
研究者一开始只是利用简单的图像特征来构建汽车识别模型,Moon等[1]针对航空影像中停车场上的汽车进行了点对点分析,用4个拉长的边缘检测子来收集汽车侧面的边缘响应,提出了一种基于简单模型的汽车识别算法. 随着技术的发展,研究者开始关注高分辨率图像中汽车的识别. Tan等[2]采用了面向对象的图像分析方法对航空彩色数字正射影像中的公路汽车进行识别和分类. 近年来,汽车识别多采用机器学习的方法[3-5]. Cao等[6] 通过多个实例的判别式学习提出了一种弱监督学习的汽车识别方法. Yang等[7]采用深度学习的方法对航空影像中的汽车进行了识别,这些方法只是分析了单个汽车的目标特征,没有考虑实际场景中汽车的分布规律.
本文将遥感图像中的汽车标记成一个具有矩形属性的随机点,在先验模型中引入汽车之间相互作用的关系,将结合模板匹配的相似度作为数据项,构建汽车目标提取的概率模型.
1. 基于长方形点过程的汽车提取
1.1. 随机点过程的基本概念
随机点过程是一种用于模拟和分析空间数据的统计学方法,定义一个可测度空间(K,
理想情况下的点过程不考虑点与点之间的相互作用,是单位强度的泊松点过程. 对于任意F∈
式(1)表示随机点以强度v在K上分布的泊松过程,如果集合
式中:N(w)是和参数v (K)有关的泊松随机变数.
对于实际问题,加入点与点之间的相互作用是十分有必要的. 引入一个概率强度f,其与概率测度μ相关,可以表示为
式中:α为归一化常数,Φ j(j=1, 2,
式中:c为归一化常数,β为随机点过程的强度,n(w)为配置w中点的个数,U(w)为系统的能量. 点与点之间的相互作用可以表示为能量的总和:
式中:
那么集合K上概率强度为f (对应概率测度为μ)的点过程是收敛的.
1.2. 汽车分布模型
空间上的随机点可以被赋予不同的属性,把K×M上的点过程看作随机序列ψ={wn,mn},其中wn∈K表示随机点的位置,mn∈M表示与wn相对应的属性,M是属性空间,这种情况下的随机点过程称为标记点过程. 大部分目标提取所用到的点过程方法都是标记点过程,因为目标通常都具有一定的几何形状.
本文研究的汽车可以近似为一个矩形,如图1所示,假设矩形可以用vi=(ci,mi)表示,其中ci=
图 1
汽车目标提取模型的概率密度h(.)可以分为2个部分:第一部分是汽车目标提取的先验模型,反映汽车之间的相互关系,其概率密度可以用hp(.)表示;第二部分是汽车目标提取的数据项,需要将汽车与图像之间联系起来,其概率密度可以用hd(.)表示. 概率密度h(.)可以表示为
式中:hp(.)表示汽车目标提取的先验概率,hd(.)表示似然概率,h(.)表示后验概率. 整个汽车目标提取模型的优化求解问题可以看作是求最大后验概率的过程,可以用下式表示:
2. 先验模型
2.1. 汽车的重叠关系
图 2
为了解决汽车泊松点过程中的重叠问题,可以引入汽车发生重叠时的概率测度ho(v),表示如下:
式中:αo是重叠模型中的一个参数,s1(V,O)表示当前图像配置中发生重叠现象的汽车的对数,
图像配置中每出现1次2辆汽车重叠,s1(V,O)的大小累加1. 当α∈(0,1)时,汽车每重叠1次,其概率会相应变小,这种现象得到了惩罚. 在实际问题中,汽车重叠的现象是绝对禁止的,因此α取值为0,这种限制通常称之为硬核限制.
2.2. 汽车的方向关系
图 3
为了描述汽车在方向上的这种一致性关系,引入汽车方向趋向于一致的概率测度ha(v),其表示形式如下:
式中:βa为一个常数,s2(V, A)表示当前图像配置中方向不一致的汽车对数,计算方法如下,
配置中每出现1对汽车的方向不一致,s2(V, A)的大小累加1. 与重叠限制不同的是,汽车的角度约束不是强制性的,实际问题中方向不一致的概率较小,因此β∈(0,1),随着s2(V, A)变大,概率ha(V)变小,这种情况会得到一定概率的惩罚,这种限制称为软核限制. 随着汽车数量越来越多,增加1辆不同角度汽车的约束越来越大. 当汽车数量越来越多时,这种约束会越来越大. 在判断汽车的方向是否一致时,可以根据2辆汽车旋转角度的差值进行判断. 当
3. 数据项
为了量化目标在图像中每一个像素点出现的概率,采用模板匹配得到的相似度计算概率模型的数据项. 从原图像I的左上角选择一个和模板大小相同的子图,与目标模板T进行比较并计算出两者的相似度,在图像R中记录当前位置相似度的大小. 将子图沿着图像的行和列依次滑动单位像素的距离,得到图像中所有像素点位置处的相似度并记录在图像R中,比较这些位置相似度的大小,最终确定目标的位置,这就是模板匹配的整个过程.
模板匹配过程中相似度的计算方法有很多,本文采用归一化平方差匹配法来计算匹配值. 图像可以看作是一个关于坐标点位置(x, y)的函数,原图像I可以用I(x, y)表示,模板图像T用T(x', y')表示,结果图像R用R(x', y')表示,那么匹配值的计算方法[13]如下:
由式(13)计算得到的匹配值与相似度成反比关系,匹配值越小,相似度越高,匹配值为0时相似度最高.
在实际图像中,汽车的方向是不确定的. 传统的模板匹配仅仅适用于垂直汽车的提取,当图像中的汽车发生旋转时,单一的模板就无法适应各种角度. 因此,必须设计出适用于0°~360°不同角度的汽车模板. 本文将汽车沿顺时针方向旋转,每次旋转10°,一共旋转36次,得到0°~360°的汽车模板. 汽车间隔的角度会影响最终提取的精度,间隔越小,精度越高,计算的复杂度也会相应的提高.
模板旋转能解决汽车方向多样性的问题,但单一颜色的模板很难适应不同颜色的汽车目标. 本文选择多种颜色模板匹配的相似度的最大值作为判断汽车是否存在的标准,只要任意一种颜色模板与当前位置的相似度较高,那么当前位置就有可能存在汽车. 由于采用归一化平方差匹配法计算得到的匹配值与汽车的相似度成反比,不同颜色汽车目标提取的过程就是求解R(x, y)最小值Rm(x, y)的过程,可以表示如下:
式中:Rm(x, y)表示不同颜色汽车目标提取的最优匹配值,Rn(x, y)表示第n个样本的匹配值.
假设随机点之间的数据是相互独立的,那么汽车随机点过程中数据项的概率密度可以表示为局部项的乘积[14]:
式中:每一个点配置wi的局部项hd (wi)表示随机点与图像中汽车的关联性,即当前随机点出现汽车的可能性. 局部项的计算方法如下:
其中,f(xs)表示相似度的大小,可以看作是局部项hd(wi)的能量. 相似度f(xs)是一个关于匹配值xs(wi)的一次函数,
其中,k值一般取负值,因为相似度和匹配值成反比,匹配值越小,相似度越大. 在相似度的计算中,将匹配值进行线性变换,这样数据项的值可以得到更好的分布,便于后面的优化求解.
4. 优化求解
4.1. 可逆跳马尔科夫链蒙特卡罗采样
RJMCMC采样可以用来模拟一个离散的马尔科夫链
转移核Q可以是由很多个子转移核Qm混合组成:
其中,pm是选择子转移核Qm的概率. 转移核必须允许配置w能跳转到Ω中的任意一个其他配置,并且这种转换是可逆的.
在汽车目标提取概率模型的采样过程中,使用2种状态转移核:1)生灭核QBD:当汽车从当前配置v转移到下一个配置v' 时,随机增加1辆汽车,或减少1辆汽车;2)转移核QT:当汽车从当前配置v转移到下一个配置v' 时,某一辆汽车的位置、大小或方向发生了变化. 根据先验模型和数据项,可得汽车目标提取的后验概率:
生核QB的接收概率Rb可以表示为
式中:λF为泊松分布的期望,n(v')为配置v' 中汽车的数量,vi'为增加的汽车,pd、pb分别为选择增加、减少1辆汽车的概率,通常都取值为0.5,灭核QD的接收概率Rd与之相反. 转移核QT的接受概率可以表示为
4.2. 模拟退火策略
模拟退火算法源于物理学中固体退火降温过程,将固体加热到一定的温度,其内部的粒子呈现出无序状态,如果将温度徐徐降低,粒子渐渐趋向于有序,当温度接近于0时,整个系统的内能最小,粒子达到基态[19]. 模拟退火算法是一种启发式随机搜索算法,在优化求解的过程中采用Metropolis准则,能够从局部极值处跳出,从而在全局的范围内达到最优解.
在汽车目标提取模型中,给定初始温度θ,随着θ缓慢减小,系统因为内能的减小而不断趋于稳定,当θ趋于0时,模型在概率空间上达到最优解,可以用下式表示:
5. 实验结果和评估
5.1. 先验模型的模拟
先验模型反映了汽车在空间上的分布规律,为了验证这种规律,在500×500的图像范围内模拟汽车的随机分布过程. 汽车宽度w∈[10, 15],长度l∈[20, 25],随机采样次数为106次,模拟退火初始温度为10℃,温度下降比率为0.999 9. 在先验模型中,汽车期望数量λF、重叠参数α、方向参数β的设置分别如表1所示.
表 1 先验模型中的不同参数设置
Tab.1
实验序号 | λF | α | β |
1 | 100 | 1.0 | 1.0 |
2 | 100 | 0 | 1.0 |
3 | 1 000 | 0 | 1.0 |
4 | 1 000 | 0 | 0.9 |
实验结果如图4所示:1)泊松分布,λF=100,有很多汽车相互重叠;2)加入重叠限制后,没有任何2辆汽车重叠;3)当汽车数量增大到1 000时,还是没有汽车重叠,由于图像的空间限制,模拟优化后实际汽车的数量为497,没有达到期望值;4)加入角度约束后,汽车的方向趋向于一致.
图 4
图 4 不同参数下的汽车分布结果
Fig.4 Vehicles’ distribution results with different parameters
通过4组实验的对比分析,可以得到:汽车在空间上的数量和分布是由期望值、重叠限制、角度约束,以及图像大小、汽车大小共同决定的. 在图像空间充裕的情况下,重叠限制和角度约束能够让汽车在空间上呈现出更加合理的分布.
5.2. 数据项计算结果
数据项反映了模型和图像之间的联系. 在实际计算过程中,将数据项预先计算好,储存在像素点中,模拟优化时只需要查询相应值即可,这样做能大大提高计算效率. 如图5所示,图中每一个像素点的亮度值为模板匹配计算得到的匹配值,亮度值越小,汽车提取的匹配值也越小,而出现汽车的概率则更高.
图 5
5.3. 汽车目标提取结果
本文测试的实验数据采用遥感卫星或者航空拍摄的高分辨率正射影像,汽车不小于20×8个像素. 概率模型针对于汽车在空间上规则分布的场景,比如道路上按照交通规则行驶的汽车、停车场上参考周围整齐排列的汽车. 当汽车在空间上的分布零散不规则时,概率模型无法获得理想的提取效果.
图 6
图 7
5.4. 结果量化评估
精确度和回收率是目标提取中常用的评价指标,精确度是指检索到的信息中相关信息所占的比率,而回收率指的是相关信息中被提取到的信息所占的比率. 在汽车目标提取问题中,把结果目标分为以下4类. NTP:事实上是汽车,被判定为汽车;NFP:事实上不是汽车,被判定为汽车;NTN:事实上是汽车,被判定为不是汽车;NFN:事实上不是汽车,被判定为不是汽车. 根据汽车目标提取结果中NTP、NFP、NTN和NFN值,可以得到精确度PN和回收率RN的计算方法:
选取5张汽车图像对概率模型的提取效果进行评估,结果如表2所示. 结果表明:该算法的提取精度能达到99%以上,回收率能达到90%以上.
表 2 汽车提取的评估结果
Tab.2
图像编号 | NTP | NFP | NFN | PN | RN |
1 | 112 | 1 | 8 | 0.991 2 | 0.933 3 |
2 | 99 | 1 | 3 | 0.990 0 | 0.970 6 |
3 | 802 | 4 | 71 | 0.995 0 | 0.918 7 |
4 | 323 | 1 | 18 | 0.996 9 | 0.947 2 |
5 | 178 | 1 | 2 | 0.994 4 | 0.988 9 |
5.5. 实验结果对比
本文的概率模型采用了模板匹配的相似度作为数据项,因此有必要将标点过程与模板匹配的实验结果进行对比. 如图8所示,传统的模板匹配方法在没有先验信息的帮助下,在汽车密集的场景中会出现提取结果之间的相互重叠,同时提取的角度会有一定的摆动,而标点过程能通过先验模型的约束很好地解决这些问题.
图 8
图 8 模板匹配和标点过程的实验结果对比
Fig.8 Comparison of experimental results with template match and marked point processes
6. 结 论
本文基于标点过程的理论,提出了一种以长方形作为标记点的汽车提取概率模型. 使用先验模型构造汽车在真实场景中的限制和约束条件,采用数据项根据相似度的大小建立模型与图像之间的联系. 该算法能够反映汽车在空间上的合理分布,同时能够对不同颜色、不同角度的汽车进行提取,在停车场、道路场景中能够得到良好的应用. 一方面,先验模型是根据实际场景的需要进行设定的,进一步研究工作会考虑更加丰富的先验约束条件,满足更多场景下的汽车提取;另一方面,将模板匹配的相似度作为数据项,在实际应用中受到模板的限制,进一步研究工作考虑引入机器学习的方法,提出更加通用的似然模型.
参考文献
Performance analysis of a simple vehicle detection algorithm
[J].DOI:10.1016/S0262-8856(01)00059-2 [本文引用: 1]
Fast multiclass vehicle detection on aerial images
[J].
Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature
[J].DOI:10.1109/TITS.2016.2517826 [本文引用: 1]
Weakly supervised vehicle detection in satellite images via multi-instance discriminative learning
[J].DOI:10.1016/j.patcog.2016.10.033 [本文引用: 1]
A Gibbs point process for road extraction from remotely sensed images
[J].DOI:10.1023/B:VISI.0000013086.45688.5d [本文引用: 1]
A marked point process for automated building detection from lidar point-clouds
[J].DOI:10.1080/2150704X.2013.846487 [本文引用: 1]
Detecting linear features by spatial point processes
[J].
Reversible jump Markov chain Monte Carlo computation and Bayesian model determination
[J].DOI:10.1093/biomet/82.4.711 [本文引用: 1]
Bayesian computation: a summary of the current state, and samples backwards and forwards
[J].DOI:10.1007/s11222-015-9574-5 [本文引用: 1]
模拟退火算法及改进研究
[J].DOI:10.3969/j.issn.1009-2552.2013.02.051 [本文引用: 1]
Research on simulated annealing algorithm and improvements
[J].DOI:10.3969/j.issn.1009-2552.2013.02.051 [本文引用: 1]
/
〈 |
|
〉 |
