浙江大学学报(工学版), 2019, 53(9): 1741-1748 doi: 10.3785/j.issn.1008-973X.2019.09.013

计算机科学与人工智能

基于长方形点过程的遥感图像汽车提取

余煇,, 柴登峰,

Vehicle extraction from remotely sensed images based on rectangle marked point processes

YU Hui,, CHAI Deng-feng,

通讯作者: 柴登峰,男,副教授. orcid.org/0000-0002-4756-3412. E-mail: chaidf@zju.edu.cn

收稿日期: 2018-07-21  

Received: 2018-07-21  

作者简介 About authors

余煇(1992—),男,硕士生,从事遥感图像提取算法研究.orcid.org/0000-0002-6600-4739.E-mail:21438031@zju.edu.cn , E-mail:21438031@zju.edu.cn

摘要

针对遥感图像中汽车的识别和提取问题,分析大规模数量汽车的分布和排列,提出基于长方形点过程的汽车分布概率模型. 采用先验模型刻画汽车在空间中的分布规律,采用数据项表达模型与图像的联系. 采用模拟退火策略结合可逆跳马尔科夫链蒙特卡洛采样方法,对模型进行优化求解,实现图像中汽车的自动识别和提取. 实验结果表明,所提方法能很好地用于道路和停车场等规则场景,提取精确度达到99%,回收率达到90%;由于先验模型的约束可以很好地解决汽车相互重叠和方向摇摆的问题,汽车提取的效果比传统算法更好.

关键词: 长方形点过程 ; 汽车提取 ; 模板匹配 ; 模拟退火 ; 可逆跳马尔科夫链蒙特卡洛采样

Abstract

A rectangle marked point processes was proposed for vehicle identification and extraction from remotely sensed images, and to analyze the distribution and arrangement of a large number of vehicles. A prior model was developed to represent spatial distribution of vehicles, and a data term was applied to establish the relationship between the model and image.The optimal configuration was searched by simulated annealing coupled with Reversible Jump Markov Chain Monte Carlo, so that vehicles could be identified and extracted automatically. The experimental results show that the proposed method works well for the scenes of road and parking lot. The extraction precision is 99%, and the recall is about 90%. The constrain of prior model can solve the problem of vehicle overlapping and uncertain direction well, and the extraction results are better than that of the traditional algorithm.

Keywords: rectangle marked point processes ; vehicle extraction ; template match ; simulated annealing ; Reversible Jump Markov Chain Monte Carlo

PDF (1963KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

余煇, 柴登峰. 基于长方形点过程的遥感图像汽车提取. 浙江大学学报(工学版)[J], 2019, 53(9): 1741-1748 doi:10.3785/j.issn.1008-973X.2019.09.013

YU Hui, CHAI Deng-feng. Vehicle extraction from remotely sensed images based on rectangle marked point processes. Journal of Zhejiang University(Engineering Science)[J], 2019, 53(9): 1741-1748 doi:10.3785/j.issn.1008-973X.2019.09.013

汽车目标的识别和提取一直以来是遥感领域重要的课题. 随着人们生活水平的提高,遥感图像中出现的汽车数量越来越多. 分析遥感图像中汽车的分布和位置,有助于解决交通堵塞问题以及汽车尾气排放引起的环境污染问题.

研究者一开始只是利用简单的图像特征来构建汽车识别模型,Moon等[1]针对航空影像中停车场上的汽车进行了点对点分析,用4个拉长的边缘检测子来收集汽车侧面的边缘响应,提出了一种基于简单模型的汽车识别算法. 随着技术的发展,研究者开始关注高分辨率图像中汽车的识别. Tan等[2]采用了面向对象的图像分析方法对航空彩色数字正射影像中的公路汽车进行识别和分类. 近年来,汽车识别多采用机器学习的方法[3-5]. Cao等[6] 通过多个实例的判别式学习提出了一种弱监督学习的汽车识别方法. Yang等[7]采用深度学习的方法对航空影像中的汽车进行了识别,这些方法只是分析了单个汽车的目标特征,没有考虑实际场景中汽车的分布规律.

随机点过程是一种描述点在空间上分布的数学模型,被广泛应用于图像的目标提取和区域分割. Stoica 等[8]采用吉布斯点过程的方法对遥感图像中的道路进行了提取,把道路看成细小的网并用连接的线段来表示. Ge等[9]用标记点过程的方法计算图像中树木的数量,其中一个具有椭圆属性的标记点表示一棵树. Yu等[10]用同样的方法从激光点云数据中提取建筑物,用矩形来近似表示房屋形状,标点过程还能被应用于医学图像的提取[11]. 对于有一定几何形状,同时在分布上有一定规律和约束的目标,标记点过程是一种很好的目标提取方法.

本文将遥感图像中的汽车标记成一个具有矩形属性的随机点,在先验模型中引入汽车之间相互作用的关系,将结合模板匹配的相似度作为数据项,构建汽车目标提取的概率模型.

1. 基于长方形点过程的汽车提取

1.1. 随机点过程的基本概念

随机点过程是一种用于模拟和分析空间数据的统计学方法,定义一个可测度空间(K${{{\cal{B}}}}$v),其中K${\bf{R}}^{2}$上一个紧密子集, ${\cal{{B}}}$K子集上的关联波莱尔σ代数,v是勒贝格测度, $0<v\left(K\right)<\rm{\infty }$. 对于nN,让Ωn表示所有配置w={w1, w2, $\cdots $, wn}的集合,wn个不同点wiK组成. 配置空间 ${\varOmega }={\bigcup }_{n=0}^{\infty }{\rm{\varOmega }}_{n}$,其配有的σ代数 ${\cal{{F}}}$由{w1, w2, $\cdots $, wn}到 $\displaystyle\sum\nolimits_{i=1}^{n}1\{{w}_{i}\in {B}\}$的映射产生,这个映射表示在波莱尔集合 ${B}\in {\cal{{B}}}$点的数目. 那么K上的点过程可以看作是从一个概率空间到(Ω${\cal{{F}}}$)的映射[12].

理想情况下的点过程不考虑点与点之间的相互作用,是单位强度的泊松点过程. 对于任意F${\cal{{F}}}$,其概率测度:

$\begin{split} \mu ({F})= & {\rm{exp}}\;\left(-v\left({K}\right)\right)\times \Bigg[ 1\left({\varnothing }\in {F}\right)+ \\ & \sum _{n=1}^{\infty }\frac{1}{n!}{\int }_{K}\cdots {\int }_{K}1\left[\left\{{w}_{1},{w}_{2},\cdots, {w}_{n}\right\}\in {F}\right]\times\\ & v\left({\rm{d}}{w}_{1}\right)v\left({\rm{d}}{w}_{2}\right)\cdots v \left({\rm{d}}{w}_{n}\right)\Bigg] . \end{split}$

式(1)表示随机点以强度vK上分布的泊松过程,如果集合 ${F}\in {\cal{{F}}}$是由n个点的有限配置组成,那么由式(1)可得

$ \mu ({{F}})=P\left(w\in {{F}}\right)= {\rm{exp}}\;\left(-v\left({K}\right)\right)\frac{{v\left({K}\right)}^{n}}{n!}=P(N\left(w\right)=n). $

式中:N(w)是和参数v (K)有关的泊松随机变数.

对于实际问题,加入点与点之间的相互作用是十分有必要的. 引入一个概率强度f,其与概率测度μ相关,可以表示为

$\begin{aligned} f\left(\omega \right)= & \alpha {\beta }^{n\left(\omega \right)}\prod _{{\omega }_{i}\in \omega }{\varphi }^{1}\left({\omega }_{i}\right)\times \\ & \prod\limits_{\left\{ {{\omega _{i1}},\;{\omega _{i2}}} \right\} \in \omega } {{\varphi ^{ 2 }}\left( {{\omega _{i1}},{\omega _{i2}}} \right) \cdots } \\ & \prod\limits_{\left\{ {{\omega _{i1}},\;{\omega _{i2}}, \;\cdots ,\;{\omega _{ik}}} \right\} \in \omega } {{\varphi ^{k}}\left( {{\omega _{i1}},\;{\omega _{i2}}, \cdots ,{\omega _{ik}}} \right)} . \end{aligned}$

式中:α为归一化常数,Φ j(j=1, 2, $\cdots $, k) 是相互作用函数,n(w)为随机点的数目,β为一个正常数. 为了使概率密度可积分,Φ j函数需要满足特定的条件. 点过程的概率密度也可以用吉布斯能量表示:

$ f\left(\omega \right)=c{\beta }^{\;n\left(w\right)}{\rm{exp}}\;\left(-U\left(w\right)\right). $

式中:c为归一化常数,β为随机点过程的强度,n(w)为配置w中点的个数,U(w)为系统的能量. 点与点之间的相互作用可以表示为能量的总和:

$\begin{split} U\left(w\right)= & \sum _{{\omega }_{i1}\in \omega }{\varphi }^{1}({\omega }_{i1}) \sum _{{\omega}_{i2}\in \omega }{\varphi }^{2}({\omega }_{i2}) \cdots \\& \sum _{\left\{{\omega }_{i1},\;{\omega }_{i2},\;\cdots ,\;{\omega }_{ik}\right\}\in \omega }{\varphi }^{k}({\omega }_{i1},{\omega }_{i2},\dots ,{\omega }_{ik}). \end{split} $

式中: ${\varPhi }^{j}, {K}^{j}\to {\bf{R}}(j=1,2,\cdots ,k)$是相互作用函数. 随机点过程在一定条件下是收敛的,其表述形式如下:如果存在 $\varLambda \in {\bf{R}}$使得

$ f\left(w\cup \left\{\zeta \right\}\right)\leqslant \varLambda f\left(w\right), \forall w=\left\{{w}_{1},{w}_{2},\cdots ,{w}_{n}\right\}\in {\varOmega }, {\rm{\zeta }}\in {K}. $

那么集合K上概率强度为f (对应概率测度为μ)的点过程是收敛的.

1.2. 汽车分布模型

空间上的随机点可以被赋予不同的属性,把K×M上的点过程看作随机序列ψ={wn,mn},其中wnK表示随机点的位置,mnM表示与wn相对应的属性,M是属性空间,这种情况下的随机点过程称为标记点过程. 大部分目标提取所用到的点过程方法都是标记点过程,因为目标通常都具有一定的几何形状.

本文研究的汽车可以近似为一个矩形,如图1所示,假设矩形可以用vi=(ci,mi)表示,其中ci= $\left({x}_{i} , {y}_{i}\right)\in {K}\subset {R}^{2}$,代表矩形中心点O的坐标,矩形的属性 ${m}_{i}=({w}_{i},{h}_{i},{\theta }_{i})\;\in {M}$,其中wihiθi分别表示矩形的宽度、高度和旋转角度,M表示连续的属性空间 $\left[{w}_{\rm{m}\rm{i}\rm{n}} , {w}_{\rm{m}\rm{a}\rm{x}}\right]\times \left[{h}_{\rm{m}\rm{i}\rm{n}} , {h}_{\rm{m}\rm{a}\rm{x}}\right]\times \left[0 , 2{\text{π}}\right]$,那么提取的集合 ${V}=\{{v}_{i}, \;i=1,2,\cdots ,n\in \bf{N}\}$可以看作是K×M上的随机点过程.

图 1

图 1   图像中汽车的几何模型

Fig.1   Geometric model of vehicle in images


汽车目标提取模型的概率密度h(.)可以分为2个部分:第一部分是汽车目标提取的先验模型,反映汽车之间的相互关系,其概率密度可以用hp(.)表示;第二部分是汽车目标提取的数据项,需要将汽车与图像之间联系起来,其概率密度可以用hd(.)表示. 概率密度h(.)可以表示为

$ h\left(.\right)={h}_{\rm{p}}(.)\;{h}_{\rm{d}}(.). $

式中:hp(.)表示汽车目标提取的先验概率,hd(.)表示似然概率,h(.)表示后验概率. 整个汽车目标提取模型的优化求解问题可以看作是求最大后验概率的过程,可以用下式表示:

$ {v}^{*}={\rm{arg}}\;\underset{v\epsilon\varOmega}{\rm{max}}\;h\left(v\right). $

2. 先验模型

2.1. 汽车的重叠关系

如果不考虑汽车之间的相互作用,那么汽车分布是单位强度的泊松点过程. 实际上汽车之间存在相互作用,汽车分布的重叠关系如图2所示. 图2(a)中汽车之间有一定的重叠区域,而图2(b)中没有,显然汽车在实际生活中是不可能重叠的. 如果用Ovivj)来描述汽车的这种关系,那么Ovivj)=1表示汽车vi和汽车vj是重叠的,对应于图2(a)Ovivj)=0表示汽车是不重叠的,对应于图2(b).

图 2

图 2   汽车分布的重叠关系

Fig.2   Overlapping relationship of vehicles’ distribution


为了解决汽车泊松点过程中的重叠问题,可以引入汽车发生重叠时的概率测度hov),表示如下:

$ {h}_{\rm{o}}(v)\propto {\alpha }^{{s}_{1}\left(V,O\right)}_{\rm{o}}. $

式中:αo是重叠模型中的一个参数,s1(V,O)表示当前图像配置中发生重叠现象的汽车的对数,

$ {s}_{1}\left(V,O\right)=\sum _{{v}_{i}, {v}_{j}\in V}1[O({v}_{i}, {v}_{j})=1]. $

图像配置中每出现1次2辆汽车重叠,s1(V,O)的大小累加1. 当α∈(0,1)时,汽车每重叠1次,其概率会相应变小,这种现象得到了惩罚. 在实际问题中,汽车重叠的现象是绝对禁止的,因此α取值为0,这种限制通常称之为硬核限制.

2.2. 汽车的方向关系

除了个体与个体之间存在着相互不重叠性以外,汽车个体与群体之间也存在一定的关系. 当汽车成为一个群体时,其中任何汽车个体都会和群体趋向于一致. 这种规律从图像中可以发现,汽车的排列比较整齐,方向趋向于一致. 汽车分布的方向关系如图3所示. 图3(a)中汽车vi与其他汽车的方向不同,而图3(b)中汽车的方向都一致,显然方向一致更符合实际情况. 用AviV)来描述这种关系,AviV)=1表示汽车vi与汽车群V的方向是不一致的,对应于图3(a)AviV)=0表示汽车vi与汽车群V的方向是一致的,对应于图3(b).

图 3

图 3   汽车分布的方向关系

Fig.3   Direction relationship of vehicles’ distribution


为了描述汽车在方向上的这种一致性关系,引入汽车方向趋向于一致的概率测度hav),其表示形式如下:

$ {h}_{\rm{a}}(v)\propto {\beta }^{{s}_{2}\left(V, \; A\right)}_{\rm{a}}. $

式中:βa为一个常数,s2(V, A)表示当前图像配置中方向不一致的汽车对数,计算方法如下,

$ {s}_{2}\left(V,A\right)=\sum _{{v}_{i}, {v}_{j}\in V}1[A({v}_{i}, {v}_{j})=1]. $

配置中每出现1对汽车的方向不一致,s2(V, A)的大小累加1. 与重叠限制不同的是,汽车的角度约束不是强制性的,实际问题中方向不一致的概率较小,因此β∈(0,1),随着s2(V, A)变大,概率haV)变小,这种情况会得到一定概率的惩罚,这种限制称为软核限制. 随着汽车数量越来越多,增加1辆不同角度汽车的约束越来越大. 当汽车数量越来越多时,这种约束会越来越大. 在判断汽车的方向是否一致时,可以根据2辆汽车旋转角度的差值进行判断. 当 $\left|{\theta }_{i}-{\theta }_{j}\right|<{\theta }_{\rm{t}\rm{h}}$时,可以认为汽车的方向是一致的,其中θth是一个极小的角度.

3. 数据项

为了量化目标在图像中每一个像素点出现的概率,采用模板匹配得到的相似度计算概率模型的数据项. 从原图像I的左上角选择一个和模板大小相同的子图,与目标模板T进行比较并计算出两者的相似度,在图像R中记录当前位置相似度的大小. 将子图沿着图像的行和列依次滑动单位像素的距离,得到图像中所有像素点位置处的相似度并记录在图像R中,比较这些位置相似度的大小,最终确定目标的位置,这就是模板匹配的整个过程.

模板匹配过程中相似度的计算方法有很多,本文采用归一化平方差匹配法来计算匹配值. 图像可以看作是一个关于坐标点位置(x, y)的函数,原图像I可以用I(x, y)表示,模板图像TT(x', y')表示,结果图像RR(x', y')表示,那么匹配值的计算方法[13]如下:

$ R\left(x,y\right)=\frac{\displaystyle\sum\nolimits _{{x}',{y}'}{[T\left({x}',{y}'\right)-I\left(x+{x}',y+{y}'\right)]}^{2}}{\left[\displaystyle\sum\nolimits _{{x}',{y}'}{T\left({x}',{y}'\right)}^{2}\displaystyle\sum\nolimits _{{x}',{y}'}{I\left(x+{x}',y+{y}'\right)}^{2}\right]^{1/2}}. $

由式(13)计算得到的匹配值与相似度成反比关系,匹配值越小,相似度越高,匹配值为0时相似度最高.

在实际图像中,汽车的方向是不确定的. 传统的模板匹配仅仅适用于垂直汽车的提取,当图像中的汽车发生旋转时,单一的模板就无法适应各种角度. 因此,必须设计出适用于0°~360°不同角度的汽车模板. 本文将汽车沿顺时针方向旋转,每次旋转10°,一共旋转36次,得到0°~360°的汽车模板. 汽车间隔的角度会影响最终提取的精度,间隔越小,精度越高,计算的复杂度也会相应的提高.

模板旋转能解决汽车方向多样性的问题,但单一颜色的模板很难适应不同颜色的汽车目标. 本文选择多种颜色模板匹配的相似度的最大值作为判断汽车是否存在的标准,只要任意一种颜色模板与当前位置的相似度较高,那么当前位置就有可能存在汽车. 由于采用归一化平方差匹配法计算得到的匹配值与汽车的相似度成反比,不同颜色汽车目标提取的过程就是求解R(x, y)最小值Rm(x, y)的过程,可以表示如下:

$ R_{\rm{m}}\left(x,y\right)={\rm{min}}\;\{{R}_{1}\left(x,y\right),{R}_{2}\left(x,y\right),\cdots ,{R}_{n}\left(x,y\right)\}. $

式中:Rm(x, y)表示不同颜色汽车目标提取的最优匹配值,Rn(x, y)表示第n个样本的匹配值.

假设随机点之间的数据是相互独立的,那么汽车随机点过程中数据项的概率密度可以表示为局部项的乘积[14]

$ {h}_{\rm{d}}(v)\propto \prod _{i=1,\;2,\;\cdots,\; n}{h}_{\rm{d}}\left({w}_{i}\right). $

式中:每一个点配置wi的局部项hd (wi)表示随机点与图像中汽车的关联性,即当前随机点出现汽车的可能性. 局部项的计算方法如下:

$ {h}_{\rm{d}}\left({w}_{i}\right)={\rm{exp}}\; [f(x_{\rm{s}})] $

其中,f(xs)表示相似度的大小,可以看作是局部项hd(wi)的能量. 相似度f(xs)是一个关于匹配值xs(wi)的一次函数,

$ f\left({x}_{\rm{s}}\right)=k{x}_{\rm{s}}\left({w}_{i}\right)+b. $

其中,k值一般取负值,因为相似度和匹配值成反比,匹配值越小,相似度越大. 在相似度的计算中,将匹配值进行线性变换,这样数据项的值可以得到更好的分布,便于后面的优化求解.

4. 优化求解

4.1. 可逆跳马尔科夫链蒙特卡罗采样

模拟随机点过程最常用的一种方法就是空间生灭过程. 这种方法是通过模拟一个马尔科夫链实现的,马尔科夫链只允许2种类型的转移核:向配置中增加一个点(生)或从配置中去掉一个点(灭). 混合属性的转移核可以通过MH(Metropolis-Hastings)动力实现. MH可以实现转移核:改变一个配置中的点的特性(移动),可以看作是MCMC(Monte Carlo Markov chain)方法的一般化,适用于连续状态空间. 这类方法通常称为RJMCMC(reversible jump Monte Carlo Markov chains),在各类图像分析的问题中得到了良好的应用[15-18].

RJMCMC采样可以用来模拟一个离散的马尔科夫链 ${({{X}}_t)}_{t\in \bf{N}}$,其中 ${({{X}}_t)}_{t\in \bf{N}}$能够在 $ {h}_{\rm{T}}\left(w\right)$收敛. 在配置转化过程中,当前配置为w的空间点通过转移核 $Q(w\to .)$能够产生新的配置w',作为马尔科夫链中的一个新的状态,被以R的概率接收,接收概率(Green ratio)的计算方法如下:

$ R=\frac{Q\left({w}^{\mathrm'}\to w\right)}{Q\left(w\to {w}^{\mathrm'}\right)}\frac{h\left({w}^{\mathrm'}\right)}{h\left(w\right)}. $

转移核Q可以是由很多个子转移核Qm混合组成:

$ Q\left(w\to .\right)=\sum\nolimits_{m}{p}_{m}{Q}_{m}(w\to .). $

其中,pm是选择子转移核Qm的概率. 转移核必须允许配置w能跳转到Ω中的任意一个其他配置,并且这种转换是可逆的.

在汽车目标提取概率模型的采样过程中,使用2种状态转移核:1)生灭核QBD:当汽车从当前配置v转移到下一个配置v' 时,随机增加1辆汽车,或减少1辆汽车;2)转移核QT:当汽车从当前配置v转移到下一个配置v' 时,某一辆汽车的位置、大小或方向发生了变化. 根据先验模型和数据项,可得汽车目标提取的后验概率:

$ {h}_{\rm{s}}\left(v\right)={h}_{\rm{o}}\left(v\right){h}_{\rm{a}}\left(v\right){h}_{\rm{d}}\left(v\right). $

生核QB的接收概率Rb可以表示为

$ {R}_{\rm{b}}=\frac{{p}_{\rm{d}}{\lambda }_{\rm{F}}}{{p}_{\rm{b}}n\left({v}'\right)}\frac{{h}_{\rm{o}}\left({v}'\right){h}_{\rm{a}}\left({v}'\right){h}_{\rm{d}}\left({v}_{i}'\right)}{{h}_{\rm{o}}\left(v\right){h}_{\rm{a}}\left(v\right)}. $

式中:λF为泊松分布的期望,n(v')为配置v' 中汽车的数量,vi'为增加的汽车,pdpb分别为选择增加、减少1辆汽车的概率,通常都取值为0.5,灭核QD的接收概率Rd与之相反. 转移核QT的接受概率可以表示为

$ {R}_{\rm{T}}=\frac{{h}_{\rm{o}}\left({v}'\right){h}_{\rm{a}}\left({v}'\right){h}_{\rm{d}}\left({v}_{i}'\right)}{{h}_{\rm{o}}\left(v\right){h}_{\rm{a}}\left(v\right){h}_{\rm{d}}\left({v}_{i}\right)}. $

4.2. 模拟退火策略

模拟退火算法源于物理学中固体退火降温过程,将固体加热到一定的温度,其内部的粒子呈现出无序状态,如果将温度徐徐降低,粒子渐渐趋向于有序,当温度接近于0时,整个系统的内能最小,粒子达到基态[19]. 模拟退火算法是一种启发式随机搜索算法,在优化求解的过程中采用Metropolis准则,能够从局部极值处跳出,从而在全局的范围内达到最优解.

在汽车目标提取模型中,给定初始温度θ,随着θ缓慢减小,系统因为内能的减小而不断趋于稳定,当θ趋于0时,模型在概率空间上达到最优解,可以用下式表示:

$ {h}_{\theta}\left(v\right)={\left[h\left(v\right)\right]}^{{1}/{\theta}}={\left[{h}_{\rm{o}}\left(v\right){h}_{\rm{a}}\left(v\right){h}_{\rm{d}}\left(v\right)\right]}^{{1}/{\theta}}. $

5. 实验结果和评估

5.1. 先验模型的模拟

先验模型反映了汽车在空间上的分布规律,为了验证这种规律,在500×500的图像范围内模拟汽车的随机分布过程. 汽车宽度w∈[10, 15],长度l∈[20, 25],随机采样次数为106次,模拟退火初始温度为10℃,温度下降比率为0.999 9. 在先验模型中,汽车期望数量λF、重叠参数α、方向参数β的设置分别如表1所示.

表 1   先验模型中的不同参数设置

Tab.1  Different parameter settings for prior model

实验序号 λF α β
1 100 1.0 1.0
2 100 0 1.0
3 1 000 0 1.0
4 1 000 0 0.9

新窗口打开| 下载CSV


实验结果如图4所示:1)泊松分布,λF=100,有很多汽车相互重叠;2)加入重叠限制后,没有任何2辆汽车重叠;3)当汽车数量增大到1 000时,还是没有汽车重叠,由于图像的空间限制,模拟优化后实际汽车的数量为497,没有达到期望值;4)加入角度约束后,汽车的方向趋向于一致.

图 4

图 4   不同参数下的汽车分布结果

Fig.4   Vehicles’ distribution results with different parameters


通过4组实验的对比分析,可以得到:汽车在空间上的数量和分布是由期望值、重叠限制、角度约束,以及图像大小、汽车大小共同决定的. 在图像空间充裕的情况下,重叠限制和角度约束能够让汽车在空间上呈现出更加合理的分布.

5.2. 数据项计算结果

数据项反映了模型和图像之间的联系. 在实际计算过程中,将数据项预先计算好,储存在像素点中,模拟优化时只需要查询相应值即可,这样做能大大提高计算效率. 如图5所示,图中每一个像素点的亮度值为模板匹配计算得到的匹配值,亮度值越小,汽车提取的匹配值也越小,而出现汽车的概率则更高.

图 5

图 5   模板匹配处理的图像结果

Fig.5   Image results after template match processing


5.3. 汽车目标提取结果

本文测试的实验数据采用遥感卫星或者航空拍摄的高分辨率正射影像,汽车不小于20×8个像素. 概率模型针对于汽车在空间上规则分布的场景,比如道路上按照交通规则行驶的汽车、停车场上参考周围整齐排列的汽车. 当汽车在空间上的分布零散不规则时,概率模型无法获得理想的提取效果.

为了验证算法的有效性,从谷歌图库中选择相应场景的图像,在图像上随机生成一些矩形,进行蒙特卡洛采样,每一次采样过程中,根据先验概率和数据项的大小决定是否在相应的位置上生成或减去1辆汽车,在模拟退火的作用下优化结果,使得后验概率最大,由此得到汽车的提取结果. 道路上和停车场上汽车提取结果分别如图67所示.

图 6

图 6   道路上汽车图像的提取结果

Fig.6   Extraction results of image with vehicles on road


图 7

图 7   广场上汽车图像的提取结果

Fig.7   Extraction results of image with vehicles on square


5.4. 结果量化评估

精确度和回收率是目标提取中常用的评价指标,精确度是指检索到的信息中相关信息所占的比率,而回收率指的是相关信息中被提取到的信息所占的比率. 在汽车目标提取问题中,把结果目标分为以下4类. NTP:事实上是汽车,被判定为汽车;NFP:事实上不是汽车,被判定为汽车;NTN:事实上是汽车,被判定为不是汽车;NFN:事实上不是汽车,被判定为不是汽车. 根据汽车目标提取结果中NTPNFPNTNNFN值,可以得到精确度PN和回收率RN的计算方法:

$ P_{\rm{N}}=\frac{{N}_{\rm{TP}}}{{N}_{\rm{TP}}+{N}_{\rm{FP}}}, $

$ R_{\rm{N}}=\frac{{N}_{\rm{TP}}}{{N}_{\rm{T}\rm{P}}+{N}_{\rm{F}\rm{N}}}. $

选取5张汽车图像对概率模型的提取效果进行评估,结果如表2所示. 结果表明:该算法的提取精度能达到99%以上,回收率能达到90%以上.

表 2   汽车提取的评估结果

Tab.2  Evaluation results of vehicle extraction

图像编号 NTP NFP NFN PN RN
1 112 1 8 0.991 2 0.933 3
2 99 1 3 0.990 0 0.970 6
3 802 4 71 0.995 0 0.918 7
4 323 1 18 0.996 9 0.947 2
5 178 1 2 0.994 4 0.988 9

新窗口打开| 下载CSV


5.5. 实验结果对比

本文的概率模型采用了模板匹配的相似度作为数据项,因此有必要将标点过程与模板匹配的实验结果进行对比. 如图8所示,传统的模板匹配方法在没有先验信息的帮助下,在汽车密集的场景中会出现提取结果之间的相互重叠,同时提取的角度会有一定的摆动,而标点过程能通过先验模型的约束很好地解决这些问题.

图 8

图 8   模板匹配和标点过程的实验结果对比

Fig.8   Comparison of experimental results with template match and marked point processes


6. 结 论

本文基于标点过程的理论,提出了一种以长方形作为标记点的汽车提取概率模型. 使用先验模型构造汽车在真实场景中的限制和约束条件,采用数据项根据相似度的大小建立模型与图像之间的联系. 该算法能够反映汽车在空间上的合理分布,同时能够对不同颜色、不同角度的汽车进行提取,在停车场、道路场景中能够得到良好的应用. 一方面,先验模型是根据实际场景的需要进行设定的,进一步研究工作会考虑更加丰富的先验约束条件,满足更多场景下的汽车提取;另一方面,将模板匹配的相似度作为数据项,在实际应用中受到模板的限制,进一步研究工作考虑引入机器学习的方法,提出更加通用的似然模型.

参考文献

MOON H, CHELLAPPA R, ROSENFELD A

Performance analysis of a simple vehicle detection algorithm

[J]. Image and Vision Computing, 2002, 20 (1): 1- 13

DOI:10.1016/S0262-8856(01)00059-2      [本文引用: 1]

TAN Q, WANG J, ALDRED D A. Road vehicle detection and classification from very-high-resolution color digital orthoimagery based on object-oriented method [C] // IEEE International Geoscience and Remote Sensing Symposium. IGARSS 2008. Boston: IEEE, 2008, 4: IV-475-IV-478.

[本文引用: 1]

GLEASON J, NEFIAN A V, BOUYSSOUNOUSSE X, et al. Vehicle detection from aerial imagery [C] // 2011 IEEE International Conference on Robotics and Automation (ICRA). Shanghai: IEEE, 2011: 2065-2070.

[本文引用: 1]

LIU K, MATTYUS G

Fast multiclass vehicle detection on aerial images

[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12 (9): 1938- 1942

DOI:10.1109/LGRS.2015.2439517     

CHEN Z, WANG C, LUO H, et al

Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature

[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17 (8): 2296- 2309

DOI:10.1109/TITS.2016.2517826      [本文引用: 1]

CAO L, LUO F, CHEN L, et al

Weakly supervised vehicle detection in satellite images via multi-instance discriminative learning

[J]. Pattern Recognition, 2017, 64: 417- 424

DOI:10.1016/j.patcog.2016.10.033      [本文引用: 1]

YANG M Y, LIAO W, LI X, et al. Deep Learning for vehicle detection in aerial images [C] // 2018 25th IEEE International Conference on Image Processing (ICIP). Athens: IEEE, 2018: 3079-3083.

[本文引用: 1]

STOICA R, DESCOMBES X, ZERUBIA J

A Gibbs point process for road extraction from remotely sensed images

[J]. International Journal of Computer Vision, 2004, 57 (2): 121- 136

DOI:10.1023/B:VISI.0000013086.45688.5d      [本文引用: 1]

GE W, COLLINS R T. Marked point processes for crowd counting [C] // IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE, 2009: 2913-2920.

[本文引用: 1]

YU Y, LI J, GUAN H, et al

A marked point process for automated building detection from lidar point-clouds

[J]. Remote Sensing Letters, 2013, 4 (11): 1127- 1136

DOI:10.1080/2150704X.2013.846487      [本文引用: 1]

KOWAL M, KORBICZ J. Marked point process for nuclei detection in breast cancer microscopic images [C] // Polish Conference on Biocybernetics and Biomedical Engineering. Poland: Springer, 2017: 230-241.

[本文引用: 1]

VAN LIESHOUT M N M. Markov point processes and their applications [M]. London: Imperial College Press, 2000.

[本文引用: 1]

张东萍. 改进 Grabcut 算法在无人机影像船只识别中的应用与研究[D]. 天津: 天津大学, 2013.

[本文引用: 1]

ZHANG Dong-ping. Applications and research of improved Grabcut algorithm on ship detection from UAV images[D]. Tianjin: Tianjin University, 2013.

[本文引用: 1]

CHAI D, SCHMIDT A, HEIPKE C

Detecting linear features by spatial point processes

[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences-ISPRS Archives, 2016, 41: 841- 848

[本文引用: 1]

GREEN P J

Reversible jump Markov chain Monte Carlo computation and Bayesian model determination

[J]. Biometrika, 1995, 82 (4): 711- 732

DOI:10.1093/biomet/82.4.711      [本文引用: 1]

GAMERMAN D, LOPES H F. Markov chain Monte Carlo: stochastic simulation for Bayesian inference [M]. New York: Chapman and Hall/CRC, 2006.

GELMAN A, STERN H S, CARLIN J B, et al. Bayesian data analysis [M]. New York: Chapman and Hall/CRC, 2013.

GREEN P J, ŁATUSZYŃSKI K, PEREYRA M, et al

Bayesian computation: a summary of the current state, and samples backwards and forwards

[J]. Statistics and Computing, 2015, 25 (4): 835- 862

DOI:10.1007/s11222-015-9574-5      [本文引用: 1]

石利平

模拟退火算法及改进研究

[J]. 信息技术, 2013, (2): 176- 178

DOI:10.3969/j.issn.1009-2552.2013.02.051      [本文引用: 1]

SHI Li-ping

Research on simulated annealing algorithm and improvements

[J]. Information Technology, 2013, (2): 176- 178

DOI:10.3969/j.issn.1009-2552.2013.02.051      [本文引用: 1]

/