浙江大学学报(工学版), 2022, 56(1): 47-55 doi: 10.3785/j.issn.1008-973X.2022.01.005

计算机技术、信息与电子工程

基于线性逻辑矢量模式的遥感图像目标检测

陈雪云,, 黄金汉,, 胡子灿, 岑升才

广西大学 电气工程学院,广西 南宁 530000

Remote sensing image target detection based on linearly logic vector pattern

CHEN Xue-yun,, HUANG Jin-han,, HU Zi-can, CEN Sheng-cai

School of Electrical Engineering, Guangxi University, Nanning 530000, China

收稿日期: 2021-02-25  

基金资助: 国家自然科学基金资助项目(62061002)

Received: 2021-02-25  

Fund supported: 国家自然科学基金资助项目(62061002)

作者简介 About authors

陈雪云(1969—),男,副教授,博士,从事机器学习与模式识别的研究.orcid.org/0000-0001-5276-1707.E-mail:cxy177@163.com , E-mail:cxy177@163.com

摘要

针对局部线性模式(LLP)在遥感图像目标检测中存在维度较高及没有考虑相邻像素间联系的缺点,提出线性逻辑矢量模式特征. 通过在2条互相垂直的方向上进行采样,选取出用于阈值比较的像素点,利用逻辑矢量变换的原理进行特征降维. 通过阈值函数构建中心像素与采样点间的联系,提出基于中心的线性逻辑矢量模式特征(LLVP(C)),通过相邻点阈值比较模式联系相邻像素间的信息提出变型(LLVP(A)). 为了糅合中心与相邻这2类特征信息,提出对LLVP(C)和LLVP(A)进行按位的逻辑融合得到新的LLVP. 在遥感图像数据库上进行车辆、树木及建筑物的检测实验表明,LLVP优于其他的改进型LBP特征,表明应用LLVP特征再进行检测能够以较短的训练时长达到高精度及广适应性的双重标准.

关键词: 遥感检测 ; 逻辑矢量变换 ; 二值模式 ; 纹理特征 ; 逻辑融合

Abstract

Linear logic vector pattern features were proposed aiming at the shortcomings of local line pattern (LLP) in target detection of remote sensing images, such as high dimension and no connection between adjacent pixels. The pixels used for threshold comparison were selected by sampling in two mutually perpendicular directions, and the feature dimension was reduced by using the principle of logical vector transformation. A central based linear logic vector pattern (LLVP (C)) was proposed by constructing the relationship between the center pixel and the sampling point through the threshold function. An improved based linear logic vector pattern (LLVP (A)) was proposed by connecting the information between the adjacent pixels through the threshold comparison pattern of the adjacent points. A new LLVP was proposed based on the bit wise logical fusion of LLVP (C) and LLVP (A) in order to combine the center and adjacent feature information. The experiment of vehicle, tree and building detection on remote sensing image database shows that LLVP is obviously better than other improved LBP features. LLVP features can achieve high precision and wide adaptability with short training time.

Keywords: remote sensing detection ; logical vector transformation ; binary mode ; textural feature ; logic fusion

PDF (1386KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

陈雪云, 黄金汉, 胡子灿, 岑升才. 基于线性逻辑矢量模式的遥感图像目标检测. 浙江大学学报(工学版)[J], 2022, 56(1): 47-55 doi:10.3785/j.issn.1008-973X.2022.01.005

CHEN Xue-yun, HUANG Jin-han, HU Zi-can, CEN Sheng-cai. Remote sensing image target detection based on linearly logic vector pattern. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(1): 47-55 doi:10.3785/j.issn.1008-973X.2022.01.005

遥感图像中的目标检测是获取图像中特定目标的位置和类别,在公共安全、车辆监控和智能交通等领域都有着巨大的应用价值[1-2]. 以LBP(local binary patterns)为代表的纹理特征在遥感图像目标检测领域占据着重要地位[3],因此对该特征进行改进具有重要的研究意义.

局部二值模式特征最初是由Ojala等[4-5]提出,是有效非参数化的图像局部纹理描述方法. 为了适应不同需求,许多改进型LBP被相继提出. Tan等[6]通过对阈值比较所划的区间分成3段,提出局部三值模式(local ternary patterns, LTP)特征,强化了对光照干扰的鲁棒性. Heikkila等[7]通过将采样点与其中心对称的点进行比较,提出中心对称局部二值模式 (center symmetric LBP, CS-LBP)[8],实现了一定程度的降维,但导致了精度损失. 为了兼顾中心点像素与远近端像素间的信息,陈家华等[9]提出局部线段模式特征(local line pattern, LLP),在以像素点为中心,相差一定角度的2条线段上进行采样,利用“等价模式”LBP(uniform pattern LBP, ULBP)[10]进行分类,缺点是忽略了3次以上跳变的分类信息. 李安然等[11]提出基于任意矢量变换的局部二值化模式分类方法(local binary vector pattern, LVP),对二值化矢量序列进行矢量变换,能够覆盖所有的跳变类型,降低了特征的维度.

上述特征均存在以下2个问题:1)没有考虑相邻点像素间的联系;2)没有将逻辑变换思想运用到线段采样模式及2类特征的融合上. 针对上述问题,本文提出线性逻辑矢量模式特征(linear logic vector pattern, LLVP). 基本思想是以双线段进行采样,通过在阈值函数上应用中心点比较模式提出LLVP(C)特征,兼顾中心点与周围像素的关系. 为了兼顾相邻点间的联系,应用相邻点比较模式提出LLVP(A)特征. 对它们进行逻辑矢量变换以降低维度,对2个特征进行逻辑融合,形成LLVP特征.

1. 相关工作

1.1. LBP特征

早期的LBP是在3×3的方形区域上进行采样. 为了能够扩大采样半径以满足不同的需求,Ojala等[10]提出圆形LBP.

圆形LBP是以像素点为中心,在一定采样半径的圆上进行均匀取点,对圆上的每一个点都与中心像素进行阈值比较. 当圆上的采样值大于中心点时,取值为1,否则为0. 圆上的每一个点都得到0或者1的值,将它们按一定顺序组合形成二进制编码,编码计算公式为

$ {\mathrm{L}\mathrm{B}\mathrm{P}}_{p,{\rm{c}}}=\sum _{p=0}^{7}s\left({{i}}_{p}-{{i}}_{{\rm{c}}}\right)\times {2}^{{p}};\; s\left(x\right)=\left\{\begin{array}{c}1,\;x > 0;\\ 0,\;x\leqslant 0.\end{array}\right. $

式中:ip为采样点像素,ic为中心像素.

LBP具有计算复杂度低、灰度尺度不变性的特点,但也存在特征维度较高的问题;它只覆盖了固定半径范围内的小区域,不能满足不同尺寸和频率纹理的需求[12-13].

1.2. LLP特征

局部线段模式特征(local line pattern,LLP)的基本原理是在每个像素点上取2条相交a夹角的线段,在每一条线段上取间距为d的采样点P个,将其与中心点进行阈值比较,得到2条P位二进制编码值. 编码原理如下所示:

$ \mathrm{L}\mathrm{L}\mathrm{P}({x}_{{\rm{c}}},{y}_{{\rm{c}}})=\sum _{p=0}^{P-1}s\left({i}_{p}-{i}_{{\rm{c}}}\right)\times {2}^{p};\;s\left(x\right)=\left\{\begin{array}{c}1,\;x > 0;\\ 0,\;x\leqslant 0.\end{array}\right. $

文献[9]的实验表明,2条线段互差90°时效果最好.

LLP本质上是从采样域的几何形状上进行改进,它将传统的圆形或者方形域采样模式替换成经过中心像素点的2条线段. 以往的研究[7-8]通常都是从阈值函数上加以考虑,采样个数和范围会受到限制;LLP由于应用了2条线段,相对来说能够采集到更多的特征信息.

1.3. LVP矢量变换

LVP的基本思想建立在二值化矢量的变换上,主要是将LBP矢量分成不同的块,应用γ函数(对于二进制矢量应用逻辑变换函数)对块求取变换值,全部块都进行运算后重新组合成新的矢量. 变换公式为

$ \left. { \begin{array}{c} {\boldsymbol{U}}=\gamma \left({{\boldsymbol{V}}}\right),\\ {\rm{LVP}}\left({{\boldsymbol{V}}}\right)={\rm{LBP}}\left(\mathrm{\gamma }\left({{\boldsymbol{V}}}\right)\right)={\rm{LBP}}\left({{\boldsymbol{U}}}\right). \end{array} } \right\}$

式中: ${{\boldsymbol{V}}}$为变换前的二值矢量, ${{\boldsymbol{U}}}$为变换后的矢量.

LVP对大部分二值化纹理算子都具有较好的可拓展性. 它保留二值模式类特征算法的阈值函数以及采样域的几何形状,通过对二进制编码应用矢量变换,以达到降低维度的目的.

2. 本文方法

提出线性逻辑矢量模式特征(linear logic vector pattern,LLVP). 基本思想是在相交的双线段上进行采样,在阈值函数采取中心点比较模式和相邻点比较模式. 结合逻辑矢量变换,得到2种LLVP特征:LLVP(C)和LLVP(A). 其中LLVP(C)作为主特征;LLVP(A)辅助LLVP(C)获取更多的纹理信息,提取出更精细的局部特征.

2.1. 逻辑矢量变换

逻辑矢量变换与文献[11]的矢量变换思想基本一致,本文仅将其推广至LLVP进行应用. 主要是 先将二值化矢量分成不同的逻辑块,对每一个逻辑块进行函数运算,具体操作如图1所示. 块逻辑函数对应于表1.

图 1

图 1   不同逻辑块变换的原理

Fig.1   Principle of transformation of different logic block


表 1   变换函数φ对应的逻辑类型

Tab.1  Logical types corresponding to transformation function

φ1函数 逻辑类型 φ2函数 逻辑类型
φ1_or φ2_or
φ1_and φ2_and
φ1_nor 或非 φ2_nor 或非
φ1_nad 与非 φ2_nad 与非

新窗口打开| 下载CSV


若块长度为L,步长为s,原向量维度为n,则逻辑变换后的矢量维度公式为

$ m=\frac{n-L}{s}+1. $

式中:m为变换后的维度.

表1中,φ1对应L = 2、s = 2的逻辑函数,φ2对应L = 3、s = 1的逻辑函数.

2.2. LLVP(C)

LLVP(C)(central based linear logic vector pattern)的基本原理如下. 在图像中的每个像素点取2条互差90°的线段,分别在线段上采样8个点,采样间距为单位像素d = 1;将它们的灰度与中心像素进行阈值比较,若线段上的采样值大于中心点则取为1,否则为0. 采样原理如图2 所示. 将产生的0和1按照自上向下或者自左向右顺序,组成二值化矢量. 对二值化矢量进行逻辑矢量变换.

图 2

图 2   LLVP(C)采样原理

Fig.2   Sampling principle of LLVP(C)


对于每一条线段,LLVP(C)逻辑变换前的采样公式为

$ {v}_{p}=s\left({i}_{p}-{i}_{{\rm{c}}}\right);\;s\left(x\right)=\left\{\begin{array}{c}1,\;x > 0\\ 0,\;x\leqslant 0\end{array}\right.. $

式中: $ p\in [\mathrm{1,2},3,\cdots ,8] $表示线段上的8个采样点;将 $ {v}_{p} $按照上述规定组成二值化矢量,得到 ${{\boldsymbol{V}}}= $ $ \left[{v}_{1},{v}_{2},\cdots ,{v}_{p},\cdots ,{v}_{n}\right]$,即为变换前的矢量.

对于每一条线段,逻辑矢量变换的计算公式为

$ \left. { \begin{array}{c}{\boldsymbol{U}}=\varphi \left({{\boldsymbol{V}}}\right)=[{u}_{1},{u}_{2},\cdots ,{u}_{p},\cdots ,{u}_{m}],\\ {\mathrm{L}\mathrm{L}\mathrm{V}\mathrm{P}}_{\mathrm{C}}=\displaystyle\sum _{p=0}^{7}{u}_{p}\times {2}^{p}.\end{array}} \right\} $

式中: $\varphi$为变换函数. 在进行逻辑变换后,LLVP(C)矢量获得更新,计算出变换后的二进制编码值.

2.3. LLVP (A)

LLVP(A)(adjacent based linear logic vector pattern)的基本思想与LLVP(C)类似,在采样模式上稍有改变. LLVP(A)是将采样点和中心点按顺序与相邻点进行阈值比较,即从上往下相邻点依序比较,从左往右类似. LLVP(A)的采样基本原理如图3所示. 在得到2个8维矢量后,经过逻辑函数变换(如以L=3、s=1的逻辑块进行变换,则更新为2个6维的LLVP(A)矢量),计算二进制编码值.

图 3

图 3   LLVP(A)采样原理

Fig.3   Sampling principle of LLVP(A)


LLVP(A)逻辑变换前的采样公式如下:

$ {{v}^{{'}}}_{p}=s\left({i}_{k}-{i}_{k-1}\right);\;s\left(x\right)=\left\{\begin{array}{c}1,\;x > 0;\\ 0,\;x\leqslant 0.\end{array}\right. $

式中: $ k $表示每条线段上的采样点以及中心像素共9个点,将它们按照上述规定依序应用采样公式进行两两相邻比较,产生8个0或1的二进制数值,将其按照自左向右或者自上向下的顺序组合成二值化矢量. ${{\boldsymbol{V}}}{'}=\left[{v{'}}_{1},{v{'}}_{2},\cdots ,{v{'}}_{p},\cdots ,{v{'}}_{n}\right]$为变换前的二值化矢量.

对于LLVP(A)中的每一条线段,逻辑矢量变换的计算公式为

$ \left. {\begin{array}{c} {\boldsymbol{T}}=\varphi ({{{\boldsymbol{V}}}}^{\mathit{{'}}})=[{t}_{1},{t}_{2},\cdots ,{t}_{p},\cdots ,{t}_{m}],\\ {\mathrm{L}\mathrm{L}\mathrm{V}\mathrm{P}}_{\mathrm{A}}=\displaystyle\sum _{p=0}^{7}{t}_{p}\times {2}^{p}. \end{array} } \right\} $

式中:LLVPA 为二进制编码值, ${{\boldsymbol{T}}}$即为变换后的矢量. 在逻辑矢量变换后,LLVP(A)矢量的维度降低,由原来的n维变换为m维,其中m<n,变换后的维度可由式(4)计算得出.

2.4. 一种逻辑融合的LLVP

LLVP(C)建立线段上的采样点与中心像素间的联系,LLVP(A)考虑了线段上每个点与相邻点之间的关系,它们体现了不一样的纹理信息. 若能够将LLVP(C)和LLVP(A)各自的特点融合在一起,则提取的特征会更加丰富. 当采用相同步长和相同块长度时它们的维度相重合,各自矢量的每一个维度实际上需要用到同样的采样点进行阈值比较,因此LLVP(C)与LLVP(A)之间存在细微的联系.

提出利用逻辑变换的原理对它们进行融合的方式,在融合的时候,采用横向的矢量变换,即对LLVP(A)和LLVP(C)的每个相同位置的位进行块长为2的逻辑运算. 于是,融合的矢量维数保持不变,能够将LLVP(A)与LLVP(C)的特征充分糅合到同一个维度上. 每条线段上的逻辑融合基本原理如图4及下式所示.

图 4

图 4   逻辑融合的原理

Fig.4   Principle of logic fusion


$ \mathrm{L}\mathrm{L}\mathrm{V}\mathrm{P}=\mathrm{\beta }\left({\mathrm{L}\mathrm{L}\mathrm{V}\mathrm{P}}_{\mathrm{C}},{\mathrm{L}\mathrm{L}\mathrm{V}\mathrm{P}}_{\mathrm{A}}\right). $

式中: $ \;\mathrm{\beta } $为逻辑融合函数.

LLVP(linear logic vector pattern)为融合了LLVP(C)和LLVP(A)所形成的新特征, LLVP特征的维度和单独的LLVP(C)或LLVP(A)特征相同,没有因为继承了2个特征的优势而造成维度增加的困境. 这种融合方式不仅适用于LLVP,也适用于其他一些需要互补的二值化特征融合.

3. 实验过程与结果分析

3.1. 数据集建立及预处理

本文的实验主要是在遥感车辆数据集和遥感树木数据集上进行分析,在最后的检测对比中为了验证算法的广适应性,会增加1组对遥感建筑物的检测. 使用的数据集均是从20张分辨率为5 616×3 744的遥感图片上标定切割而来. 其中遥感车辆数据库正样本为5 000张图像中心点与车辆中心点重合的48×48像素图片,负样本为像素48×48且不包含车辆的5 000张复杂地形和复杂路况图片. 遥感树木数据库的正样本和负样本为48×48像素各5 000张,其中正样本为树木图片,负样本不包含树木信息的样本. 部分遥感车辆及遥感树木正负样本如图5所示.

图 5

图 5   部分遥感车辆、遥感树木正、负样本

Fig.5   Part of positive and negative samples of remote sensing vehicles and remote sensing trees


由于对图像进行金字塔分割,能够从不同尺度对遥感图像的特征进行统计. 在对数据库样本进行特征提取之前,先将样本图片进行3层金字塔分割,即将图像分成1×1+2×2+4×4=21个不同小块.

3.2. 数据特征提取

在预处理后,须对小块图像的像素遍历计算LLVP值. 若是LLVP(C)特征,则计算像素点的LLVP(C)值. 由于逻辑矢量变换后,LLVP向量维度为m,则LLVP值共有 $ {2}^{m} $个类别. 根据统计直方图的思想,计算每个小块中不同类别的LLVP值所出现的次数与小块图像总像素的比值,由此21个小块图像都得到了 $ {2}^{m} $个类别的占比,将它们归一化后连接成 $ {2}^{m}\times 21 $维度的向量. 由于有2条线段的特征向量,总的特征维度为 $ {2}^{m}\times 21\times 2 $维.

在本文的实验中,仅使用L=2、s=2以及L=3、s=1的不同类别逻辑块进行研究. 下面将从信息相关性及信息表征的角度,分析步长s和块长度L对算法性能的影响. 1)s的取值一般不宜大于L. 若s大于L,则逻辑块在对特征矢量进行矢量变换操作时会跃过部分特征点,导致信息的不完整. 2)在通常情况下,s取值越大,则2个逻辑块之间重叠的部分越少,变换后2个相邻的特征点相关性会逐渐弱化,提取特征信息的效果相对变差. 3)L取值不适合太大. 逻辑矢量变换本质上是以变换后的特征值表征变换前的几个运算数值,受限于逻辑运算的表征能力,L并非越大越好. 经过测试可知,当L取2或3时,更适合于对8维的二值化矢量进行逻辑变换.

表2所示,对各个特征的维数进行对比. CLBP为圆形LBP,维数 $ 256\times 21=5\;376 $. ULBP为等价模式LBP,维数 $ 59\times 21=1\;239 $. LLP维数为 $ 59\times 21\times 2=2\;478 $. LVP采用多个逻辑运算串接融合,维数为 $ 21\times 16+21\times 128+21\times 64=4\;368 $. LLVP的总特征维度为 $ {2}^{6}\times 21\times 2=2 \;688 $.

表 2   各种特征的维数

Tab.2  Dimensions of various features

模式 m 模式 m
LBP 5 376 LVP 4368
CLBP 5 376 LLVP(C) 2688
ULBP 1239 LLVP 2688
LLP 2478

新窗口打开| 下载CSV


3.3. 实验结果分析

采用BP神经网络,对数据集进行训练及预测. 根据经验,将网络层数设置为4层:输入层神经元数量等于单张图片的特征维数,第1层隐含层节点数设置为8,第2层隐含层节点数设置为4,输出层神经元数量为2. 采用sigmoid激活,模型学习率为0.1,引入动量因子,模型迭代次数初始值设为5 000.

实验从遥感车辆和遥感树木数据库中均选取4000个正样本和4 000个负样本进行训练,其余的样本用于测试. 将从遥感车辆和遥感树木数据集中提取出来的正、负样本特征送入BP神经网络,以训练出分类器. 用该分类器对测试样本进行检验,通过不同的测试指标,以验证提出的特征相对于其他特征的优劣性.

在对测试集进行测试时,一些指标的相应公式如下:

$ {A}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{T}\mathrm{N}}, $

$ {P}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}, $

$ {R}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}, $

$ \mathrm{F}1=2{P}\times \frac{{R}}{{P}+{R}}. $

式中:TP(true positive)表示实际样本为正且预测为正,FN(false negative)表示实际样本为正而预测为负,FP(false positive)表示实际样本为负而预测为正,TN(true negative)表示实际样本为负且预测为负,A为准确率,P为精确率,R为召回率,F1为综合性指标.

为了探索各个逻辑函数在遥感车辆和遥感树木检测中发挥的实际效果,使用L = 2、s = 2及L = 3、s = 1的逻辑函数研究LLVP(C)、LLVP(A). 在进行逻辑矢量变换后,将获取的特征送入BP神经网络中进行训练及测试. 测试结果如表3所示.

表 3   不同φ函数作逻辑变换的LLVP(C)、LLVP(A)在BP网络中的测试结果

Tab.3  Test results of LLVP(C) and LLVP(A) in BP network with logic transformation of different φ functions

φ1函数 特征 m 遥感车辆 遥感树木
A/% F1 A/% F1
φ1_or LLVP(C) 672 90.84 0.921 89.31 0.918
φ1_and LLVP(C) 672 91.43 0.928 88.97 0.902
φ1_nor LLVP(C) 672 89.77 0.915 87.51 0.881
φ1_nad LLVP(C) 672 90.05 0.908 88.43 0.894
φ1_or LLVP(A) 672 86.22 0.905 86.71 0.885
φ1_and LLVP(A) 672 87.64 0.911 85.97 0.871
φ1_nor LLVP(A) 672 86.14 0.889 86.36 0.879
φ1_nad LLVP(A) 672 86.17 0.896 86.98 0.884
φ2_or LLVP(C) 2 688 92.31 0.924 91.77 0.914
φ2_and LLVP(C) 2 688 91.91 0.926 90.12 0.907
φ2_or LLVP(A) 2 688 86.42 0.871 87.22 0.861
φ2_and LLVP(A) 2 688 88.21 0.881 87.58 0.872

新窗口打开| 下载CSV


表3的测试结果可以看出,不管是以准确率还是以F1分数为标准,在遥感车辆和遥感树木数据库中的LLVP(C)检测结果比LLVP(A)更好. 这说明中心采样相较于相邻采样所起的作用更关键. 从逻辑函数类型的角度来看,LLVP(C)和LLVP(A)的准确率分布趋势具有一定的相似性,单独的与运算(φ1_and)和或运算(φ1_or)的效果整体上比与非(φ1_nad)、或非(φ1_nor)的检测效果好.

总而言之,从表3的实验可以总结出2个结论:1)LLVP(C)特征优于LLVP(A);2)逻辑与以及逻辑或优于逻辑与非和或非.

这可以从理论上进行解释. LLVP(C)是将线段上的每个采样点与中心点进行阈值比较,采样较集中,鲁棒性更强;LLVP(A)在采样时是以相邻点依序比较,相对来说较分散,容易受到干扰. 这是LLVP(C)特征的检测精度高于LLVP(A)的直接原因.

当图像映射到二值特征时,检测目标的特征纹理一般都会趋向于显示为黑色,黑色部分即像素显示为1. 逻辑与非和逻辑或非有个共同特点是:若参与同一个逻辑运算的数值全部为1,则返回0. 这会导致显性的关键信息归为隐性,而逻辑与和逻辑或进行函数运算时都能将这种显性特征保留下来. 逻辑与和逻辑或的特征提取效果会优于与非和或非.

考虑到与非和或非的使用会导致二值特征中的关键信息缺失,与变换和或变换不仅能够降低特征维度,也能有效提取出其中的关键信息. 在逻辑融合之前,应考虑以逻辑与以及逻辑或作为LLVP(C)特征和LLVP(A)特征的矢量变换函数. 在进行同一个与运算操作时,只有当参与运算的全部数值都为1时才返回1数值,其他情况全部归为0,即逻辑与能够将较密集的关键信息突显,较模糊的信息稀疏归0. 当进行或运算操作时,只要参与运算的全部数值不全为0,则运算的结果都将返回1,简而言之,逻辑或会将非确定性且模糊的信息归为显性来处理. 相较于逻辑与直接将参数稀疏,逻辑或会更适合于处理发散的信息.

经过以上分析可知,LLVP(C)采样较集中,须将其中的特征信息突显出来,因此采用逻辑与作为矢量变换函数较合适. LLVP(A)采样较发散,须收集的信息较散乱,采用逻辑或作为矢量变换函数更合适.

为了分析逻辑融合应用何种变换函数效果最佳,将β_or(或)、β_and(与)、β_nor(或非)、β_nad(与非)作为逻辑融合函数的LLVP特征,分别送入BP神经网络进行训练.

在特征融合中分别开展2组实验. 实验1(见表4)中所融合的LLVP(C)采用φ1_and、LLVP(A)采用φ1_or 作为逻辑矢量变换函数,融合得到的特征为 LLVP1. 实验2(见表5)中所融合的LLVP(C)采用φ2_and、LLVP(A)采用φ2_or作为逻辑矢量变换函数,融合得到的特征为LLVP2.

表 4   不同β函数作逻辑融合的LLVP1在BP网络上的测试结果

Tab.4  Test results of LLVP1 with different β functions in BP network

φ函数融合的LLVP m 遥感车辆 遥感树木
A/% F1 A/% F1
LLVP1, [β_or]
LLVP1, [β_and]
LLVP1, [β_nor]
LLVP1, [β_nad]
672
672
672
672
94.03
94.96
93.47
93.88
0.948
0.957
0.945
0.951
92.43
92.44
90.51
91.89
0.938
0.943
0.914
0.925

新窗口打开| 下载CSV


表 5   不同β函数作逻辑融合的LLVP2在BP网络上的测试结果

Tab.5  Test results of LLVP2 with different β functions in BP network

φ函数融合的LLVP m 遥感车辆 遥感树木
A/% F1 A/% F1
LLVP2, [β_or]
LLVP2, [β_and]
LLVP2, [β_nor]
LLVP2, [β_nad]
2688
2688
2688
2688
95.54
95.81
93.77
95.62
0.961
0.967
0.943
0.952
94.79
94.71
93.11
92.97
0.955
0.945
0.939
0.945

新窗口打开| 下载CSV


表4可以看出,融合后的LLVP特征送入BP神经网络所得到的测试准确度相对于LLVP(C)特征提高了近3.5%,对LLVP应用与函数(β_and)作逻辑融合时的测试效果最佳. 此时,在遥感车辆数据库上进行LLVP实验得到的测试准确率达到94.96%,F1分数为0.957;在遥感树木数据库上开展实验得到的准确率为92.44%,F1分数为0.943.

表5给出LLVP(C)使用逻辑与(φ2_and),LLVP(A)使用逻辑或(φ2_or),逻辑融合使用不同类型逻辑运算的测试结果. 从结果可以看出,特征维数的增加整体上提高了检测精度,表5的数据表现出采用逻辑与和逻辑或的优越性. 从测试的准确率来看,在遥感车辆数据库上采用逻辑与作为逻辑融合函数能够达到95.81%,在遥感树木数据库上采用逻辑或进行逻辑融合能够达到94.79%的准确率.

选取表5中准确率最高的LLVP模型与其他纹理特征及Faster R-CNN、YOLOv3进行对比,在准确率和F1分数指标下的测试结果如表6所示. 表中,ttr为一块CPU下的训练时间. 表中的训练时间均是在基于AMD Ryzen 7 4800H CPU的环境下进行测试得出的. 由表6可以看出,用该方法测试得到的A以及F1分数相对于其他各类纹理特征是最高的,说明该方法对于车辆和树木2类遥感数据集的测试效果最佳. 在车辆和树木2类遥感数据库中的测试准确率不如Faster R-CNN、YOLOv3. 深度模型虽然具有强大的学习能力和特征表达能力,但是训练出一个好的模型所需要的计算量很大,相对来说较耗时. 传统特征的时效性较高,从遥感车辆及遥感树木数据集中提取LLVP特征,并在CPU上经分类器训练,再到检测出结果,总耗时不到15 min. 传统特征模型更适用于运算资源不高及对速度有要求的场景.

表 6   经BP神经网络训练的各类纹理特征及YOLOv3、Faster R-CNN的测试结果

Tab.6  Test results of various texture features trained by BP neural network and test results of YOLOv3, Faster R-CNN

算法 m ttr/h 遥感车辆 遥感树木
A/% F1 A/% F1
LBP
ULBP
LLP
LVP
YOLOv3
Faster R-CNN
LLVP(本文方法)
5376
1239
2478
4368


2688
0.39
0.12
0.2
0.36
18
22
0.23
88.54
89.98
91.17
93.11
96.18
96.83
95.81
0.891
0.901
0.923
0.937


0.967
87.87
88.91
90.84
91.78
95.77
96.12
94.79
0.881
0.887
0.914
0.927


0.955

新窗口打开| 下载CSV


当分类器取不同阈值时,可得一系列的(RP)点,绘制出LLVP与其他各类纹理特征的P-R曲线. 在P-R曲线上,精确率越高,召回率越高,则模型和算法越高效[14-15]. 如图6(a)、(b)分别为在遥感车辆数据库和遥感树木数据库中绘制的P-R曲线. 从P-R曲线可以看出,LLVP特征的检测效果优于其他各类纹理算子.

图 6

图 6   遥感数据库上的P-R曲线

Fig.6   P-R curves on remote sensing database


图7(b)、8(b)给出使用多尺度滑动窗口检测算法得到的遥感车辆和树木的实际检测效果图. 在检测过程中使用的分类器均为上述LLVP实验中得到的最高精度BP神经网络. 滑动检测的窗口步长设置为随机步长27~29像素,滑动窗口在遥感车辆检测中固定为 $ 48\times 48\mathrm{像}\mathrm{素} $,在遥感树木检测中修改为 $ 40\times 40\mathrm{像}\mathrm{素} $,IOU阈值都设置为0.75. 对大图进行不同尺度的缩放,采用滑动窗口来提取窗口大小的图像,将窗口图像进行LLVP特征提取送入BP神经网络分类. 采取非极大值抑制消除冗余的窗口,余下的窗口图像若是分类归为目标物体,则会在大图中进行矩形框标记.

图 7

图 7   遥感车辆的检测效果图

Fig.7   Detection effect pictures on remote sensing vehicles


图7(c)、(d)、8(c)、(d)给出YOLOv3和Faster R-CNN的检测结果,以便于参考对比. 可以看出,提出的特征算法经训练后得到的分类器对遥感车辆和树木的检测基本能够实现,绝大部分的图像目标可以被标记出来,虽然在相似度极高的情况下会发生少部分误测,但整体上与YOLOv3及Faster R-CNN的检测结果较接近.

由于前面实验的最优LLVP所使用的逻辑变换及逻辑融合函数都是在相同数据集上经过一步步实验分析而来,为了证明应用本文算法对遥感图像目标的检测具备一定的通用性,在建筑物的遥感数据集中应用LLVP特征进行检测实验,使用的逻辑变换及逻辑融合函数与遥感车辆检测使用的最优LLVP相同. 采用的分类器为配置的BP神经网络,滑动窗口大小设置成 $ 52\times 52 $ 像素,其他参数与前文一致. 将LLVP与YOLOv3 和Faster R-CNN进行对比,检测效果如图9所示. 可以看出,应用LLVP特征设计的分类器在对建筑物进行检测时仅误检2个(图9(b)右下角漏检1个和多检1个);YOLOv3误检2个(图9(c)右上角多检,右下角漏检),Faster R-CNN漏检1个(图9(d)右中间). 在相当短的训练时长内能够达到与YOLOv3 和Faster R-CNN相近的检测效果,说明本文方法的应用具备一定的广泛性.

图 8

图 8   遥感树木的检测效果图

Fig.8   Detection effect pictures on remote sensing trees


图 9

图 9   遥感建筑物的检测效果图

Fig.9   Detection effect pictures on remote sensing buildings


4. 结 语

本文通过对像素点进行双线段采样,利用逻辑矢量变换及逻辑融合的降维优势,提出基于二值化的线性逻辑矢量模式特征. 其中,LLVP(C)提取的特征兼顾中心像素与线段采样点的联系,LLVP(A)表征了每一线段上相邻像素间的关联,LLVP应用逻辑融合的方式糅合了这2类特征,既不增加特征维度,也采集到了更多的局部信息.

实验表明,当LLVP(C)、LLVP(A)分别采用φ2_and、φ2_or作为逻辑变换函数,在它们进行逻辑融合时应用β_or或者β_and,对应的LLVP特征检测效果最佳,表明提出的算法相对于已有的LBP改进型算法,在A、F1分数和P-R曲线的标准下均有较大的提升,对于训练速度和检测准确性具有更好的可控性.

下一步研究可以将相邻采样和逻辑矢量变换的方法推广至其他的二值化特征(如LTP、CLBP、MLBP)中,优化像素点的采样方式及矢量变换函数. 另一方面,可以结合本文的LLVP特征与深度模型,提高深度算法的性能.

参考文献

WANG Y Q, LEI M A, TIAN Y

State-of-the-art of ship detection and recognition in optical remotely sensed imagery

[J]. Acta Automatica Sinica, 2011, 37 (9): 1029- 1039

[本文引用: 1]

WANG X , BAN Y , GUO H, et al. Deep learning model for target detection in remote sensing images fusing multilevel features [C]// 2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama: IEEE, 2019.

[本文引用: 1]

刘丽, 赵凌君, 郭承玉, 等

图像纹理分类方法研究进展和展望

[J]. 自动化学报, 2018, 44 (4): 584- 607

URL     [本文引用: 1]

LIU Li, ZHAO Ling-jun, GUO Cheng-yu, et al

Research progress and prospect of image texture classification

[J]. Acta Automatica Sinica, 2018, 44 (4): 584- 607

URL     [本文引用: 1]

OJALA T, PIETIKAINEN M, HARWOOD D. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions[C]// Proceedings of 12th International Conference on Pattern Recognition. Jerusalem: IEEE, 1994.

[本文引用: 1]

OJALA T, PIETIKAINEN M, HARWOOD D

A comparative study of texture measures with classification based on featured distributions

[J]. Pattern Recognition, 1996, 29 (1): 51- 59

DOI:10.1016/0031-3203(95)00067-4      [本文引用: 1]

TAN X Y, TRIGGS B

Enhanced local texture feature sets for face recognition under difficult lighting conditions

[J]. IEEE Transactions on Image Processing, 2010, 19 (6): 1635- 1650

DOI:10.1109/TIP.2010.2042645      [本文引用: 1]

HEIKKILA M, PIETIKAINEN M, SCHMID C

Description of interest regions with local binary patterns

[J]. Pattern Recognition, 2009, 42 (3): 425- 436

DOI:10.1016/j.patcog.2008.08.014      [本文引用: 2]

BABER J, BAKHTYAR M, ULLAH I, et al

Effective compression of center symmetric local binary pattern

[J]. Mehran University Research Journal of Engineering and Technology, 2017, 36 (2): 209- 224

[本文引用: 2]

陈家华, 陈雪云, 阳理理

基于局部线段模式特征的城市道路视觉检测

[J]. 广西大学学报: 自然科学版, 2018, 43 (6): 2206- 2215

URL     [本文引用: 2]

CHEN Jia-hua, CHEN Xue-yun, YANG Li-li

Urban road visual inspection based on local line pattern features

[J]. Journal of Guangxi University: Natural Science Edition, 2018, 43 (6): 2206- 2215

URL     [本文引用: 2]

OJALA T, PIETIKAINEN M, MAENPAA T

Multiresolution gray-scale and rotation invariant texture classification with local binary patterns

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24 (7): 971- 987

DOI:10.1109/TPAMI.2002.1017623      [本文引用: 2]

李安然, 陈雪云

一种基于矢量变换的局部二值化模式分类方法

[J]. 广西大学学报:自然科学版, 2020, 45 (3): 490- 503

URL     [本文引用: 2]

LI An-ran, CHEN Xue-yun

A local binary pattern classification method based on vector transformation

[J]. Journal of Guangxi University: Natural Science Edition, 2020, 45 (3): 490- 503

URL     [本文引用: 2]

郭寅, 尹仕斌, 崔鹏飞, 等. 改进的LBP特征提取方法: CN111862178A [P]. 2020-10-30.

[本文引用: 1]

GUO Yin, YIN Shi-bin, CUI Peng-fei, et al. Improved LBP feature extraction method: CN111862178A [P]. 2020-10-30.

[本文引用: 1]

LIU X, XUE F, TENG L. Surface defect detection based on gradient LBP [C]// 2018 IEEE 3rd International Conference on Image, Vision and Computing. Chongqing: IEEE, 2018.

[本文引用: 1]

BRODERSEN K H, CHENG S O, STEPHAN K E, et al. The binormal assumption on precision-recall curves [C]// International Conference on Pattern Recognition. Turkey: IEEE, 2010.

[本文引用: 1]

LIU Z, BONDELL H D

Binormal precision–recall curves for optimal classification of imbalanced data

[J]. Statistics in Biosciences, 2019, 11 (1): 141- 161

DOI:10.1007/s12561-019-09231-9      [本文引用: 1]

/