浙江大学学报(工学版), 2024, 58(5): 941-950 doi: 10.3785/j.issn.1008-973X.2024.05.007

计算机技术、通信技术

基于改进图卷积神经网络的航空行李特征感知

邢志伟,, 朱书杰, 李彪

中国民航大学 电子信息与自动化学院,天津 300300

Airline baggage feature perception based on improved graph convolutional neural network

XING Zhiwei,, ZHU Shujie, LI Biao

College of Electronic Information and Automation, Civil Aviation University of China, Tianjin 300300, China

收稿日期: 2023-05-4  

基金资助: 国家重点研发计划资助项目(2018YFB1601200);中国民航大学研究生科研创新项目(2022YJS023).

Received: 2023-05-4  

Fund supported: 国家重点研发计划资助项目(2018YFB1601200);中国民航大学研究生科研创新项目(2022YJS023).

作者简介 About authors

邢志伟(1970—),男,教授,博导,从事机场运行控制与信息研究.orcid.org/0000-0003-4933-1591.E-mail:cauc_xzw@163.com , E-mail:cauc_xzw@163.com

摘要

针对航空行李自动化码放处理需求下构型特征感知能力不足的问题,设计以PointNet++为基准,融入图卷积神经网络和自注意力机制的航空行李特征感知网络模型. 在骨干网络的特征抽象层中引入局部空间注意力模块,提取航空行李点云中相邻点的关联空间结构特征,感知区域特征空间的内在联系. 通过全局特征聚合模块学习行李点云局部特征间的相关性,自适应聚合航空行李局部特征,形成点云全局上下文信息. 利用循环最大池化层回收特征降维中丢弃点的特征,在多个层次上收集航空行李的特征信息,在减少信息冗余的同时,保留强度鲜明的局部、全局特征激活. 实验结果表明,航空行李分类的平均精度和整体精度分别为94.68%和96.32%,比PointNet++分别提高了6.53%和5.07%. 该网络模型的航空行李特征感知性能优于现有的其他智能算法,能够为航空行李码放空间优化及控制提供准确、可靠、有效的输入.

关键词: 航空运输 ; 行李特征感知 ; 三维点云 ; 图卷积神经网络 ; 自注意力机制

Abstract

An airline baggage feature perception network model was designed with PointNet++ as the benchmark and incorporating graph convolutional neural network and self-attention mechanism aiming at the problem that the configuration feature perception capability of airline baggage was inadequate under the demand of automatic baggage stacking handling. The local spatial attention module was introduced in the feature abstraction layer of the backbone network to extract associated spatial structure features of neighboring points in aviation baggage point cloud in order to perceive the intrinsic connection of its region feature space. Correlation between local features of airline baggage point cloud was learned through the global feature aggregation module to adaptively aggregate local features so as to form global contextual information. The recycling maxpooling layer was applied to recycle features from some discard points in the feature reduction process and collect baggage information at multiple levels, reducing information redundancy while retaining local and global feature activations with stark intensity. The experimental results showed that the average and overall accuracy of airline baggage classification were 94.68% and 96.32%, which were 6.53% and 5.07% improved over PointNet++, respectively. The airline baggage feature perception performance of the network model is better than other existing intelligent algorithms, which can provide accurate, reliable and effective input for airline baggage stacking space optimization and control.

Keywords: air transport ; baggage feature perception ; three-dimensional point cloud ; graph convolutional neural network ; self-attention mechanism

PDF (2439KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

邢志伟, 朱书杰, 李彪. 基于改进图卷积神经网络的航空行李特征感知. 浙江大学学报(工学版)[J], 2024, 58(5): 941-950 doi:10.3785/j.issn.1008-973X.2024.05.007

XING Zhiwei, ZHU Shujie, LI Biao. Airline baggage feature perception based on improved graph convolutional neural network. Journal of Zhejiang University(Engineering Science)[J], 2024, 58(5): 941-950 doi:10.3785/j.issn.1008-973X.2024.05.007

国际航空电信协会(Society International De Telecommunication Aeronautiques, SITA)发布有关报告指出,随着机场行李处理量的不断增长,现有的航空行李人工搬运及码放模式已无法满足现实需求,须开发包括自动化快速搬运及码放在内的自动处理系统,以适应机场高效运行的节奏[1]. 航空行李特征感知作为自主搬运及码放的关键输入之一,高效、准确的感知结果能够进一步提升航空行李自动处理系统的安全性能及作业效率.

目前,多数研究者采用深度学习结合图像处理的方法,提取行李特征. Gao等[2]提出顺序分层采样方法,结合卷积神经网络学习行李图像特征,检测行李类别. Peng等[3]设计基于双目立体主动激光编码投影的行李表面纹理增强方法,提高了行李表面的特征学习能力. Tang等[4]融合R-DeepForest算法和种子区域优化算法,将基于可信度的分类方法应用于航空行李分类. Mazzeo等[5]构建孪生网络模型,引入方形非参数层,用于比较孪生网络输出的行李特征的相似性. Chen等[6]提出局部显著的深度神经网络,在关注行李颜色和形状特征的同时,将纹理和图案信息纳入考虑. Zhao等[7]设计结合多视图注意和域不变学习的网络架构,有效解决了行李特征识别中广泛存在的视角差异和背景姿态差异这2类问题. Wu等[8]提出融合注意力机制的行李多粒度特征学习方法,提高了检索特征的可辨别性. Yang等[9]提出QuadNet模型,利用四元组损失函数,有效减小了相同行李种类的类内距离,增加了不同行李种类的类间距离.

上述方法基本都是从航空行李二维图像数据中提取颜色、形状、纹理、边缘特征等信息作为模型输入,而机场复杂的部署环境、强干扰的信息采集背景极易导致特征感知的难度升高,可辨别性较差.以往的航空行李特征提取方法未能利用其三维空间的几何信息,准确度有待提高.

本文面向航空行李特征感知分类的现实技术需求,设计并搭建航空行李特征信息采集系统. 采集了航空行李点云数据并制作数据集,通过改进PointNet++模型感知航空行李特征信息,对构型繁杂的航空行李进行分类. 在模型的特征抽象层中,添加局部空间注意力(local spatial attention, LSA)模块,提高对行李局部空间结构信息的提取能力. 引入全局特征聚合(global feature aggregation, GFA)模块,学习局部结构之间的相关性. 使用循环最大池化层(recycling maxpooling, RMP)进行特征降维,在保留全局特征信息的基础上,进一步减少局部信息损失.

1. 实验系统与数据分类

根据航空行李处理系统有关行业的技术标准[10],搭建航空行李特征采集实验系统,基本架构如图1所示. 行李在传送带上以一定速度(0.2~2.0 m/s)运输,上方深度相机采集行李点云数据,实时模拟行李输送的情况,运行状态如图2所示.

图 1

图 1   航空行李特征采集的实验系统

Fig.1   Experiment system of airline baggage feature collection


图 2

图 2   航空行李特征信息采集实验系统的运行状态

Fig.2   Operation status of airline baggage feature collection system


通过航空行李特征采集实验系统,采集得到219个不同构型的航空行李的点云数据,共计4625个. 根据同方威视人工智能研发中心和香港大学的相关研究,将航空行李划分为以下6类:方箱、硬箱、软箱、硬包、软包、异形[11-12]. 一些基本示例如图3所示. 分类依据即各类行李的构型特点和材质差异,构型上分为箱类、包类和异形,外表材质有软硬区分,具体的分类依据如表1所示.

图 3

图 3   航空行李分类

Fig.3   Classification of airline baggage


表 1   航空行李的分类依据

Tab.1  Basis for classification of airline baggage

类别表面材质形状特点
方箱纸板、塑料规则长方体
硬箱金属、塑料光滑曲面、类长方体
软箱织物、皮革凹凸曲面、类长方体
硬包金属、塑料光滑曲面、类椭球体
软包织物、皮革凹凸曲面、类椭球体
异形塑料保护套球形、柱形不规则物体

新窗口打开| 下载CSV


2. 航空行李特征感知网络模型

采用PointNet++[13]网络作为基础框架,引入图卷积神经网络和自注意力机制,增强模型对航空行李点云特征的感知能力. 改进后的PointNet++ (graph attention convolutional PointNet++, GACP)的总体网络结构如图4所示,包括LSA局部空间注意力模块、GFA全局特征聚合模块和RMP循环最大池化层3个改进组件. 行李点云数据输入网络后被采样分组形成局部点集,输入LSA结构进行相邻点特征学习,然后输入MLP结构中进行特征升维. 将得到的行李局部特征输入GFA结构进行全局特征聚合,经RMP特征降维后得到最终的全局特征,利用全连接层输出行李类别概率.

图 4

图 4   GACP网络的结构

Fig.4   Structure of GACP network


2.1. 基于LSA的局部特征提取网络

PointNet++的点云特征提取只考虑采样中心点与相邻点的关系,忽略了相邻点之间的链接关系,导致局部结构的内在相关性特征提取不足,采样中心点与相邻点的特征关系不能保证有效地表征局部区域信息. 在经过若干次分层特征提取后,网络会丢失较多的局部轮廓结构信息. LSA[14]模块的结构设计是基于图卷积神经网络,将点云的局部结构构造为三维空间中的图,学习点云数据中节点特征和边的特征信息,结合自注意力机制[15]计算航空行李局部结构的内部相关性. LSA结构如图5所示,经过采样分组的行李局部点云数据输入LSA模块进行相邻点特征关系计算,得到节点特征邻接矩阵. 由邻接矩阵更新每个节点的特征关系,聚合形成带有权重关系的行李局部空间结构特征.

图 5

图 5   局部空间注意力模块的结构

Fig.5   Structure of local spatial attention module


从行李点云的局部点集$ {P}_{i}=\left\{{\boldsymbol{p}}_{i}, {\boldsymbol{p}}_{i 1}, {\boldsymbol{p}}_{i 2}, \cdots, {\boldsymbol{p}}_{i K}\right\} $中构造$ N $个局部图$ {\boldsymbol{G}}_{i}=\left\{\left({{A}}_{i}, {{B}}_{i}\right)\right\}_{i=1}^{N} $,其中$ {\boldsymbol{p}}_{i} \in \mathbb{{\mathbf{R}}}^{3} $为局部点集$ {P}_{i} $的中心点,$ {\boldsymbol{p}}_{ij} \in \mathbb{{\mathbf{R}}}^{3}(j=1,2,\cdots, K) $为中心点$ {\boldsymbol{p}}_{i} $$ K $个邻近点,$ {{A}}_{i}=\{1,2, \cdots, K\} $$ {{B}}_{i} \subseteq {{A}}_{i} \times {{A}}_{i} $分别为点集的顶点和边的集合. 定义$ {{{F}}}_{i}=\left\{{\boldsymbol{f}}_{i}, {\boldsymbol{f}}_{i1}, {\boldsymbol{f}}_{i2}, \cdots, {\boldsymbol{f}}_{i K}\right\} $为与点集$ {P}_{i} $相对应的一组特征,其中$ {\boldsymbol{f}}_{i}、 {\boldsymbol{f}}_{i j} \in \mathbb{{\mathbf{R}}}^{D} $,其中$ D $为每个点的特征维度. 为了构造局部图的邻接矩阵并更新每个节点的特征,通过自注意力机制计算邻接点之间的相关性,利用softmax函数消除冗余的部分.

对于所有相邻节点$ \left\{{\boldsymbol{p}}_{i j}\right\}_{j=1}^{K} $及对应的特征$ \left\{{\boldsymbol{f}}_{i j}\right\}_{j=1}^{K} $,定义相对位置坐标$ \Delta {\boldsymbol{p}}_{i}=\left[\Delta {\boldsymbol{p}}_{i1}, \Delta {\boldsymbol{p}}_{i 2}, \cdots, \Delta {\boldsymbol{p}}_{i K}\right] $和特征差 $ \Delta {\boldsymbol{f}}_{i}=\left[\Delta {\boldsymbol{f}}_{i 1}, \Delta {\boldsymbol{f}}_{i 2}, \cdots, \Delta {\boldsymbol{f}}_{i K}\right] $,其中$ \Delta {\boldsymbol{p}}_{ij}={\boldsymbol{p}}_{ij}-{\boldsymbol{p}}_{i} $$ \Delta {\boldsymbol{f}}_{i j}=\delta\left({\boldsymbol{f}}_{i j}\right)-\delta\left({\boldsymbol{f}}_{i}\right) $$ \delta $为具有非线性激活函数的MLP,用于每个节点的特征提取. LSA具体步骤如下.

1)通过局部图$ {{{{\boldsymbol{G}}}}_i} $上节点的相似性矩阵$ {{\boldsymbol{R}}_i} $,计算图中不同节点之间的关系:

$ {{\boldsymbol{R}}_i} = {(\lambda ([\Delta {{\boldsymbol{p}}_i}\parallel \Delta {{\boldsymbol{f}}_i}]))^ {\mathrm{T}} } \otimes \mu ([\Delta {{\boldsymbol{p}}_i}\parallel \Delta {{\boldsymbol{f}}_i}]) . $

式中:$ \parallel $$ \otimes $分别为级联运算和矩阵乘法,$ \lambda $$ \mu $用于将局部特征变换为2个同阶矩阵形式的独立线性变换. 为了利用softmax函数减少不同类别节点之间的冗余连接,须生成邻接矩阵$ {{\boldsymbol{S}}_i} \in {\mathbb{{\mathbf{R}}}^{K \times K}} $

$ {{{S}}_i}(\alpha ,\beta ) = \frac{{\exp\; ({{R}_i}(\alpha ,\beta ))}}{{\displaystyle\sum\nolimits_{k = 1}^K {\exp \;({{R}_i}(\alpha ,k))} }} . $

式中:$ {{{S}}_i}( \cdot , \cdot ) $$ {{{R}}_i}( \cdot , \cdot ) $分别为$ {{\boldsymbol{S}}_i} $$ {{\boldsymbol{R}}_i} $中的元素,$ \alpha、\beta = 1,2,\cdots,K $分别为图中第$ \alpha $个节点和第$ \beta $个节点.

2)通过邻接矩阵来更新每个节点的特征:

$ {\hat {\boldsymbol{f}}_{ik}} = \sum\limits_{j = 1}^K {{{{S}}_i}(k,j)} \;\delta ({{\boldsymbol{f}}_{ij}}){\kern 1pt}; \;\;k = 1,2,\cdots,K . $

3)通过一组自适应权重$ {M_i} = \left\{ m_{{f_i}}^{(k)}\right\} _{k = 1}^K $,自适应地聚合相邻节点的每个特征. 局部点集$ {P_i} $的高层特征$ {\boldsymbol{f}}_i^ * $经聚合后为

$ {\boldsymbol{f}}_i^ * = \sum\limits_{k = 1}^K {m_{{{{f}}_i}}^{(k)}} {\hat {\boldsymbol{f}}_{ik}} . $

式中:$ m_{{f_i}}^{(k)} $用于度量每个节点本身的重要性,满足$ 0 \leqslant m_{{f_i}}^{(k)} \leqslant 1.0 $$ \displaystyle\sum\nolimits_{k = 1}^K {m_{{f_i}}^{(k)}} = 1 $. 采用软分配法来学习自适应权值:

$ m_{{f_i}}^{(k)} = \frac{{\exp\; (a_k {{\hat f}_{ik}}+{b_k})}}{{\displaystyle\sum\nolimits_{k' = 1}^K {\exp\; (a_{k'}{{\hat f}_{i{k'}}}+{b_{k'}})} }} . $

式中:$ \left\{ {a_k} \right\} _{k = 1}^K $为一组可学习的概率参数,$ \{ {b_k}\} _{k = 1}^K $为偏差.

综合上述步骤,LSA模块提取得到的局部空间结构特征为

$ {\boldsymbol{f}}_i^ * = ({{\boldsymbol{M}}_i}{{\boldsymbol{S}}_i}{{\boldsymbol{T}}_i}^{\mathrm{T}})^{\mathrm{T}} . $

式中:$ {{\boldsymbol{M}}_i} = [m_{{f_i}}^{(1)},m_{{f_i}}^{(2)},\cdots,m_{{f_i}}^{(K)}] $为节点聚合的权重,$ {{\boldsymbol{T}}_i} = [\delta ({{\boldsymbol{f}}_{i1}}),\delta ({{\boldsymbol{f}}_{i2}}),\cdots,\delta ({{\boldsymbol{f}}_{iK}})] $为第$ i $个局部图的特征矩阵.

2.2. 基于GFA的全局特征聚合模块

经过LSA模块提取得到航空行李点云的局部空间结构特征,但网络内缺乏点云局部区域外的上下文信息,模型的全局轮廓形状感知能力较弱. 利用GFA[16]模块建立不同局部结构区域的长期依赖关系,自适应地聚集局部特征形成完整的行李全局特征,在构建上下文信息的同时,增强点云区分对象的能力. 网络结构如图6所示,局部特征经过邻接矩阵形成全局关联关系,通过门控循环单元自适应聚合关联前、后的特征,形成行李全局特征.

图 6

图 6   全局特征聚合模块的结构

Fig.6   Structure of global feature aggregation module


每个局部点集输出的特征表示被LSA模块视为超级点,这些超级点被用于构造全局图. 由全局超级点$ \{{\boldsymbol{ p}}_i^*\} _{i = 1}^N $和相应的特征$ \{ {\boldsymbol{f}}_i^*\} _{i = 1}^N $来构造全局图$ {{G}} = ({{A}},{{B}}) $,其中$ {{A}} = \{ \;1,2,\cdots,N\;\} $$ {{B}} \subseteq {{A}} \times {{A}} $分别为顶点和边的集合. 采用类似LSA的方法生成邻接矩阵$ {\boldsymbol{S}} \in {\mathbb{{\mathbf{R}}}^{N \times N}} $. GFA的具体步骤如下.

1)在全局图上计算每个节点之间的相似度,形成相似度矩阵:

$ {\boldsymbol{R}} = {(\lambda ([{{\boldsymbol{p}}^*}\parallel {{\boldsymbol{f}}^*}]))^ {\mathrm{T}} } \otimes \mu ([{{\boldsymbol{p}}^*}\parallel {{\boldsymbol{f}}^*}]) . $

式中:$ {{\boldsymbol{p}}^*} = [{\boldsymbol{p}}_1^*,{\boldsymbol{p}}_2^*,\cdots ,{\boldsymbol{p}}_N^*]^ {\mathrm{T}} \in {\mathbf{R}^{N \times 3}} , {{\boldsymbol{f}}^*} = [{\boldsymbol{f}}_1^*,{\boldsymbol{f}}_2^*,\cdots ,{\boldsymbol{f}}_N^*]^{\mathrm{T}} \in {\mathbb{{\mathbf{R}}}^{N \times D}} $$ \lambda $$ \mu $为线性映射函数. 为了减少冗余连接,须生成邻接矩阵$ {\boldsymbol{S}} $

$ {{S}}(\alpha ,\beta ) = \frac{{\exp\; ({R}(\alpha ,\beta ))}}{{\displaystyle\sum\nolimits_{k = 1}^N {\exp\; ({R}(\alpha ,k))} }} . $

2)更新后的全局特征可以表示为

$ {\boldsymbol{f}}_i^{({{{\mathrm{new}}}})} = \sum\limits_{j = 1}^N {{{S}}(i,j)} \;\delta ({\boldsymbol{f}}_j^*);\;\;i = 1,2,\cdots,N .$

${\boldsymbol{F}}^{({\mathrm{new}})}={\boldsymbol{ST}} .$

式中:$ {\boldsymbol{T}} = [\delta ({\boldsymbol{f}}_1^*),\delta ({\boldsymbol{f}}_2^*),\cdots,\delta ({\boldsymbol{f}}_N^*)] $为全局特征矩阵,$ {{\boldsymbol{F}}^{({\mathrm{new}})}} = [{\boldsymbol{f}}_1^{({\mathrm{new}})},{\boldsymbol{f}}_2^{({\mathrm{new}})},\cdots,{\boldsymbol{f}}_N^{({\mathrm{new}})}] $为输出.

3)采用门控循环单元(gated recurrent unit, GRU)[17]策略,实现更新前、后特征的自适应聚合. 最终的特征表示$ {\boldsymbol{f}}_i^{({\mathrm{final}})} $

$ {g_i} = \sigma (u_i{\boldsymbol{f}}_i^*+v_i^ {\mathrm{T}} {\boldsymbol{f}}_i^{({\mathrm{new}})}+{h_{{i}}\times{\boldsymbol{1}}}) .$

$ {\boldsymbol{f}}_i^{({\mathrm{final}})}={{g}}_i^*{\boldsymbol{f}}_i^*+(1-g_i){\boldsymbol{f}}_i^{({\mathrm{new}})};\;i=1,2,\cdots,N. $

式中:$ \sigma $为sigmoid激活函数;$ {g_i} \in \mathbb{{\mathbf{R}}} $为门控单元的输出,它的值为0~1.0;$ \{ {u_i}\} _{i = 1}^N $$ \{ {v_i}\} _{i = 1}^N $分别为来自不同阶段的特征的权重;$ {h_i} $为偏差.

2.3. RMP池化层

面对构型相似、表面形态差异较小的行李,沿用最大池化操作对行李点云数据进行下采样,不能保证保留下的最大特征可为构性差异小的行李提供最准确的分类依据. 引入RMP循环最大池化层[18]替换最大池化层,在特征降维过程中丢弃的点之间重复执行最大池化操作,回收利用一些丢弃点的特征,在多个层次上收集特征信息,对第一次最大池化操作得到的原始特征集进行细化,提高网络的分类性能. RMP示意图如图7所示,在经历第一次最大池化操作后,对丢弃的点特征进行第二次最大池化操作,重复$ n $次以后,将得到的$ n $段特征向量经分层损失函数细化得到最终的全局特征.

图 7

图 7   循环最大池化层的示意图

Fig.7   Schematic diagram of recycling maxpooling


航空行李点云数据在经过多个特征提取和聚合层后,得到第一个特征矩阵$ {{\boldsymbol{T}}_1} \in {\mathbb{{\mathbf{R}}}^{{K_1} \times D}} $,其中$ {K_1} $为第一个最大池化操作之前的点数,$ D $为特征维度. 在第一次最大池化操作后,得到丢弃点的特征矩阵$ {{\boldsymbol{T}}_2} \in {\mathbb{\mathbf{R}}^{{K_2} \times D}} $和特征向量$ {{\boldsymbol{F}}_1} \in {\mathbb{\mathbf{R}}^D} $$ {K_2} $为在第一次最大池化操作后丢弃点的数量. 在$ {{\boldsymbol{T}}_2} $上应用最大池化来获得$ {{\boldsymbol{F}}_2} \in {\mathbb{\mathbf{R}}^D} $,回收过程可以重复$ n $次,得到第$ n $级具有置换不变性的特征向量$ {{\boldsymbol{F}}_n} \in {\mathbb{{\mathbf{R}}}^D} $.

对于经过$ n $次重复最大池化操作得到的$ n $个特征向量$ {{\boldsymbol{F}}_1},\;{{\boldsymbol{F}}_2},\cdots,\;{{\boldsymbol{F}}_n} $,仅仅通过串联或是相加的方式对它们进行结合不是最优的方法, 对模型性能的提升效果有限. RMP模块通过设计分层损失函数来改进$ {{\boldsymbol{F}}_1} $,该损失函数包括分类损失和细化损失.

分类损失$ L_1^{\mathrm{c}},\;L_2^{\mathrm{c}},\cdots,\;L_n^{\mathrm{c}} $分别基于置换不变性特征$ {{\boldsymbol{F}}_1},\;{{\boldsymbol{F}}_2},\cdots,\;{{\boldsymbol{F}}_n} $的单独预测结果计算得到,$ L_i^{\mathrm{c}} $$ {y_i} $$ {\hat y_i} $之间的交叉熵损失. 其中$ {y_i} $为经过独热编码的真实值,$ {\hat y_i} $为基于特征$ {{\boldsymbol{F}}_i} $获得的softmax预测值,分类损失$ L_{}^{\mathrm{c}} $

$ {L^{\mathrm{c}}} = \sum\nolimits_{i = 1}^n {L_i^{\mathrm{c}}} . $

Li等[19]使用增强网络来转换输入点云,利用由增强数据输入目标推广网络而获得的增强损失来细化原始损失. RMP模块受文献[19]的启发设计了细化损失函数,通过$ {{\boldsymbol{F}}_2},\;{{\boldsymbol{F}}_3},\cdots,\;{{\boldsymbol{F}}_n} $来细化$ {{\boldsymbol{F}}_1} $.

RMP不使用其他网络来改善目标网络,只是执行几层MaxPool,使用在每个回收层获得的特征$ {{\boldsymbol{F}}_i} $来细化$ {{\boldsymbol{F}}_1} $. 回收等级$ i $的细化损失函数为

$ L_i^{\mathrm{r}} = \left| {1 - {\exp{\;(L_i^{\mathrm{c}} - {\rho _{{i}}}L_1^{\mathrm{c}})}}} \right| . $

$ {\rho _i} = {\gamma _i} {\exp{\left( {\sum\nolimits_{q = 1}^k {\;{y_q}{{\hat y}_q}} } \right)}} . $

式中:$ {\rho _i} $为细化损失函数计算过程中分类损失$ L_1^{\mathrm{c}} $的权重,$ {\gamma _i} $为大于1的变量,$ k $为分类任务中类别的数量,$ {y_q} $$ {\hat y_q} $分别为真实值和基于特征$ {{\boldsymbol{F}}_1} $的预测值.

整体细化损失函数的计算公式为

$ {L^{\mathrm{r}}} = \sum\nolimits_{i = 2}^n {L_i^{\mathrm{r}}} . $

结合分类损失$ {L^{\;{\mathrm{c}}}} $和细化损失$ {L^{\;{\mathrm{r}}}} $,最终的损失函数定义为

$ L = (1 - \eta ) {L^{\mathrm{c}}}+\eta {L^{\mathrm{r}}} . $

式中:$ \eta $为细化损失的权重.

3. 实验结果与分析

实验中使用的软硬件环境配置及模型的相关参数设置如表2所示. 表中,Input point为训练时一次输入网络中的点数,Gamma为学习率衰减系数.

表 2   航空行李特征感知的实验配置

Tab.2  Experimental configuration of airline baggage feature perception

软硬件名称软硬件配置参数数值
Operation systemWindows 10Batch size8
CPUIntel Xeon E5-2680 v4Input point1 024
GPUNVIDIA RTX 3080 TiEpoch200
RAM64 GBLearning rate0.001
Python+Pytorch3.7. 0+1.7.1Gamma0.7
CUDA+CUDNN11.0+8.1.0OptimizerAdam

新窗口打开| 下载CSV


3.1. 数据集和评价指标

实验使用的航空行李点云数据集由深度相机采集获得,包括6类219个不同构型的航空行李. 由于行李点云数据的采集表面不同,包裹挂饰、行李箱贴纸各种各样,表面脏污、凹陷存在突出差异,共采集得到4625个航空行李点云数据. 为了减少网络过拟合并提高网络感知分类的鲁棒性和泛化能力,对采集到的稠密行李点云数据进行随机下采样,对一个行李点云重新采样,扩展成3个不完全重叠的点云,如图8所示. 通过上述点云数据增强操作,得到包含13494个航空行李点云的扩展数据集,划分为11022个点云的训练集、2472个点云的测试集.

图 8

图 8   扩展数据集的制作方法

Fig.8   Production method of extended dataset


在评价指标方面,实验使用分类性能评价中最常用的性能标准:整体精度(overall accuracy, OA)和平均精度(mean accuracy, mAcc). 整体精度为所有测试集点云分类结果的精度,平均精度为所有类别感知分类结果的平均值.

3.2. 对比实验及分析

为了验证GACP模型在航空行李点云特征感知任务上的性能,选取4个先进的点云分类算法,在航空行李点云数据集上进行实验. 对比算法包括PointNet[20]、PointNet++[13]、DGCNN[21]和PointVGG[22],其中DGCNN、PointVGG与GACP一样,融合了图卷积神经网络思想改进的点云分类算法. 4种对比算法均使用初始模型架构和参数设置. 测试结果如表3所示.表中,t为测试集的耗时.

表 3   不同模型的分类精度对比

Tab.3  Comparision of classification accuracy for different models

算法方箱硬箱软箱硬包软包异形mAcc/%OA/%t/s
PointNet86.9286.1487.4780.7685.3389.4586.0189.67124.5
PointNet++88.6188.2789.9482.7588.0391.3188.1591.25267.3
DGCNN90.5692.7394.4384.6787.2694.6890.7293.06192.4
PointVGG91.2393.5294.4887.5489.7394.8191.8994.18216.7
GACP(本文方法)93.7295.6496.3991.1692.5398.6694.6896.32283.2

新窗口打开| 下载CSV


表3所示为5种方法在航空行李点云数据集上的精度指标. PointNet和PointNet++主要考虑点云的全局信息,对点云局部几何特征的关注较少,实验效果较差,最高的整体精度为91.25%.

DGCNN和PointVGG将图卷积神经网络应用到点云处理中,逐层提取丰富的点云特征,与PointNet++相比,在航空行李特征感知分类实验中OA分别提高了1.81%和2.93%,mAcc分别提高了2.57%和3.74%.

GACP整体精度为96.32%,平均精度为94.68%,在对比实验中取得了最优结果,与PointNet++相比,OA和mAcc分别提高了5.07%和6.53%,6种行李的分类精度提高了4%~8%. 可见,GACP在行李点云局部空间特征提取和全局信息聚合感知能力上有了显著提升.

GACP相较于DGCNN和PointVGG而言,在点云特征学习中融入图卷积神经网络和自注意力机制,挖掘点与点之间的相关性和区域之间的依赖关系,在丢弃冗余特征信息的同时保留鲜明有效的特征激活. GACP在实验中表现优于DGCNN和PointVGG,OA分别提高了3.26%和2.14%,mAcc分别提高了3.96%和2.79%. 如图9所示为利用5种算法训练了200个轮次的OA曲线,GACP优于其他4种算法. 图中,E为深度学习模型训练的回合次数.从图9可见,GACP算法在航空行李特征感知中较其他主流深度学习点云处理算法有一定的优势.

图 9

图 9   不同模型的分类精度曲线

Fig.9   Classification accuracy curves of different models


单独从6种行李的分类精度来看,5种算法在箱类和异形的分类精度上普遍高于包类,异形的分类精度最高,硬包分类精度最低. 原因是异形行李多为不规则物体,与外形相对规整的箱类和包类相比,特征明显,易于区分;包类行李中存在某些形态较特殊的背包,加上肩带、装饰的影响,容易导致包类行李被错误识别成异形,很多表面为硬质外壳的背包,在背包拉链装饰的影响下被错误识别成软包. 在硬包识别精度上,GACP较PointNet++提高了8.41%,在6种行李中增幅最高,硬包行李分类识别的能力强化明显. 整体上,GACP算法在航空行李特征感知分类任务上相较于PointNet++都有很大的提升.

5个模型学习点云特征的能力不断增强,算法性能逐渐加强,在6类行李上的最高分类精度逐步升高,但DGCNN的软包分类精度低于PointNet++. 算法特征提取能力的提升使得他们在各类行李的分类精度上不断提高,但面对构型各异的行李,即使是同类行李也可能因其构型差异较大,使得模型感知性能降低.

GACP在测试集上耗时283.2 s,虽然在5种算法中耗时最长,但平均每件行李的感知耗时不超过115 ms,平均每秒可以识别8、9件行李,能够满足机场对于行李自动化搬运、码放的实时性需求. 可见,GACP算法不仅精度高,而且计算耗时短,综合性能较优.

3.3. 消融实验

为了验证GACP算法中各改进模块的功能和有效性,在航空行李点云数据集上对网络进行分组消融实验. 4组消融实验结果如表4所示. 表中,“√”表示加入该改进模块,“×”表示未加入该改进模块.

表 4   不同模块的消融实验

Tab.4  Ablation experiments of different modules

组数LSAGFARMPmAcc/%OA/%
A×××88.1591.25
B××90.0792.61
C×93.4595.73
D94.6896.32

新窗口打开| 下载CSV


1)LSA模块. 从表4可见,B组与A组相比,在PointNet++特征提取层中加入了LSA,mAcc和OA分别提高了1.92、1.36%. 这是由于PointNet++的特征提取层只是在特征升维过程中的逐层采样特征区域进行特征学习,将区域特征浓缩成一个点,用以表征区域特征,不能充分提取行李点云数据中点与点之间的关系特征,易丢失关键的空间结构特征. 通过加入LSA模块,获取行李点云数据中点与点之间的空间结构关系,得到更鲜明准确的行李局部结构特征,使得行李感知分类效果变好.

2)GFA模块. C组与B组相比,在提取局部空间结构特征后引入GFA模块,学习点云局部结构特征之间的依赖关系,建立上下文信息,得到完整的全局特征,对行李全局特征有了准确的把握,模型特征感知分类能力得到大幅提升,mAcc和OA分别提高了3.38%和3.12%.

3)RMP模块. D组与C组相比,在提取得到全局特征后,为了减小信息冗余,降低计算成本,但不丢失重要特征信息,使用RMP模块代替原始PointNet++中的最大池化层. 在多次循环最大池化的过程中,回收一些较鲜明的特征来不断细化全局特征,减少相关信息缺失导致感知分类出错的风险,使得mAcc和OA分别提高了1.29%、0.59%,表明RMP提升了模型性能.

3.4. 感知结果对比及分析

图1011所示分别为PointNet++和GACP的航空行李感知分类结果. 为了提升感知结果的可视化效果,在点云数据上叠加了原始RGB信息.

图 10

图 10   PointNet++感知结果

Fig.10   Perceptual results of PointNet++


图 11

图 11   GACP感知结果

Fig.11   Perceptual results of GACP


PointNet++在硬箱、硬包、软包、异形4类行李中均出现了感知错误,18件行李感知样例中有5件行李分类出错,其中硬包2件. 如图10(a)所示,箱体材料为织物的软箱,表面较平滑,被PointNet++错误感知为硬箱. 如图10(b)、(c)所示为软包,材料分别为织物和涤纶,表面平滑起伏小,被错误感知为硬包. 图10(d)是硬包,受悬挂装饰的影响,被错误感知为软包. 图10(e)为方箱包裹,由于PP编织袋包装不完全贴合包裹,被错误感知为异形. GACP对这5件行李的感知结果均正确. 总体而言,在航空行李特征感知任务上,GACP的感知效果明显优于PointNet++.

3.5. 鲁棒性实验

在实际机场航站楼复杂的部署环境下,行李点云采集设备易受电磁干扰、光线较暗的负面影响,导致行李点云数据出现密度不均匀、空缺的异常现象,如图12所示. 为了验证GACP模型对噪声干扰的抵抗力,在航空行李点云数据集上开展随机噪声鲁棒性实验.

图 12

图 12   行李点云数据的异常现象

Fig.12   Anomalies in luggage point cloud data


将随机噪声添加到输入点云中,替换掉一定数量的原始点集,模拟噪声干扰和数据丢失的情况. 如图13所示为5种模型在航空行李点云数据集上的随机噪声鲁棒性实验结果. 图中,Nn为噪声数量.

图 13

图 13   鲁棒性实验结果的对比

Fig.13   Comparison of robustness experiment results


随机噪声的加入使得5种模型的分类精度都明显下降,GACP相较于其他模型下降趋势更缓. 这是由于GACP在局部精细特征提取和全局特征聚合过程中,对图结构的邻点分配不同的权重来降低干扰点的影响,RMP模块也能回收保留一些层次鲜明的特征激活以提供分类依据. 当噪声数量达到100时,GACP的分类精度大于80%,表现出较强的鲁棒性.

4. 结 语

本文提出融合图卷积神经网络和自注意力机制的PointNet++网络模型GACP,应用于航空行李特征感知分类任务. 该网络通过局部空间注意力模块来提取行李的局部空间结构特征,结合全局特征聚合模块学习行李局部特征之间的依赖关系,形成全局上下文信息. 利用循环最大池化模块保留鲜明的特征激活,去除冗余信息,在提升模型分类性能的同时降低计算量. 实验表明,本文提出的方法在航空行李点云数据集上的整体分类准确率达到96.32%,比PointNet++高5.07%. 对比实验和消融实验的结果证明,GACP在构型繁杂的航空行李特征感知分类问题上表现优越. 鲁棒性实验证明,GACP具有较强的抗噪声干扰能力,能够为航空行李自动化码放处理的安全高效运行提供决策依据.

目前,航空行李特征感知任务存在许多不足,如行李类型可以从表面材质、形状特点上进一步细分. 未来将关注研究行李中心点坐标和行李外轮廓包络线形状的法线方向位置倾角对航空行李特征感知的贡献,考虑低分辨率行李点云数据对模型性能的影响.

参考文献

DAVID L. Baggage IT insights 2022 [R]. Brussels: SITA, 2022.

[本文引用: 1]

GAO Q, LIANG P

Airline baggage appearance transportability detection based on a novel dataset and sequential hierarchical sampling CNN model

[J]. IEEE Access, 2021, 9 (2): 41833- 41843

[本文引用: 1]

PENG C, GAO Q, LUO Q. Method on 3d reconstruction of airline baggage based on active laser projection of improved encoding [C]// IEEE CSAA Guidance, Navigation and Control Conference . Xiamen: IEEE, 2018: 1-7.

[本文引用: 1]

TANG C, ZHANG X, YU X, et al

Target detection and classification based on LiDAR

[J]. American Academic Scientific Research Journal for Engineering, Technology, and Sciences, 2018, 49 (1): 28- 39

[本文引用: 1]

MAZZEO P L, LIBETTA C, SPAGNOLO P, et al

A siamese neural network for non-invasive baggage re-identification

[J]. Journal of Imaging, 2020, 6 (11): 126

DOI:10.3390/jimaging6110126      [本文引用: 1]

CHEN R, ZHANG H, LI C, et al. LSDNN: local-salient deep neural network for baggage re-identification with material discerning [C]// Chinese Automation Congress . Shanghai: IEEE, 2020: 6344-6349.

[本文引用: 1]

ZHAO Q, MA H, LU R, et al. MVAD-Net: learning view-aware and domain-invariant representation for baggage re-identification [C]// Pattern Recognition and Computer Vision . Beijing: Springer, 2021: 142-153.

[本文引用: 1]

WU H, LUO Z, CAO D, et al. Attention and multi-grained feature learning for baggage re-identification[C]// Computer Supported Cooperative Work and Social Computing . Xiangtan: Springer, 2022: 460-472.

[本文引用: 1]

YANG H, CHU X, ZHANG L, et al

QuadNet: quadruplet loss for multi-view learning in baggage re-identification

[J]. Pattern Recognition, 2022, 126 (5): 108- 109

[本文引用: 1]

行李处理系统 带式输送机: MH/T 6123.1—2021 [S]. 北京: 中国民用航空局, 2021.

[本文引用: 1]

ZHANG Z, LI D, WU J, et al. MVB: a large-scale dataset for baggage re-identification and merged Siamese networks [C]// Pattern Recognition and Computer Vision . Xi’an: Springer, 2019: 84-96.

[本文引用: 1]

CAZAN C. Identification of surface material of baggage for self-service bag drop system [D]. Hong Kong: The University of Hong Kong, 2020.

[本文引用: 1]

QI C R, YI L, SU H, et al

PointNet++: deep hierarchical feature learning on point sets in a metric space

[J]. Advances in Neural Information Processing Systems, 2017, 30 (5): 78- 92

[本文引用: 2]

GAO Z, YAN J, ZHAI G, et al. Learning local neighboring structure for robust 3d shape representation [C]// Proceedings of the AAAI Conference on Artificial Intelligence , 2021, 35(2): 1397-1405.

[本文引用: 1]

VASWANI A, SHAZEER N, PARMAR N, et al

Attention is all you need

[J]. Advances in Neural Information Processing Systems, 2017, 30 (8): 5998- 6008

[本文引用: 1]

DU Z, YE H, CAO F

A novel local-global graph convolutional method for point cloud semantic segmentation

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 15 (6): 1- 15

[本文引用: 1]

NIU Z, ZHONG G, YUE G, et al

Recurrent attention unit: a new gated recurrent unit for long-term memory of important parts in sequential data

[J]. Neurocomputing, 2022, 517 (4): 1- 9

[本文引用: 1]

CHEN J, KAKILLIOGLU B, REN H, et al. Why discard if you can recycle?: a recycling max pooling module for 3d point cloud analysis [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans: IEEE, 2022: 559-567.

[本文引用: 1]

LI R, LI X, HENG P A, et al. PointAugment: an auto-augmentation framework for point cloud classification [J]. IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle: IEEE, 2020: 6378-6387.

[本文引用: 2]

CHARLES R Q, HAO S, MO K C, et al. PointNet: deep learning on point sets for 3d classification and segmentation [C]// IEEE Conference on Computer Vision and Pattern Recognition . Honolulu: IEEE, 2017: 77-85.

[本文引用: 1]

WANG Y, SUN Y, LIU Z, et al

Dynamic graph CNN for learning on point clouds

[J]. ACM Transactions on Graphics, 2019, 38 (5): 146- 152

[本文引用: 1]

LI R, ZHANG Y, NIU D, et al

PointVGG: graph convolutional network with progressive aggregating features on point clouds

[J]. Neurocomputing, 2021, 429 (7): 187- 198

[本文引用: 1]

/