基于改进图卷积神经网络的航空行李特征感知
Airline baggage feature perception based on improved graph convolutional neural network
收稿日期: 2023-05-4
基金资助: |
|
Received: 2023-05-4
Fund supported: | 国家重点研发计划资助项目(2018YFB1601200);中国民航大学研究生科研创新项目(2022YJS023). |
作者简介 About authors
邢志伟(1970—),男,教授,博导,从事机场运行控制与信息研究.orcid.org/0000-0003-4933-1591.E-mail:
针对航空行李自动化码放处理需求下构型特征感知能力不足的问题,设计以PointNet++为基准,融入图卷积神经网络和自注意力机制的航空行李特征感知网络模型. 在骨干网络的特征抽象层中引入局部空间注意力模块,提取航空行李点云中相邻点的关联空间结构特征,感知区域特征空间的内在联系. 通过全局特征聚合模块学习行李点云局部特征间的相关性,自适应聚合航空行李局部特征,形成点云全局上下文信息. 利用循环最大池化层回收特征降维中丢弃点的特征,在多个层次上收集航空行李的特征信息,在减少信息冗余的同时,保留强度鲜明的局部、全局特征激活. 实验结果表明,航空行李分类的平均精度和整体精度分别为94.68%和96.32%,比PointNet++分别提高了6.53%和5.07%. 该网络模型的航空行李特征感知性能优于现有的其他智能算法,能够为航空行李码放空间优化及控制提供准确、可靠、有效的输入.
关键词:
An airline baggage feature perception network model was designed with PointNet++ as the benchmark and incorporating graph convolutional neural network and self-attention mechanism aiming at the problem that the configuration feature perception capability of airline baggage was inadequate under the demand of automatic baggage stacking handling. The local spatial attention module was introduced in the feature abstraction layer of the backbone network to extract associated spatial structure features of neighboring points in aviation baggage point cloud in order to perceive the intrinsic connection of its region feature space. Correlation between local features of airline baggage point cloud was learned through the global feature aggregation module to adaptively aggregate local features so as to form global contextual information. The recycling maxpooling layer was applied to recycle features from some discard points in the feature reduction process and collect baggage information at multiple levels, reducing information redundancy while retaining local and global feature activations with stark intensity. The experimental results showed that the average and overall accuracy of airline baggage classification were 94.68% and 96.32%, which were 6.53% and 5.07% improved over PointNet++, respectively. The airline baggage feature perception performance of the network model is better than other existing intelligent algorithms, which can provide accurate, reliable and effective input for airline baggage stacking space optimization and control.
Keywords:
本文引用格式
邢志伟, 朱书杰, 李彪.
XING Zhiwei, ZHU Shujie, LI Biao.
国际航空电信协会(Society International De Telecommunication Aeronautiques, SITA)发布有关报告指出,随着机场行李处理量的不断增长,现有的航空行李人工搬运及码放模式已无法满足现实需求,须开发包括自动化快速搬运及码放在内的自动处理系统,以适应机场高效运行的节奏[1]. 航空行李特征感知作为自主搬运及码放的关键输入之一,高效、准确的感知结果能够进一步提升航空行李自动处理系统的安全性能及作业效率.
目前,多数研究者采用深度学习结合图像处理的方法,提取行李特征. Gao等[2]提出顺序分层采样方法,结合卷积神经网络学习行李图像特征,检测行李类别. Peng等[3]设计基于双目立体主动激光编码投影的行李表面纹理增强方法,提高了行李表面的特征学习能力. Tang等[4]融合R-DeepForest算法和种子区域优化算法,将基于可信度的分类方法应用于航空行李分类. Mazzeo等[5]构建孪生网络模型,引入方形非参数层,用于比较孪生网络输出的行李特征的相似性. Chen等[6]提出局部显著的深度神经网络,在关注行李颜色和形状特征的同时,将纹理和图案信息纳入考虑. Zhao等[7]设计结合多视图注意和域不变学习的网络架构,有效解决了行李特征识别中广泛存在的视角差异和背景姿态差异这2类问题. Wu等[8]提出融合注意力机制的行李多粒度特征学习方法,提高了检索特征的可辨别性. Yang等[9]提出QuadNet模型,利用四元组损失函数,有效减小了相同行李种类的类内距离,增加了不同行李种类的类间距离.
上述方法基本都是从航空行李二维图像数据中提取颜色、形状、纹理、边缘特征等信息作为模型输入,而机场复杂的部署环境、强干扰的信息采集背景极易导致特征感知的难度升高,可辨别性较差.以往的航空行李特征提取方法未能利用其三维空间的几何信息,准确度有待提高.
本文面向航空行李特征感知分类的现实技术需求,设计并搭建航空行李特征信息采集系统. 采集了航空行李点云数据并制作数据集,通过改进PointNet++模型感知航空行李特征信息,对构型繁杂的航空行李进行分类. 在模型的特征抽象层中,添加局部空间注意力(local spatial attention, LSA)模块,提高对行李局部空间结构信息的提取能力. 引入全局特征聚合(global feature aggregation, GFA)模块,学习局部结构之间的相关性. 使用循环最大池化层(recycling maxpooling, RMP)进行特征降维,在保留全局特征信息的基础上,进一步减少局部信息损失.
1. 实验系统与数据分类
图 1
图 1 航空行李特征采集的实验系统
Fig.1 Experiment system of airline baggage feature collection
图 2
图 2 航空行李特征信息采集实验系统的运行状态
Fig.2 Operation status of airline baggage feature collection system
图 3
表 1 航空行李的分类依据
Tab.1
类别 | 表面材质 | 形状特点 |
方箱 | 纸板、塑料 | 规则长方体 |
硬箱 | 金属、塑料 | 光滑曲面、类长方体 |
软箱 | 织物、皮革 | 凹凸曲面、类长方体 |
硬包 | 金属、塑料 | 光滑曲面、类椭球体 |
软包 | 织物、皮革 | 凹凸曲面、类椭球体 |
异形 | 塑料保护套 | 球形、柱形不规则物体 |
2. 航空行李特征感知网络模型
采用PointNet++[13]网络作为基础框架,引入图卷积神经网络和自注意力机制,增强模型对航空行李点云特征的感知能力. 改进后的PointNet++ (graph attention convolutional PointNet++, GACP)的总体网络结构如图4所示,包括LSA局部空间注意力模块、GFA全局特征聚合模块和RMP循环最大池化层3个改进组件. 行李点云数据输入网络后被采样分组形成局部点集,输入LSA结构进行相邻点特征学习,然后输入MLP结构中进行特征升维. 将得到的行李局部特征输入GFA结构进行全局特征聚合,经RMP特征降维后得到最终的全局特征,利用全连接层输出行李类别概率.
图 4
2.1. 基于LSA的局部特征提取网络
PointNet++的点云特征提取只考虑采样中心点与相邻点的关系,忽略了相邻点之间的链接关系,导致局部结构的内在相关性特征提取不足,采样中心点与相邻点的特征关系不能保证有效地表征局部区域信息. 在经过若干次分层特征提取后,网络会丢失较多的局部轮廓结构信息. LSA[14]模块的结构设计是基于图卷积神经网络,将点云的局部结构构造为三维空间中的图,学习点云数据中节点特征和边的特征信息,结合自注意力机制[15]计算航空行李局部结构的内部相关性. LSA结构如图5所示,经过采样分组的行李局部点云数据输入LSA模块进行相邻点特征关系计算,得到节点特征邻接矩阵. 由邻接矩阵更新每个节点的特征关系,聚合形成带有权重关系的行李局部空间结构特征.
图 5
从行李点云的局部点集
对于所有相邻节点
1)通过局部图
式中:
式中:
2)通过邻接矩阵来更新每个节点的特征:
3)通过一组自适应权重
式中:
式中:
综合上述步骤,LSA模块提取得到的局部空间结构特征为
式中:
2.2. 基于GFA的全局特征聚合模块
图 6
每个局部点集输出的特征表示被LSA模块视为超级点,这些超级点被用于构造全局图. 由全局超级点
1)在全局图上计算每个节点之间的相似度,形成相似度矩阵:
式中:
2)更新后的全局特征可以表示为
式中:
3)采用门控循环单元(gated recurrent unit, GRU)[17]策略,实现更新前、后特征的自适应聚合. 最终的特征表示
式中:
2.3. RMP池化层
图 7
航空行李点云数据在经过多个特征提取和聚合层后,得到第一个特征矩阵
对于经过
分类损失
RMP不使用其他网络来改善目标网络,只是执行几层MaxPool,使用在每个回收层获得的特征
式中:
整体细化损失函数的计算公式为
结合分类损失
式中:
3. 实验结果与分析
实验中使用的软硬件环境配置及模型的相关参数设置如表2所示. 表中,Input point为训练时一次输入网络中的点数,Gamma为学习率衰减系数.
表 2 航空行李特征感知的实验配置
Tab.2
软硬件名称 | 软硬件配置 | 参数 | 数值 | |
Operation system | Windows 10 | Batch size | 8 | |
CPU | Intel Xeon E5-2680 v4 | Input point | 1 024 | |
GPU | NVIDIA RTX 3080 Ti | Epoch | 200 | |
RAM | 64 GB | Learning rate | 0.001 | |
Python+Pytorch | 3.7. 0+1.7.1 | Gamma | 0.7 | |
CUDA+CUDNN | 11.0+8.1.0 | Optimizer | Adam |
3.1. 数据集和评价指标
实验使用的航空行李点云数据集由深度相机采集获得,包括6类219个不同构型的航空行李. 由于行李点云数据的采集表面不同,包裹挂饰、行李箱贴纸各种各样,表面脏污、凹陷存在突出差异,共采集得到4625个航空行李点云数据. 为了减少网络过拟合并提高网络感知分类的鲁棒性和泛化能力,对采集到的稠密行李点云数据进行随机下采样,对一个行李点云重新采样,扩展成3个不完全重叠的点云,如图8所示. 通过上述点云数据增强操作,得到包含13494个航空行李点云的扩展数据集,划分为11022个点云的训练集、2472个点云的测试集.
图 8
在评价指标方面,实验使用分类性能评价中最常用的性能标准:整体精度(overall accuracy, OA)和平均精度(mean accuracy, mAcc). 整体精度为所有测试集点云分类结果的精度,平均精度为所有类别感知分类结果的平均值.
3.2. 对比实验及分析
表 3 不同模型的分类精度对比
Tab.3
算法 | 方箱 | 硬箱 | 软箱 | 硬包 | 软包 | 异形 | mAcc/% | OA/% | t/s |
PointNet | 86.92 | 86.14 | 87.47 | 80.76 | 85.33 | 89.45 | 86.01 | 89.67 | 124.5 |
PointNet++ | 88.61 | 88.27 | 89.94 | 82.75 | 88.03 | 91.31 | 88.15 | 91.25 | 267.3 |
DGCNN | 90.56 | 92.73 | 94.43 | 84.67 | 87.26 | 94.68 | 90.72 | 93.06 | 192.4 |
PointVGG | 91.23 | 93.52 | 94.48 | 87.54 | 89.73 | 94.81 | 91.89 | 94.18 | 216.7 |
GACP(本文方法) | 93.72 | 95.64 | 96.39 | 91.16 | 92.53 | 98.66 | 94.68 | 96.32 | 283.2 |
如表3所示为5种方法在航空行李点云数据集上的精度指标. PointNet和PointNet++主要考虑点云的全局信息,对点云局部几何特征的关注较少,实验效果较差,最高的整体精度为91.25%.
DGCNN和PointVGG将图卷积神经网络应用到点云处理中,逐层提取丰富的点云特征,与PointNet++相比,在航空行李特征感知分类实验中OA分别提高了1.81%和2.93%,mAcc分别提高了2.57%和3.74%.
GACP整体精度为96.32%,平均精度为94.68%,在对比实验中取得了最优结果,与PointNet++相比,OA和mAcc分别提高了5.07%和6.53%,6种行李的分类精度提高了4%~8%. 可见,GACP在行李点云局部空间特征提取和全局信息聚合感知能力上有了显著提升.
图 9
单独从6种行李的分类精度来看,5种算法在箱类和异形的分类精度上普遍高于包类,异形的分类精度最高,硬包分类精度最低. 原因是异形行李多为不规则物体,与外形相对规整的箱类和包类相比,特征明显,易于区分;包类行李中存在某些形态较特殊的背包,加上肩带、装饰的影响,容易导致包类行李被错误识别成异形,很多表面为硬质外壳的背包,在背包拉链装饰的影响下被错误识别成软包. 在硬包识别精度上,GACP较PointNet++提高了8.41%,在6种行李中增幅最高,硬包行李分类识别的能力强化明显. 整体上,GACP算法在航空行李特征感知分类任务上相较于PointNet++都有很大的提升.
5个模型学习点云特征的能力不断增强,算法性能逐渐加强,在6类行李上的最高分类精度逐步升高,但DGCNN的软包分类精度低于PointNet++. 算法特征提取能力的提升使得他们在各类行李的分类精度上不断提高,但面对构型各异的行李,即使是同类行李也可能因其构型差异较大,使得模型感知性能降低.
GACP在测试集上耗时283.2 s,虽然在5种算法中耗时最长,但平均每件行李的感知耗时不超过115 ms,平均每秒可以识别8、9件行李,能够满足机场对于行李自动化搬运、码放的实时性需求. 可见,GACP算法不仅精度高,而且计算耗时短,综合性能较优.
3.3. 消融实验
为了验证GACP算法中各改进模块的功能和有效性,在航空行李点云数据集上对网络进行分组消融实验. 4组消融实验结果如表4所示. 表中,“√”表示加入该改进模块,“×”表示未加入该改进模块.
表 4 不同模块的消融实验
Tab.4
组数 | LSA | GFA | RMP | mAcc/% | OA/% |
A | × | × | × | 88.15 | 91.25 |
B | √ | × | × | 90.07 | 92.61 |
C | √ | √ | × | 93.45 | 95.73 |
D | √ | √ | √ | 94.68 | 96.32 |
1)LSA模块. 从表4可见,B组与A组相比,在PointNet++特征提取层中加入了LSA,mAcc和OA分别提高了1.92、1.36%. 这是由于PointNet++的特征提取层只是在特征升维过程中的逐层采样特征区域进行特征学习,将区域特征浓缩成一个点,用以表征区域特征,不能充分提取行李点云数据中点与点之间的关系特征,易丢失关键的空间结构特征. 通过加入LSA模块,获取行李点云数据中点与点之间的空间结构关系,得到更鲜明准确的行李局部结构特征,使得行李感知分类效果变好.
2)GFA模块. C组与B组相比,在提取局部空间结构特征后引入GFA模块,学习点云局部结构特征之间的依赖关系,建立上下文信息,得到完整的全局特征,对行李全局特征有了准确的把握,模型特征感知分类能力得到大幅提升,mAcc和OA分别提高了3.38%和3.12%.
3)RMP模块. D组与C组相比,在提取得到全局特征后,为了减小信息冗余,降低计算成本,但不丢失重要特征信息,使用RMP模块代替原始PointNet++中的最大池化层. 在多次循环最大池化的过程中,回收一些较鲜明的特征来不断细化全局特征,减少相关信息缺失导致感知分类出错的风险,使得mAcc和OA分别提高了1.29%、0.59%,表明RMP提升了模型性能.
3.4. 感知结果对比及分析
图 10
图 11
3.5. 鲁棒性实验
在实际机场航站楼复杂的部署环境下,行李点云采集设备易受电磁干扰、光线较暗的负面影响,导致行李点云数据出现密度不均匀、空缺的异常现象,如图12所示. 为了验证GACP模型对噪声干扰的抵抗力,在航空行李点云数据集上开展随机噪声鲁棒性实验.
图 12
将随机噪声添加到输入点云中,替换掉一定数量的原始点集,模拟噪声干扰和数据丢失的情况. 如图13所示为5种模型在航空行李点云数据集上的随机噪声鲁棒性实验结果. 图中,Nn为噪声数量.
图 13
随机噪声的加入使得5种模型的分类精度都明显下降,GACP相较于其他模型下降趋势更缓. 这是由于GACP在局部精细特征提取和全局特征聚合过程中,对图结构的邻点分配不同的权重来降低干扰点的影响,RMP模块也能回收保留一些层次鲜明的特征激活以提供分类依据. 当噪声数量达到100时,GACP的分类精度大于80%,表现出较强的鲁棒性.
4. 结 语
本文提出融合图卷积神经网络和自注意力机制的PointNet++网络模型GACP,应用于航空行李特征感知分类任务. 该网络通过局部空间注意力模块来提取行李的局部空间结构特征,结合全局特征聚合模块学习行李局部特征之间的依赖关系,形成全局上下文信息. 利用循环最大池化模块保留鲜明的特征激活,去除冗余信息,在提升模型分类性能的同时降低计算量. 实验表明,本文提出的方法在航空行李点云数据集上的整体分类准确率达到96.32%,比PointNet++高5.07%. 对比实验和消融实验的结果证明,GACP在构型繁杂的航空行李特征感知分类问题上表现优越. 鲁棒性实验证明,GACP具有较强的抗噪声干扰能力,能够为航空行李自动化码放处理的安全高效运行提供决策依据.
目前,航空行李特征感知任务存在许多不足,如行李类型可以从表面材质、形状特点上进一步细分. 未来将关注研究行李中心点坐标和行李外轮廓包络线形状的法线方向位置倾角对航空行李特征感知的贡献,考虑低分辨率行李点云数据对模型性能的影响.
参考文献
Airline baggage appearance transportability detection based on a novel dataset and sequential hierarchical sampling CNN model
[J].
Target detection and classification based on LiDAR
[J].
A siamese neural network for non-invasive baggage re-identification
[J].DOI:10.3390/jimaging6110126 [本文引用: 1]
QuadNet: quadruplet loss for multi-view learning in baggage re-identification
[J].
PointNet++: deep hierarchical feature learning on point sets in a metric space
[J].
Attention is all you need
[J].
A novel local-global graph convolutional method for point cloud semantic segmentation
[J].
Recurrent attention unit: a new gated recurrent unit for long-term memory of important parts in sequential data
[J].
Dynamic graph CNN for learning on point clouds
[J].
PointVGG: graph convolutional network with progressive aggregating features on point clouds
[J].
/
〈 |
|
〉 |
