基于多模态知识对齐的双分支点云语义分割算法

杨军,卯恒睿,党吉圣

Dual-branch point cloud semantic segmentation algorithm based on multimodal knowledge alignment

Jun YANG,Hengrui MAO,Jisheng DANG

表 1 SemanticKITTI数据集上不同算法的语义分割性能对比

Tab.1 Comparison of semantic segmentation performance of different algorithms on SemanticKITTI dataset

模型 mIoU/% IoU/% 道路 人行道 停车场 其他地面 建筑物 小汽车 卡车 坐车 摩托车 PointNet++[17] 20.1 72.0 41.8 18.7 5.6 62.3 53.7 0.9 1.9 0.2 Cylinder3D[18] 66.9 94.5 81.2 44.8 1.0 90.5 97.1 85.1 70.3 54.5 TFNet[19] 66.1 90.6 75.3 68.5 29.0 91.6 94.3 38.4 60.7 58.5 WaffleIron[20] 68.0 95.5 83.6 50.2 6.4 92.1 96.1 77.4 58.1 79.7 SalsaNext+[21] 59.5 93.3 78.8 55.8 7.7 90.2 93.5 50.4 40.2 43.3 RViT-FLARES[22] 66.1 91.6 77.3 71.1 32.7 91.4 95.6 52.4 56.3 60.5 PC-BEV[23] 67.2 93.0 79.8 73.5 32.1 92.1 96.5 37.6 66.5 57.7 2DPASS[24] 68.3 94.0 81.3 49.1 4.2 91.7 96.6 92.4 52.7 76.9 本文模型 69.1 94.4 82.0 52.3 3.6 91.7 97.2 92.5 56.4 77.3 模型 IoU/% 其他车辆 植被 树干 地形 行人 骑自行车的人 骑摩托车的人 围栏 立杆 交通标志 PointNet++[17] 0.2 46.5 13.8 30.0 0.9 1.0 0.0 16.9 6.0 8.9 Cylinder3D[18] 80.9 76.5 92.2 0.0 86.6 70.8 70.4 58.7 64.2 51.8 TFNet[19] 48.4 83.8 71.1 67.0 74.3 72.2 35.5 67.3 60.8 68.7 WaffleIron[20] 59.0 87.8 73.8 73.0 81.1 92.2 1.2 67.5 65.7 52.2 SalsaNext+[21] 41.1 81.8 63.6 70.9 49.3 76.6 9.6 56.9 54.3 48.9 RViT-FLARES[22] 57.1 83.1 68.0 68.1 72.0 69.7 16.0 67.4 58.0 67.5 PC-BEV[23] 48.2 85.4 70.0 70.0 62.5 68.0 49.1 69.2 62.4 63.0 2DPASS[24] 66.1 89.2 71.9 76.4 78.3 92.8 2.7 66.3 62.5 54.0 本文模型 74.8 89.4 73.2 76.6 78.6 91.0 0.2 65.3 62.6 53.0