浙江大学学报(工学版), 2026, 60(10): 2278-2286 doi: 10.3785/j.issn.1008-973X.2026.10.019

机械工程、能源工程

基于多重几何特征的船舶组立点云分割方法

盛伟,, 黄家坤, 邱天, 高硕, 司国锦, 夏唐斌,

1. 上海交通大学 机械与动力工程学院,上海 200240

2. 北一(山东)工业科技股份有限公司,山东 枣庄 277500

3. 特殊环境数字制造装备技术创新中心,四川 绵阳 621900

4. 上海长兴海洋实验室,上海 201913

Point cloud segmentation method for ship assemblies based on multiple geometric features

SHENG Wei,, HUANG Jiakun, QIU Tian, GAO Shuo, SI Guojin, XIA Tangbin,

1. School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

2. North One (Shandong) Industrial Technology Co. Ltd, Zaozhuang 277500, China

3. Special Environment Digital Manufacturing Equipment Technology Innovation Center, Mianyang 621900, China

4. Shanghai Changxing Ocean Laboratory, Shanghai 201913, China

通讯作者: 夏唐斌, 男, 教授. orcid.org/0000-0001-9121-1716. E-mail:xtbxtb@sjtu.edu.cn

收稿日期: 2025-10-22  

基金资助: 国家自然科学基金资助项目(72571173,72401187);上海市自然科学基金资助项目(25ZR1401196);国家重点研发计划资助项目(2022YFF0605700).

Received: 2025-10-22  

Fund supported: 国家自然科学基金资助项目(72571173,72401187);上海市自然科学基金资助项目(25ZR1401196);国家重点研发计划资助项目(2022YFF0605700).

作者简介 About authors

盛伟(2002—),男,硕士生,从事船舶精度检测研究.orcid.org/0009-0009-2978-4797.E-mail:shengwei0412@sjtu.edu.cn , E-mail:shengwei0412@sjtu.edu.cn

摘要

针对船舶部件装配精度检测过程中难以精准分割多样几何形态组立点云的问题,提出多重几何特征驱动的点云分割方法(GeoFD). 该方法充分挖掘点云内在几何属性,设计融合几何位置编码与快速点特征直方图描述符的双流特征,分别在局部与全局尺度构建鲁棒的特征表征. 引入基于最优传输理论的加权线性组合机制,以几何驱动方式实现更合理、可解释的上下文信息融合. 最终采用基于相似度匹配的分割头完成部件语义推理. 基于现场采集的船舶组立点云数据开展实验,结果表明,GeoFD的交并比结果达到89.2%,优于多种主流点云分割模型,并展现出对几何结构敏感、泛化能力强的优势,验证了其在船舶装配精度检测中的有效性与潜力.

关键词: 船舶装配 ; 精度检测 ; 点云分割 ; 几何特征 ; 特征聚合

Abstract

A point cloud segmentation approach driven by multiple geometric features, referred to as GeoFD, was proposed, to address the challenge of accurately segmenting diverse geometric forms encountered during ship assembly precision inspection. The inherent geometric attributes within point clouds were thoroughly excavated and leveraged by the method. A dual-stream feature representation was strategically designed, in which geometric position encoding was combined with Fast Point Feature Histogram descriptors, and robust feature representations were established across both local and global scales. Subsequently, a weighted linear combination mechanism based on optimal transport theory was incorporated. By this mechanism, the feature fusion process was guided in a geometry-driven manner, and more rational and interpretable integration of contextual information was promoted. For the final inference stage, a segmentation head utilizing similarity matching was adopted to accomplish the semantic labeling of individual assembly components. Experimental validation was performed on actual ship assembly point cloud data, and an Intersection-over-Union score of 89.2% was achieved by GeoFD. This performance exceeded that of several mainstream point cloud segmentation models. Moreover, the method demonstrated a strong sensitivity to intricate geometric structures and exhibited enhanced generalization capability. These findings confirm the method’s practical effectiveness and significant potential for application in precision inspection tasks within ship assembly workflows.

Keywords: ship assembly ; precision detection ; point cloud segmentation ; geometric feature ; feature aggregation

PDF (3915KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

盛伟, 黄家坤, 邱天, 高硕, 司国锦, 夏唐斌. 基于多重几何特征的船舶组立点云分割方法. 浙江大学学报(工学版)[J], 2026, 60(10): 2278-2286 doi:10.3785/j.issn.1008-973X.2026.10.019

SHENG Wei, HUANG Jiakun, QIU Tian, GAO Shuo, SI Guojin, XIA Tangbin. Point cloud segmentation method for ship assemblies based on multiple geometric features. Journal of Zhejiang University(Engineering Science)[J], 2026, 60(10): 2278-2286 doi:10.3785/j.issn.1008-973X.2026.10.019

在船舶制造中,部件装配(小组立)是整体结构质量的基础环节[1]. 然而,在焊接与吊装过程中,由于热变形、残余应力及工艺波动等因素,组立易产生制造变形[2],若超出容差范围,将影响后续分段合拢精度与船体结构安全. 传统的依赖卷尺、全站仪[3]单点测量手段的人工检测方法,效率低下、劳动强度高,且难以全面捕捉复杂形貌,已成为制约生产进度与精度控制的关键瓶颈. 因此,发展高效、精确的数字化检测技术具有重要现实意义.

随着三维视觉技术的迅猛发展,基于点云的无接触式测量与识别方法逐渐成为工业检测的重要手段[4-6]. 在船舶制造领域,点云数据已广泛应用于焊缝检测[7-8]、部件识别[9-10]、装配质量评估[11-12]等多个环节. Tang等[13]基于地面激光扫描数据,通过体素聚类实现平面分割以提取感兴趣区域,将点集配准转化为高斯混合模型概率密度估计问题,根据混合距离的后验概率确定点之间的关系,模型效率优于同类算法. 兰欢等[14]提出基于多尺度特征增强的级联式三维重建网络,提升三维重建精度,并结合曲率稀疏化密度聚类方法实现缺陷点云的精准分割与定位. Sun等[15]提出结合激光扫描与轻量化网络的方法,用三角剖分完成缺陷三维重建可视化并计算几何参数,模型轻量且推理快,适配在线工业应用. 李瑞等[16]基于超体素生长理论对船体分段合拢面点云数据进行分割及简化,适配船体点云数据,实现船体分段合拢面构件智能识别. Zhang等[17]提出改进欧氏聚类分割算法,以体素化网格实现点云下采样,添加法向量角度约束,改善传统算法分割精度低的问题. Han等[18]提出基于3D激光扫描的自动方法,通过离散小波变换识别平面边界及过渡区,经逆映射与最小二乘拟合提取平面并计算尺寸,适配不同角度、尺寸焊缝,模型无需过多人工干预. Song等[19]提出轻量化网络,引入深度可分离卷积与注意力机制提升轻量化及特征提取能力,分割效果优且泛化性好. Zuo等[20]通过捕捉全局几何差异与局部特征关联实现点云分割,提取有效点云数据,为精确测量提供支撑. 顾世民等[21]提出基于几何特征的船舶大尺度构件快速建模及装配干涉检测方法,定义装配特征,开展局部重建与拼接,通过时间域间断配合间隙计算检测装配干涉,该方法能减少试装,为船舶大构件高效装配提供技术支撑.

上述方法在船舶零件加工或分段装配阶段取得一定成效,但在船舶部件装配阶段的组立精度检测场景中,面对样本少、批量多、批次形态多样的问题时,仍存在如下局限:1)在几何特征提取上,现有方法多依赖单一的局部几何描述符或通用的深度学习特征,未能充分融合点云在多尺度上的内在几何本质,导致对边缘、角点这类关键几何结构敏感性不足,在部件轮廓复杂时易产生误分割. 2)在特征聚合机制上,主流模型多采用基于特征相似度的注意力机制或图卷积,其权重计算缺乏显式的几何空间关系指导,导致特征融合过程可解释性差,且难以在局部细节与全局形状间实现自适应平衡,限制模型对船舶构件宏观几何分布的建模能力.

本研究针对船舶组立装配精度,提出多重几何特征驱动(geometry feature driven, GeoFD)的点云分割方法,充分挖掘并利用点云自身的几何本质,分割结果可直接服务于制造过程精度分析. 具体而言,本方法设计融合几何位置编码特征与几何结构特征,从局部与全局2个尺度构建鲁棒的特征表征;进而,引入基于加权线性组合的几何特征驱动聚合机制,以替代传统的注意力权重计算,实现更合理、可解释的上下文信息融合;最后,分割头基于特征相似度匹配完成推理.

1. 船舶组立点云装配精度分析方法

本研究集成获取并处理船舶组立点云数据,其流程如图1所示. 1)利用实验室内船舶零件视觉检测设备采集船舶组立点云数据,并建立模型训练与测试所需数据集;2)将现场获取的点云数据输入GeoFD,提取点云数据几何特征,分别在局部与全局层面聚合特征,最终基于相似度匹配完成组立构件分割. 在完成组立中不同构件与底板的分割后,分别对其进行装配精度分析,点云对应的处理流程如图2所示.

图 1

图 1   船舶组立点云获取分割技术

Fig.1   Point cloud acquisition and segmentation technology for ship assembly components


图 2

图 2   组立点云分割与检测的流程图

Fig.2   Workflow of assembly point cloud segmentation and detection


考虑到船舶构件丰富的几何属性,在几何特征提取中,设计双流几何特征编码,引入多频率几何位置编码,通过不同频率的三角函数响应不同尺度的空间变化;利用特征描述符,显式捕捉局部微分几何属性,以实现空间位置感知与局部几何属性互补. 在特征聚合机制中,引入基于最优传输理论的加权融合机制,通过Sinkhorn[22]算法求解聚合权重,从而在装配处生成清晰、准确的分割边界.

2. 基于GeoFD的点云分割方法

2.1. 组立点云部件分割模型框架

本研究提出的GeoFD整体框架如图3所示,采用编码器-解码器结合的U-Net结构. 编码器由多级特征聚合模块构成,逐步提取并聚合局部与全局特征,解码器通过最近邻插值与特征传播逐步恢复点云分辨率,查询集特征存储于点云记忆库中,最终通过分割头输出预测结果.

图 3

图 3   GeoFD整体框架

Fig.3   Overall framework of GeoFD


2.2. 组立点云特征编码

给定一点云$ {p}=(x,y,z) $,为了捕捉局部几何结构,基于其局部邻域计算法向量$ \boldsymbol{n} $,并提取其快速点特征直方图(fast point feature histograms, FPFH)描述符,以表征点的局部微分几何属性,将此特征作为几何结构特征输入特征聚合.

首先,为了扩大模型的感受野,采用最远点采样对输入点云进行降采样,每次采样生成$ M $个中心点,以实现对点云全局几何结构的均匀覆盖. 接着,基于k近邻算法为每个中心点$ {{c}}_{i} $构建其局部邻域$ \mathcal{N}({{c}}_{i}) $,形成局部空间结构.

2.2.1. 初始位置编码

受Transformer[23]架构启发,引入多频率三角函数位置编码机制,通过正弦和余弦函数的组合,将连续的空间坐标映射到高维特征空间,从而增强模型对空间位置信息的感知能力,表达式如下:

$ \operatorname{PE}(x, y, z)=\operatorname{Concat}\left[\sin \left(\frac{\beta \cdot {{\boldsymbol{p}}}}{\alpha^{i / d}}\right), \cos \left(\frac{\beta \cdot {{\boldsymbol{p}}}}{\alpha^{i / d}}\right)\right]_{i=0}^{b-1} . $

式中:$ {{\boldsymbol{p}}}=[x,y,z]^{\mathrm{T}} $表示点的三维坐标;$ \alpha $$ \beta $为控制映射过程中波长与重要性的参数;$ i $为频率索引($ i=0,1\cdots ,b-1 $),$ b $为特征维度的一半.

$ \alpha $较大时,高频分量捕捉局部细节信息,低频分量则捕捉全局结构信息,不同频率基函数响应不同尺度的几何变化[24].

2.2.2. 几何位置编码

为了获取每个中心点及其邻域的特征,将局部邻域特征$ {\boldsymbol{f}}_{j} $与中心点特征$ {\boldsymbol{f}}_{{{c}_{i}}} $沿着特征维度拼接:

$ {\boldsymbol{f}}_{ij}=\mathrm{Concat}\;\;({\boldsymbol{f}}_{{{{c}}}_{i}},{\boldsymbol{f}}_{j}),\;\;j\in \mathcal{N}({c}_{i}). $

式中:下标$ j $为中心点$ {{{c}}}_{i} $邻域内第$ j $个点. 拼接后,拓展后的$ {\boldsymbol{f}}_{ij} $整合中心点及其邻域内的信息.

针对检测中批次形态多样问题,考虑到点云的局部邻域不仅包含特征信息,还隐含几何空间信息,单纯的特征拼接易忽略空间关系,为此,引入相对位置编码生成位置嵌入,在边缘或角点区域,位置编码会放大局部特征的差异性,强化几何细节. 具体而言,将中心点$ {{c}}_{i} $的几何属性编码为多维张量,增强邻域空间关系的建模,通过PE模块对邻域点的相对坐标向量$ \Delta {\boldsymbol{p}} $进行编码,生成几何感知的位置嵌入$ \mathrm{PE}(\Delta {\boldsymbol{p}}) $,该机制使模型能够学习坐标空间中任意精度的位置关系,同时通过相对位置的相位差保留空间关系,避免绝对坐标偏差,实现平移不变性,表达式如下:

$ \boldsymbol{f}_{ij}^{\mathrm{geo}}=({\boldsymbol{f}}_{ij}+\mathrm{PE}(\Delta {\boldsymbol{p}}))\odot \mathrm{PE}(\Delta {\boldsymbol{p}}). $

式中:$ \Delta {\boldsymbol{p}} $表示邻域点相对于中心点的坐标差向量,$ \odot $表示逐元素相乘.

2.3. 组立点云特征聚合

为了有效聚合特征相似度信息与几何空间表征信息,特征聚合首先在局部邻域范围内进行,随后扩展至全局层面.

2.3.1. 局部特征聚合

在局部中心点$ {{c}}_{i} $的邻域内,提取其几何特征信息的不同表征,通过局部相似性约束,抑制噪声异常点的影响,同时保留局部几何结构中的关键特征. 局部特征聚合模块(local feature aggregation, LFA)结构如图4所示,该模块采用几何位置编码特征与几何结构特征FPFH双流特征进行聚合.

图 4

图 4   局部特征聚合模块的结构

Fig.4   Structure of local feature aggregation module


在一个物体表面的局部区域,点的空间位置应平滑过渡,相应的FPFH特征所反映的局部几何结构,如曲面曲率、法向量分布也应连续变化. 为了将中心点特征分配到邻域点并合理配置不同几何特征的组合权重,将其建模为最优传输问题[25].

对于中心点$ {{c}}_{i} $及其K近邻点集$ \mathcal{N}\left({{c}}_{i}\right)={{p}}_{k} $,定义其中心点$ {{c}}_{i} $对应的几何位置编码特征表征为$ {{\boldsymbol{F}}}^{\text{pe}}=\left[ {{\boldsymbol{f}}}_{1} \right.,{{\boldsymbol{f}}}_{2},\cdots ,\left. {{\boldsymbol{f}}}_{M} \right]\in {{\bf{R}}}^{\mathop{d}_{\text{pe}}\times M} $,几何结构特征FPFH表征为$ {{\boldsymbol{F}}}^{\rm{fpfh}}=\left[ {{\boldsymbol{g}}}_{1},{{\boldsymbol{g}}}_{2},\cdots , {{\boldsymbol{g}}}_{M} \right]\in {{\bf{R}}}^{{d}_{{\mathrm{fpfh}}}\times{ M}} $. 首先,利用欧氏距离计算从邻域内任意点$ i $到中心点$ {{{c}}}_{i} $的单位传输成本$ {{C}}_{ij} $,表达式如下:

$ {{C}}_{ij}=\frac{{\left|\left|{\boldsymbol{f}}_{1i}-{\boldsymbol{f}}_{2j}\right|\right|}_{2}}{\sqrt{D}}. $

式中:$ {\boldsymbol{f}}_{1i} $表示邻域内第$ i $个点的特征向量,$ {\boldsymbol{f}}_{2j} $表示中心点集里第$ j $个点的特征向量,$ D $代表特征空间中心点之间最短距离的平均值.

接着,由迭代求解传输计划矩阵元素$ {\gamma }_{ij} $,即从源点$ i $到目标点$ j $的传输量:

$\left.\begin{split} \min _{\gamma \geqslant 0}\;\;& \sum_{i=1}^n \sum_{j=1}^m \gamma_{i j} {C}_{i j}; \\{\mathrm{s.t}}.\;\; &\sum_{j=1}^m \gamma_{i j}=p_i, \forall i \in\{1, \cdots, n\}, \\{}&\sum_{i=1}^n \gamma_{i j}=q_j, \forall j \in\{1, \cdots, m\} . \end{split}\right\} $

式中:$ {p}_{i} $表示每个邻域点$ i $的总传输量,$ {q}_{j} $表示每个中心点$ j $的总接收量,$ n $为邻域点数量,$ m $为中心点数量. 通过迭代更新对偶变量$ \boldsymbol{u} $$ \boldsymbol{v} $来求解最优传输问题,$ {\boldsymbol{u}}^{(0)} $$ {\boldsymbol{v}}^{(0)} $初始化为零向量,在第$ l $次迭代中,更新公式如下:

$\left.\begin{split} & {u}_i^{(l+1)} = {u}_i^{(l)} + \varepsilon\left( \log p_i - \log \sum_{j=1}^m \exp \left(\frac{-{C}_{i j} + {u}_i^{(l)} + {v}_j^{(l)}}{\varepsilon}\right) \right), \\& {v}_j^{(l+1)} = {v}_j^{(l)} + \varepsilon\left( \log q_j - \log \sum_{i=1}^n \exp \left(\frac{-{C}_{i j} + {u}_i^{(l+1)} + {v}_j^{(l)}}{\varepsilon}\right) \right) . \end{split} \right\} $

式中:$ {u}_{i}^{(l)} $表示在第$ l $ 次迭代中,源点$ i $对应的行对偶变量,$ {v}_{j}^{(l)} $表示在第$ l $次迭代中,目标点$ j $对应的列对偶变量,当$ \boldsymbol{u} $$ \boldsymbol{v} $的变化量收敛至稳定值时迭代停止.

利用基于点的几何位置编码和FPFH特征的相似度的Sinkhorn算法计算线性组合权重作为最优运输问题的解. 具体而言,对于第$ i $个中心点,其邻域内的$ \mathcal{N}({{c}}_{i}) $点的几何位置编码特征表征为$ {\boldsymbol{F}}^{\mathrm{pe}}_{i} $,几何结构特征FPFH表征为$ {\boldsymbol{F}}^{\mathrm{fpfh}}_{i} $,则其几何位置编码对应的相似度矩阵计算公式为$ \boldsymbol{S}^{\mathrm{pe}}_{i}={{\boldsymbol{F}}}^{\mathrm{pe}}_{{i}}({\boldsymbol{F}}^{\mathrm{pe}}_{{i}})^{\mathrm{T}}/\sqrt{{d}_{\mathrm{pe}}} $,几何结构特征FPFH对应的特征相似度矩阵计算公式为$ \boldsymbol{S}^{\mathrm{fpfh}}_{i}={{\boldsymbol{F}}}^{\mathrm{fpfh}}_i({\boldsymbol{F}}^{\mathrm{fpfh}}_{{i}})^{\mathrm{T}}/\sqrt{{d}_{\mathrm{fpfh}}} $.

对几何位置编码特征和FPFH特征的局部相似度矩阵分别应用Sinkhorn算法,利用算法的正则化机制,避免少数高度相似的点权重过大而垄断组合结果,确保邻域内多数点的贡献合理.

$ {{\boldsymbol{W}}}^{\mathrm{pe}}_{{{i}}}=\mathrm{SH}({{{\boldsymbol{S}}}}^{\mathrm{pe}}_{{i}}),\;\;{{\boldsymbol{W}}}^{\mathrm{fpfh}}_{{i}}={{\mathrm{SH}}}({\boldsymbol{S}}^{\mathrm{fpfh}}_{{i}}). $

再通过Softmax组合归一化,得到局部聚合权重:

$ {\boldsymbol{W}}_{{i}}=\mathrm{SH}({{\boldsymbol{W}}}^{\mathrm{pe}}_{{i}}*{{\boldsymbol{W}}}^{\mathrm{fpfh}}_{{i}}). $

将局部聚合后的特征$ {\boldsymbol{F}}_{\mathrm{attn}} $与原始输入特征$ {\boldsymbol{F}}_{\mathrm{in}} $进行加权融合得到局部聚合特征:

$ \boldsymbol{F}_{\mathrm{out}}^{\mathrm{local}}=\frac{{\boldsymbol{F}}_{\mathrm{in}}+{{W}}^{{i}j}{\boldsymbol{F}}_{\mathrm{in}}}{2}. $

2.3.2. 全局特征聚合

局部特征聚合作用于中心点及其局部邻域,主要擅长捕捉局部微观几何结构,如边缘、角点. 为了扩大模型视野,将特征聚合扩展至全局层面,进行全局特征聚合(global feature aggregation, GFA),建模点云的宏观形状.

对每个局部邻域聚合后的特征$ \boldsymbol{F}_{\mathrm{out}}^{\mathrm{local}} $,通过最大池化和平均池化操作聚合为全局特征表征$ {\boldsymbol{F}}_{\mathrm{global}} $,表达式如下:

$ {\boldsymbol{F}}_{\mathrm{global}}=\mathrm{MaxPool}(\boldsymbol{F}_{\mathrm{out}}^{\mathrm{local}})+\mathrm{AvePool}(\boldsymbol{F}_{\mathrm{out}}^{\mathrm{local}}). $

随后,应用批归一化(batch normalization, BN)和GeLU激活函数进行非线性变换,增强模型的表达能力:

$ \boldsymbol{F}_{\mathrm{global}}^{\mathrm{trans}}=\mathrm{GELU}(\mathrm{BN}({\boldsymbol{F}}_{\mathrm{global}})). $

此扩展有利于捕获全局几何分布信息,突破局部邻域限制,适应复杂形状的全局特征需求. 采用与局部聚合相似的思路,在全局层面利用Sinkhorn算法基于几何特征相似性进行特征聚合,几何位置编码特征的相似度矩阵为$ {{\bar{{\boldsymbol{S}}}}}_{ij}^{{\mathrm{pe}}}={{\bar{{\boldsymbol{f}}}}}_{i}{{\bar{{\boldsymbol{f}}}}}_{j}/\sqrt{{d}_{{\mathrm{pe}}}}$,几何结构特征FPFH相似度矩阵对应的计算公式为${{\bar{{\boldsymbol{S}}}}}_{ij}^{{\mathrm{fpfh}}}={{\bar{{\boldsymbol{g}}}}}_{i}{{\bar{{\boldsymbol{g}}}}}_{j}^{\mathrm{T}}/\sqrt{{d}_{\mathrm{fpfh}}} $.

结合几何语义相似度与几何结构相似度矩阵,运用Sinkhorn算法,全局特征聚合的权重为

$\left.\begin{split} &{\overline{\boldsymbol{W}}}^{\mathrm{pe}}=\mathrm{SH}({\overline{\boldsymbol{S}}}^{\mathrm{pe}}),\;\;{\overline{\boldsymbol{W}}}^{\mathrm{fpfh}}={{\mathrm{SH}}}({\overline{\boldsymbol{S}}}^{\mathrm{fpfh}}),\\&\overline{\boldsymbol{W}}= \mathrm{SM}({\overline{\boldsymbol{W}}}^{\mathrm{pe}}*{\overline{\boldsymbol{W}}}^{\mathrm{fpfh}}*\overline{\boldsymbol{M}}).\end{split}\right\} $

式中:$ \overline{\boldsymbol{M}} $为掩码矩阵,当$ {\left|\left|{\overline{{\boldsymbol{p}}}}_{i}-{\overline{{\boldsymbol{p}}}}_{j}\right|\right|}_{2} \lt D $时,其中的元素为1,否则为0,其能有效地控制重要的局部区域参与到最优传输的计算中,确保模型处理不规则点云数据的能力. 利用得到的权重$ \overline{\boldsymbol{W}} $聚合原始特征进行线性融合:

$ {\boldsymbol{F}}_{\mathrm{agg}}=\frac{\overline{\boldsymbol{W}}\boldsymbol{F}_{\mathrm{global}}^{\mathrm{trans}}+\boldsymbol{F}_{\mathrm{global}}^{\mathrm{trans}}}{2}. $

更新后的全局特征$ {\boldsymbol{F}}_{\mathrm{agg}} $融合了全局几何上下文的信息.

2.4. 相似度匹配分割头

在完成局部与全局特征聚合后,采用基于相似度匹配的机制作为分割头,实现对少样本、多批量组立点云中每个点的语义部件的快速分类. 该机制依靠支持集中提取的部件原型与查询集点特征之间的相似性进行推理,其具体结构如图5所示.

图 5

图 5   分割头模块的结构

Fig.5   Structure of segmentation head


对于支持集中每个形状类别$ s $,利用掩码平均池化提取其所有点特征,并按部件标签$ i\in \left[1,{N}_{{\mathrm{p}}}\right] $进行聚类,生成该部件对应的原型向量:

$ \boldsymbol{p}_{i}^{s}=\frac{1}{\left| {S}_{i}^{s}\right| }\sum\limits_{\boldsymbol{x}\in {S}_{i}^{s}}\boldsymbol{x}. $

式中:$ {S}_{i}^{s} $表示形状类别$ s $中所有属于部件$ i $的点特征集合,$ {\boldsymbol{x}}\in {\bf{R}}^{d} $为点特征向量. 所有部件的原型向量经L2归一化后存储于支持集的部件原型记忆库中,$ {\boldsymbol{P}}^{s}=[\boldsymbol{p}_{1}^{s},\boldsymbol{p}_{2}^{s},\cdots ,\boldsymbol{p}_{{N}_{{\mathrm{p}}}}^{s}]\in {\bf{R}}^{d\times {{N}_{{\mathrm{p}}}}} $;同时构建对应的部件标签记忆矩阵,$ {\boldsymbol{L}}^{s}\in {\bf{R}}^{{{N}_{{\mathrm{p}}}}\times {{N}_{{\mathrm{p}}}}} $,其每行为该部件标签的one-hot编码.

对于查询集点云中的每个点特征$ {\boldsymbol{x}}_{j}\in {\bf{R}}^{d} $,首先进行归一化:$ {\hat{\boldsymbol{x}}}_{j}=\dfrac{{\boldsymbol{x}}_{j}}{{\left|\left|{\boldsymbol{x}}_{j}\right|\right|}_{2}} $,接着计算其与对应形状类别$ s $的所有部件原型的余弦相似度:

$ \mathrm{Sim}({\hat{\boldsymbol{x}}}_{j},{\boldsymbol{P}}^{s})=\hat{\boldsymbol{x}}_{j}^{\mathrm{T}}{\boldsymbol{P}}^{s}\in {\bf{R}}^{1\times {{N}_{{\mathrm{p}}}}}. $

通过指数函数与温度系数$ \gamma $将相似度转换为权重,最终,该点的部件标签logits通过加权融合部件标签记忆得到:

$ {{\bf{logits}}}=\exp\; (-\gamma (1-\mathrm{Sim})){\boldsymbol{L}}_{s}. $

对输入点云执行上述操作后,得到整个点云的预测输出$ \bf{logits} $,并通过$ \mathrm{argmax} $操作获得每个点的部件预测标签. 在训练过程中,该模块作为推理时的分割头使用.

3. 实验与分析

3.1. 实验数据

实验针对小组立装配采集船舶小组立点云数据,按照构件形状分为3类:梯形构件、方形构件、三角形构件,如图6所示. 构件底边的长度分布为(500,920)mm,厚度为10 mm.

图 6

图 6   船舶构件示意图

Fig.6   Schematic diagram of ship components


测量装置使用面结构光三维扫描仪,测量时使用数字光栅投影装置向被测量物体投射系列光栅图像,并由工业相机同步采集经物体表面调制而变形的光栅图像,计算得到物体表面完整的三维点云数据,其数据采集与处理过程如图7所示.

图 7

图 7   零件视觉检测实验装置

Fig.7   Experimental device for component visual inspection


共采集包括3类、150个不同构型的组立点云数据,样本由底板与不同构件组成. 参考文献[26]对采集到的稠密组立点云数据进行随机下采样,将单个组立点云扩展成3个不完全重叠的点云,得到包含450个组立点云的扩展数据集,将其划分为360个点云的训练集、90个点云的测试集,利用CloudCompare软件对采集的数据进行人工标注并构建数据集AssemblyPart.

3.2. 实验设置

组立点云分割实验在NVIDIA RTX 4090D 24GB GPU上开展,语言环境为Python3.9,加速环境为CUDA12.4,模型基于PyTorch2.6.0深度学习框架实现,并使用Open3D数据处理库,输入点数为1024,学习率初始值为0.01,训练迭代轮次为100.

针对组立点云数据量较大的问题,为了避免显存溢出,对组立点云数据做滑动分块预处理,具体操作为以固定边长(本研究中为0.2 m)的滑动方块在原始点云上进行采样,相邻方块之间步长设置为0.1 m,单个方块最小点云数量设置为1000,将分块后的数据导入模型训练.

实验中选取平均交并比(mean Intersection over Union, mIoU)作为衡量模型分割性能的评价指标,表达式如下:

$ \mathrm{mIoU}=\dfrac{1}{N}\displaystyle\sum\limits_{i=1}^{N}\frac{{A}_{i}\cap {B}_{i}}{{A}_{i}\cup {B}_{i}}. $

式中:$ N $为样本总数,$ {A}_{i} $表示第$ i $个样本的预测分割结果,$ {B}_{i} $表示第$ i $个样本的真实标签.

3.3. 实验结果分析

3.3.1. 几何位置编码的作用

为了验证几何位置编码对空间信息的捕捉能力,可视化现场采集的组立点云高频与低频几何形状表征,如图8所示. 高频区域主要反映局部区域内形状突变或边缘轮廓区域,低频区域着重表现整体的结构,表现为三维形状中平坦的区域,其坐标变化范围较小. 可以看出,在图8底部,GeoFD通过三角函数构建几何位置编码,能较好地捕捉三维形状突变的区域,图中颜色越深的区域表明响应越强烈.

图 8

图 8   高、低频分量示意图

Fig.8   High and low frequency component diagram


3.3.2. 特征聚合的作用

针对局部与全局特征聚合在整体特征聚合中的功效,选取一组立,对比模型经全局特征聚合前、后的分割效果,如图9所示. 从局部放大图中可以看出,经局部特征聚合后,梯形构件的边缘区域存在较为明显的误判,而全局特征聚合在此基础上进一步细化特征表达,弥补局部特征聚合在感知范围上的局限.

图 9

图 9   局部、全局特征聚合对比图

Fig.9   Local and global feature aggregation comparison diagram


3.3.3. 分割精度分析

在现场采集的数据集上开展实验,统计推理速度为每秒处理的点云样本数量,分割结果如表1所示. 其中,P为参数量,S为每秒处理的样本数. 可以看出,GeoFD整体的交并比结果为89.2%,在所有对比方法中取得最优结果,相较于PointNet++方法提升9.8个百分点. 可见,GeoFD能够凭借在点云几何特征提取与区域特征聚合方面的设计,实现在整体参数量较少、推理速度较快的情况下提升分割精度.

表 1   AssemblyPart数据集分割结果

Tab.1  Segmentation result of AssemblyPart dataset

方法mIoU/%P/106S
PointNet[27]67.38.342
PointNet++[28]79.41.830
DGCNN[29]81.91.944
Point Trans[30]82.54.948
PointMLP[31]83.616.860
GeoFD89.23.878

新窗口打开| 下载CSV


为了直观展现模型的分割效果,将真值与预测值进行可视化对比,如图10所示展示了部分构件与底板分割结果. 其中,构件颜色越深表明越接近真值,图中红色部分为梯形构件装配,黄色部分为方形构件装配. 尽管在现场扫描的组立点云数据中存在遮挡导致的缺失、划痕、噪声等干扰,且构件在底板装配位置多样,模型仍能依据数据自身的几何特征构建表征,对船舶组立这类几何结构特征突出的工件表现出优异的分割性能.

图 10

图 10   底板分割结果

Fig.10   Plane segmentation result


3.3.4. 分割头性能测试

为了检验模型在少样本、多批量场景下的性能,在实验中测试分割头相似度匹配在未见类别中的表现,选取趾端结构构件作为模型的未见类别(该构件在模型的训练部分未出现). 趾端结构如图11所示.

图 11

图 11   趾端结构示意图

Fig.11   Toe end structure schematic diagram


实验中,实验材料包括梯形构件、趾端结构构件及底板,将原始点云分别输入PointNet++模型与GeoFD模型,并将预测结果与真值比较,实验结果如图12所示. 对于未见类别,PointNet++对其辨识能力较差,在分割时将其与其他构件与底板混合,在图12中表现为3种颜色斑驳,相比之下本研究提出的GeoFD基于点云记忆库中存储的原型标签进行相似度匹配,能较为精准地识别出不同构件的特征,并分辨出不同的构件与底板.

图 12

图 12   未见类别结果对比图

Fig.12   Comparison of results on unseen class


3.3.5. 装配精度分析

在船舶建造中,尺寸偏差是指设计规范与实际制造尺寸之间的差异,将偏差控制在规定的公差范围内是保证船舶建造质量的基础. 为了验证模型分割后的构件点云符合船舶制造过程精度控制的要求,参考现行中国造船质量标准[32],制定实验中小组立的精度控制标准,设置构件装配偏差的标准偏差为±4 mm,最大偏差为6 mm.

本研究抽取一方形构件为检测对象,对2节方形构件装配间距偏差进行评估,结果如图13所示. 横向方形构件两端的设计装配间隔$ {D}_{1{\mathrm{D}}} $$ {D}_{2{\mathrm{D}}} $均为465.00 mm,实测装配间隔$ {D}_{1{\mathrm{R}}} $$ {D}_{2{\mathrm{R}}} $为465.65 mm和467.34 mm,$ {D}_{1} $$ {D}_{2} $的装配绝对偏差为0.65、2.34 mm,符合小组立装配精度控制的要求.

图 13

图 13   构件间距偏差评估

Fig.13   Assessment of component spacing deviation


船舶结构的面外变形是制造过程中的关键问题,对后续装配有着重要影响. 选取分割后的底板平面进行形变评估,分析结果如图14所示. 其中,Def表示形变,颜色强度与形变大小相关. 其形变范围为0~4 mm,形变特征为总体上呈现轻度变形,边缘显著强化.

图 14

图 14   底板三维形变分析

Fig.14   3D deformation analysis of bottom plate


图15所示展示了底板形变比例的直方图与密度曲线. 其中,Prop表示比例. 其中平均与最大形变分别为0.71、3.76 mm,超过91.9%的形变落在0~1.50 mm区间内,在0~0.25 mm区间观测到28.54%的峰值比例,结果显示底板形变符合制造偏差要求.

图 15

图 15   底板形变比例

Fig.15   Deformation proportion of bottom plate


3.4. 消融实验

在现场采集的AssemblyPart数据集上开展部件分割消融实验,实验分为2部分,分别对模型中编码器不同模块的贡献以及特征聚合阶段不同特征输入的组合进行测试.

3.4.1. 编码器部件消融实验

为了评估编码器各部件的有效性,将其划分为几何位置编码模块、局部特征聚合模块及全局特征聚合模块. 消融实验结果如图16所示,图中,PE、L和G依次表示上述3个模块. 采用文献[28]所提模型作为基准模型,简写为B. B的mIoU为67.3%;加入PE模块后mIoU提高4.9个百分点,加入PE和L组合后mIoU增加9.8个百分点;而加入PE和G组合后mIoU提升6.1个百分点,体现模型中局部特征提取模块对于部件分割精度的突出贡献,加入PE+L+G模块组合后,mIoU提升至82.3%;完整的模型通过引入部件原型记忆库,补充相关部件的先验知识,在推理时提供具体实例的特征参考,其精度为89.2%.

图 16

图 16   分割任务中GeoFD模块的消融实验

Fig.16   Ablation study of GeoFD modules on segmentation task


3.4.2. 不同特征组合的效果

表2所示展现了特征聚合过程中不同特征组合下的效果,使用交并比作为实验指标. 结果表明,几何位置编码特征、坐标信息和几何结构特征有效增强局部特征聚合的效果,分割精度达84.8%. 同时,在全局特征聚合中,几何位置编码特征和几何结构特征能显著提升模型的性能.

表 2   AssemblyPart数据集上输入特征组合的比较

Tab.2  Comparison of combinations of features on AssemblyPart dataset

特征特征组合
局部PE
坐标
FPFH
全局PE
FPFH
mIoU/%76.178.682.684.874.073.480.089.2

新窗口打开| 下载CSV


4. 结 语

本研究提出多重几何特征驱动的点云分析方法(GeoFD),通过充分挖掘点云内在的几何属性,构建了一套完整的处理流程. 该方法融合了几何位置编码与几何结构特征,在局部与全局2个尺度上实现鲁棒的特征提取与聚合,并引入最优传输理论以几何驱动的方式实现特征权重分配,最终通过相似度匹配机制完成语义推理. 实验结果表明,方法在船舶组立点云数据验证中的分割精度达89.2%,优于多种主流对比模型,且兼具轻量化与较快的推理速度,展现了其在工业现场的工程应用潜力. 须指出的是,本研究方法在应对高度遮挡或噪声密集的点云场景时,局部几何特征的连贯性可能受到影响;同时,若拓展至更大尺寸或结构更复杂的装配体,当前分块策略在边缘处的特征融合机制仍须进一步优化. 未来工作将致力于提升模型在复杂装配场景中的泛化能力,推动该方法在船舶制造精度检测中的更广泛应用.

参考文献

应长春. 船舶工艺技术 [M]. 上海: 上海交通大学出版社, 2013.

[本文引用: 1]

WANG J, MA N, DENG D

Progress in welding distortion prediction and control technology for advanced manufacturing

[J]. Journal of Manufacturing Processes, 2025, 152: 1012- 1036

DOI:10.1016/j.jmapro.2025.08.062      [本文引用: 1]

LI J, CHEN Z, LEI P, et al

Construction accuracy evaluation of ship stiffened panel based on 3D model reconstruction

[J]. Ocean Engineering, 2025, 328: 121060

DOI:10.1016/j.oceaneng.2025.121060      [本文引用: 1]

LIU Y, ZHANG C, DONG X, et al

Point cloud-based deep learning in industrial production: a survey

[J]. ACM Computing Surveys, 2025, 57 (7): 1- 36

[本文引用: 1]

陈杨波, 伊国栋, 张树有

基于点云特征对比的曲面翘曲变形检测方法

[J]. 浙江大学学报: 工学版, 2021, 55 (1): 81- 88

DOI:10.3785/j.issn.1008-973X.2021.01.010     

CHEN Yangbo, YI Guodong, ZHANG Shuyou

Surface warpage detection method based on point cloud feature comparison

[J]. Journal of Zhejiang University: Engineering Science, 2021, 55 (1): 81- 88

DOI:10.3785/j.issn.1008-973X.2021.01.010     

姚鑫骅, 于涛, 封森文, 等

基于图神经网络的零件机加工特征识别方法

[J]. 浙江大学学报: 工学版, 2024, 58 (2): 349- 359

DOI:10.3785/j.issn.1008-973X.2024.02.013      [本文引用: 1]

YAO Xinhua, YU Tao, FENG Senwen, et al

Recognition method of parts machining features based on graph neural network

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (2): 349- 359

DOI:10.3785/j.issn.1008-973X.2024.02.013      [本文引用: 1]

YANG B, WANG Z, XU Y, et al

Surface segmentation and weld extraction on noisy point clouds consisting of multiple quadrics

[J]. Robotics and Computer-Integrated Manufacturing, 2026, 97: 103100

DOI:10.1016/j.rcim.2025.103100      [本文引用: 1]

YIN X, KANG S, ZHANG R, et al. Exploring the capability of deep neural network on ship sub-assembly weld seam recognition [C]// Proceedings of the 3rd International Conference on Automation, Robotics and Computer Engineering. [S.l.]: IEEE, 2025: 6–11.

[本文引用: 1]

LI Y, WANG Y, LIU Y

Three-dimensional point cloud segmentation based on context feature for sheet metal part boundary recognition

[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 72: 2513710

DOI:10.1109/tim.2023.3272047      [本文引用: 1]

LEI P, CHEN Z, TAO R, et al

Boundary recognition of ship planar components from point clouds based on trimmed delaunay triangulation

[J]. Computer-Aided Design, 2025, 178: 103808

DOI:10.1016/j.cad.2024.103808      [本文引用: 1]

HUO S, LIU Y, WANG J, et al

A pre-procession module for point-based deep learning in dense point clouds in the ship engineering field

[J]. Journal of Marine Science and Engineering, 2023, 11 (12): 2248- 2267

DOI:10.3390/jmse11122248      [本文引用: 1]

PAN Y, YANG F, PENG W, et al

Improved PointNet with accuracy and efficiency trade-off for online detection of defects in laser processing

[J]. Optics and Lasers in Engineering, 2025, 184: 108610

DOI:10.1016/j.optlaseng.2024.108610      [本文引用: 1]

TANG C, CHEN G, FAN W, et al

Manufacturing deviation inspection method for ship block alignment structures based on terrestrial laser scanner data

[J]. Measurement, 2024, 227: 114236

DOI:10.1016/j.measurement.2024.114236      [本文引用: 1]

兰欢, 余建波

基于深度学习三维成型的钢板表面缺陷检测

[J]. 浙江大学学报: 工学版, 2023, 57 (3): 466- 476,561

DOI:10.3785/j.issn.1008-973X.2023.03.004      [本文引用: 1]

LAN Huan, YU Jianbo

Steel surface defect detection based on deep learning 3D reconstruction

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (3): 466- 476,561

DOI:10.3785/j.issn.1008-973X.2023.03.004      [本文引用: 1]

SUN H, XIA L, ZHOU Y, et al

Online detection and evaluation of weld surface defects based on lightweight network VGG16-UNet and laser scanning

[J]. Journal of Manufacturing Processes, 2024, 129: 292- 306

DOI:10.1016/j.jmapro.2024.08.037      [本文引用: 1]

李瑞, 赵怡荣, 霍世霖, 等

基于改进PointNet++的船体分段合拢面构件智能识别算法研究

[J]. 中国舰船研究, 2024, 19 (6): 173- 179

DOI:10.19693/j.issn.1673-3185.03744      [本文引用: 1]

LI Rui, ZHAO Yirong, HUO Shilin, et al

Intelligent recognition algorithm for hull segment closure surface components based on improved PointNet++

[J]. Chinese Journal of Ship Research, 2024, 19 (6): 173- 179

DOI:10.19693/j.issn.1673-3185.03744      [本文引用: 1]

ZHANG Z, ZHANG N, WANG A. Improved euclidean clustering and segmentation algorithm for workpiece identification [C]// Proceedings of the IEEE International Conference on Mechatronics and Automation. Tianjin: IEEE, 2024: 74–78.

[本文引用: 1]

HAN Y, PENG F, WANG Z, et al

An automatic measurement method for hull weld seam dimensions based on 3D laser scanning

[J]. Ocean Engineering, 2024, 312: 118922

DOI:10.1016/j.oceaneng.2024.118922      [本文引用: 1]

SONG L, WANG H, ZHANG Y, et al

LWSNet: a lightweight network for automated welding point cloud segmentation

[J]. Measurement, 2025, 243: 116290

DOI:10.1016/j.measurement.2024.116290      [本文引用: 1]

ZUO L, ZHANG J, LYU Y

Adaptive geometric feature learning network-based point cloud segmentation for radius measurement of grid-stiffened cylindrical shell

[J]. IEEE Transactions on Instrumentation and Measurement, 2025, 74: 2544215

DOI:10.1109/tim.2025.3600707      [本文引用: 1]

顾世民, 刘金锋, 钱天龙, 等

船舶大构件几何特征建模及装配干涉检测方法

[J]. 中国机械工程, 2025, 36 (7): 1636- 1649

DOI:10.3969/j.issn.1004-132X.2025.07.026      [本文引用: 1]

GU Shimin, LIU Jinfeng, QIAN Tianlong, et al

Geometric feature modeling and assembly interference detection method for large ship components

[J]. China Mechanical Engineering, 2025, 36 (7): 1636- 1649

DOI:10.3969/j.issn.1004-132X.2025.07.026      [本文引用: 1]

GABRIEL P, MARCO C

Computational optimal transport with applications to data sciences

[J]. Foundations and Trends® in Machine Learning, 2019, 11 (5/6): 355- 607

DOI:10.1561/2200000073      [本文引用: 1]

VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need [C]// Proceedings of the International Conference on Neural Information Processing Systems. Long Beach: Curran Associates, Inc. , 2017: 5998–6008.

[本文引用: 1]

ZHANG R, WANG L, WANG Y, et al. Starting from non-parametric networks for 3D point cloud analysis [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 5344–5353.

[本文引用: 1]

RUSU R B, BLODOW N, BEETZ M. Fast point feature histograms (FPFH) for 3D registration [C]//Proceedings of the IEEE International Conference on Robotics and Automation. Kobe: IEEE, 2009: 3212–3217.

[本文引用: 1]

邢志伟, 朱书杰, 李彪

基于改进图卷积神经网络的航空行李特征感知

[J]. 浙江大学学报: 工学版, 2024, 58 (5): 941- 950

DOI:10.3785/j.issn.1008-973X.2024.05.007      [本文引用: 1]

XING Zhiwei, ZHU Shujie, LI Biao

Airline baggage feature perception based on improved graph convolu-tional neural network

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (5): 941- 950

DOI:10.3785/j.issn.1008-973X.2024.05.007      [本文引用: 1]

CHARLES R Q, HAO S, MO K, et al. PointNet: deep learning on point sets for 3D classification and segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 77–85.

[本文引用: 1]

QI C R, YI L, SU H, et al. PointNet++: deep hierarchical feature learning on point sets in a metric space [C]// Proceedings of the 31th International Conference on Neural Information Processing Systems. Long Beach: Curran Associates, Inc. , 2017: 5099–5108.

[本文引用: 2]

WANG Y, SUN Y, LIU Z, et al

Dynamic graph CNN for learning on point clouds

[J]. ACM Transactions on Graphics, 2019, 38 (5): 1- 12

[本文引用: 1]

ZHAO H, JIANG L, JIA J, et al. Point transformer [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2022: 16239–16248.

[本文引用: 1]

MA X, QIN C, YOU H, et al. Rethinking network design and local geometry in point cloud: a simple residual MLP framework [EB/OL]. (2022–11–29) [2025–11–30]. https://arxiv.org/abs/2202.07123.

[本文引用: 1]

国家质量监督检验检疫总局, 中国国家标准化管理委员会. 中国造船质量标准: GB/T 34000—2016 [S]. 北京: 中国标准出版社, 2017.

[本文引用: 1]

/