浙江大学学报(理学版), 2023, 50(6): 736-744 doi: 10.3785/j.issn.1008-9497.2023.06.008

第26届全国计算机辅助设计与图形学学术会议专题

广义无监督函数映射学习的三维形状密集对应方法

窦丰,,, 马会文, 谢昕洋, 杨万文, 石雪, 韩丽, 林彬,,

辽宁师范大学 计算机与人工智能学院,辽宁 大连 116081

Unsupervised generalized functional map learning for arbitrary 3D shape dense correspondence

DOU Feng,,, MA Huiwen, XIE Xinyang, YANG Wanwen, SHI Xue, HAN Li, LIN Bin,,

School of Computing and Artificial Intelligence,Liaoning Normal University,Dalian 116081,Liaoning Province,China

通讯作者: ORCID:https://orcid.org/0009-0000-7485-3557,E-mail:13998561021@163.com.

收稿日期: 2023-06-12   修回日期: 2023-07-17   接受日期: 2023-07-26  

基金资助: 辽宁省科技厅应用基础研究计划项目.  2023JH2/101300190

Received: 2023-06-12   Revised: 2023-07-17   Accepted: 2023-07-26  

作者简介 About authors

窦丰(1998—),ORCID:https://orcid.org/0009-0005-8491-5850,女,硕士研究生,主要从事计算机图形学研究,E-mail:fengdou_df@163.com. , E-mail:fengdou_df@163.com

摘要

提出了一种新颖的广义无监督函数映射学习的三维形状密集对应方法。首先,基于多层感知器(multilayer perceptron,MLP)和残差网络,直接学习深度点特征。其次,计算点云的近似测地线距离,并对其进行特征分解,建立特征嵌入空间,引入注意力机制,有效学习广义基函数表示。再次,结合点特征与广义基函数生成三维形状的深度特征表示。最后,建立无监督的函数映射网络框架,获取形状之间的密集对应表示。提出的三元正则优化机制,联合重构损失、特征损失和形状匹配的距离损失,在特征域和空间域上有效提升了学习性能及形状对应的精度。实验结果表明,广义基函数表示与无监督函数映射学习机制适用于任意三维形状,突破了现有方法只适用于连续二维流形的局限,在任意三维形状匹配中取得了更优的性能。

关键词: 无监督学习 ; 形状对应 ; 函数映射 ; 深度学习

Abstract

This paper proposes a novel dense correspondence method based on generalized unsupervised learning. First, multilayer perceptron (MLP) and residual network are constructed to learn deep point features. Secondly, the approximate geodesic distance of the point cloud is calculated and a feature embedding space is established through feature decomposition. By employing the attention mechanism, it effectively learns the generalized basis function representation. Furthermore, the proposed method combines point features with generalized basis function to generate deep feature representations of 3D shapes. Finally, an unsupervised function mapping network is constructed to obtain dense corresponding representations between shapes. We also propose a tri-regularization mechanism that combines reconstruction loss, descriptor loss, and distance loss for shape matching, effectively improving learning performance and shape corresponding accuracy from the feature and spatial domains. Extensive experimental results have shown that the generalized basis function representation and unsupervised functional map learning mechanism are suitable for arbitrary 3D shapes, breaking through the limitations of previous methods on continuous 2D manifolds, it achieves better performance in arbitrary 3D shape matching.

Keywords: unsupervised learning ; shape correspondence ; functional maps ; deep learning

PDF (1685KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

窦丰, 马会文, 谢昕洋, 杨万文, 石雪, 韩丽, 林彬. 广义无监督函数映射学习的三维形状密集对应方法. 浙江大学学报(理学版)[J], 2023, 50(6): 736-744 doi:10.3785/j.issn.1008-9497.2023.06.008

DOU Feng, MA Huiwen, XIE Xinyang, YANG Wanwen, SHI Xue, HAN Li, LIN Bin. Unsupervised generalized functional map learning for arbitrary 3D shape dense correspondence. Journal of Zhejiang University(Science Edition)[J], 2023, 50(6): 736-744 doi:10.3785/j.issn.1008-9497.2023.06.008

三维模型匹配是计算机图形学和几何处理的重要内容,在合成建模、形状检索、跨形状纹理映射、分割等应用中处于关键环节。目前的三维模型匹配方法可大致分为:基于特征相似度的方法1-4、基于刚性与非刚性对齐5-8的方法以及基于神经网络学习9-12的方法。然而,现有的方法或局限于特定的数据集及应用,或无法实现密集的形状对应。随着传感技术、三维建模技术的迅猛发展,大规模三维形状的智能分析与形状对应方法研究逐渐成为技术攻关的重要课题之一。

近年来,通过引入函数映射(functional maps,FM)理论,提出了若干函数映射学习的三维模型匹配方法,将形状之间的密集对应表示为定义在形状上的基函数的小型矩阵,有效提高了三维模型的匹配效果。

函数映射方法最早由OVSJANIKOV等13提出,用于解决非刚性形状匹配问题,通过为每个形状在基函数空间选择一个多尺度基进行实值函数映射,因其核心是线性求解,故未能获得形状上的点级映射。EMANUELE等14提出了概率模型方法,从函数对应关系中恢复了点级映射。KOVNATSKY等15提出,将软映射作为点对应的概率分布,实现了几何数据的补全,其在稀疏数据中具有明显优势,而且依赖于输入中形状的特定顺序。NOGNENG等16提出了联合求解映射及其逆对应关系,提高了映射的准确性。然而,上述方法均依赖于描述符的初始选择,人工设计的描述符往往存在噪声及非刚性变形等问题。

DONATI等17-18引入了学习框架,突破了人工设计描述符的局限。基于残差网络对方向直方图特征(SHOT)描述符进行学习并投影至特征基,进而利用函数映射获得形状之间的密集对应关系,但需要真实对应标签,而获得形状之间的真实对应数据需烦琐耗时的手工操作或采用特殊的捕获工具。HALIMI等19提出了基于无监督的深度学习框架,在训练过程中,用测地线距离矩阵计算距离失真并将其作为损失,不依赖真实对应的标签,但测地线距离的计算成本昂贵,且不适用于大部分形状。ROUFOSSE等20提出了双射性、正交性、交换性和描述符一致性4个正则化项,并对其进行优化,但该方法仅适用于具有几何连通结构的数据。

形状对应方法虽然取得了显著成果,但现有成果或局限于模糊的稀疏对应,或仅适用于具有几何连通结构的三维模型,无法推广应用于异构非连通的形状密集对应。而且,基于深度学习的形状对应方法往往需要大量的训练数据,由于公开的三维数据集有限,研究通用的无监督学习的三维形状对应方法已成为亟待解决的问题。

首先,基于函数映射理论,提出无监督函数映射学习的形状密集对应方法,突破了现有方法局限于连通模型的约束,构建广义基函数学习机制,学习点的近似测地线距离,通过特征分解与重构损失约束获得各类形状的广义特征基表示。其次,基于残差网络(residual network,ResNet)学习的点深度特征,与广义特征基相结合,构建鲁棒的三维形状描述符,有效提高三维形状特征的区分性与稳定性。最后,设计优化的联合目标函数,基于特征域和空间域进行损失约束,利用函数映射学习框架,实现高效的无监督三维形状密集对应学习。

1 函数映射的形状对应

三维形状XY之间的对应关系可定义为π:XY,满足

dX(x1,x2)=dY(π(x1),π(x2))

其中,x1,x2XdX(x1,x2)表示点云Xx1,x2之间的距离,dY(,)表示根据对应关系π映射后得到的形状Y对应点y1,y2Y之间的距离。因此,形状对应问题其实是寻找π的最优值,其满足最小化的距离失真:

F(π) =x1,x2X[dX(x1,x2) -dY(π(x1),π(x2))]2

函数映射方法13有效地避免了逐点操作,将点的对应关系π转换为求解曲面之间的传输函数。

F(X)F(Y)分别为形状XY上的实值函数空间,则可通过线性操作符T:F(X)F(Y)识别形状之间的对应关系。线性操作符T可用矩阵 C 表示:

Tf=ij1ϕi,fXCjiφj

其中,Cji=φj,TϕiY{ϕi}i1{φj}j1分别为F(X)F(Y)的正交基。针对连通网格模型,函数映射方法通常用拉普拉斯-贝尔特拉米算子作为特征基。可通过优化求解获取矩阵Copt

Copt=argminC12(Edecs(C12)+αEreg(C12)),

其中,Edecs(C12)=C12A1-A22,表示对描述符施加约束,A1A2分别为形状XY的描述符;Ereg(C12)=C12Λ1-Λ2C122,为通过促进其整体结构属性的正确性正则化映射,Λ1,Λ2分别为两个形状上特征值的对角矩阵。

通过软映射或近邻搜索等方法将函数映射 C 转换为点对点映射。但由于该方法需求解拉普拉斯-贝尔特拉米算子,且依赖初始的描述符输入,如SHOT描述符、热核等,仅适用于连通形状的非刚性变化,不具备广泛性。

为缓解对初始描述符的依赖,提出了从数据中学习最优描述符的方法17-20。DeepFM18将深度学习与函数映射相结合,在训练中将预处理的SHOT描述符输入残差网络,并用全连接层进行处理,得到相同维数的深度特征表示并投影至特征基,以最小化距离失真误差为优化目标,通过函数映射获得形状之间的密集对应关系:

min(X,Y)trainlosss(soft(Copt),GT(X,Y)),
Copt=argminCCAT(D1)-AT(D2),

其中,T是非线性变换,输入的描述符函数通过训练形成细化的描述符TD1)和TD2),分别投影至特征基构建形状特征表示AT(D1)AT(D2)。losss是软误差损失,为通过函数映射计算的软映射soft( Copt)与真实映射GTX,Y之间的偏差。DeepFM主要用于学习描述符的转换T,使得转换的描述符TD1)和TD2)在函数映射中得到的软映射尽可能接近已知的真实对应。

然而,此类方法仍然局限于特定输入的形状描述符,如SHOT,而且依赖于大量标注的训练数据集,无法实现高效的形状分析与匹配。

本文在现有函数映射学习基础上,提出了广义无监督函数映射学习的形状对应方法。面向任意三维形状,学习近似测地线距离,构建广义基函数表示。基于残差网络,从原始点云中直接学习点特征,投影至广义特征基,构建具有区分性的形状特征表示。进而,建立联合目标优化函数,通过重构损失、距离损失、描述符一致性等进行空间域与特征域的联合优化,有效提高任意三维形状密集对应的效率和精度。

2 广义函数映射学习的形状密集对应方法

针对现有的函数映射方法局限于具有拓扑连通性的二维流形,且无法拓展至用点云表示的任意三维形状等问题,提出了基于近似测地线距离学习的广义基函数方法,运用Floyd算法近似估计测地线距离,构建三维形状的特征表示空间,并通过重构损失约束,学习各类三维形状的广义特征基函数。

对点特征与广义特征基函数进行特征映射,生成鲁棒的形状描述符。通过函数映射学习和三元正则化机制,对空间域与特征域进行联合优化,高效实现任意三维点云的形状密集对应。

2.1 点云的近似测地线距离

Floyd算法21是一种经典的动态规则算法,可以在离散的点云上估计近似测地线距离,有效表示三维模型的内在几何细节。

设任意3D模型为XijRn×3,其中i为输入三维模型的数量,j为3D点云模型的点数,dfXi1,Xi2表示模型中任意顶点Xi1Xi2的最短路径。

首先,初始化Xi1Xi2的欧氏距离deXi1,Xi2。其次,通过迭代判断,构建经过若干个顶点k到顶点Xi2的最短路径df

df=mindeXi1,Xi2,deXi1,k+dek,Xi2

遍历所有顶点,将点对之间的最短路径定义为两点的近似测地线距离。

2.2 广义特征基函数

基于计算的近似测地线距离矩阵 Df,引入特征分解模块,将三维形状映射至统一的特征空间,揭示其内蕴结构的一致性,构建特征基表示:

Dfφ=iφiλ

其中,λ为特征值,φ1,φ2,,φn为特征向量,即模型的特征基,一对匹配模型的特征基可表示为φii1φjj1

为有效揭示模型的广义特征基,在网络中构建了注意力学习机制。以同一类别的小批量训练样本Xi=1,2,,m为输入,用注意力层评估训练形状Xi 的特征基φi的权重,并用相应的权重wi 更新其特征基。

首先,对计算的特征基进行非线性转换。然后,使用共享的注意力向量和tanh函数获取权重:

wφi=qTtanhwφiT+b

其中,b为偏置,wφi来自注意力的输出。再次,采用Softmax函数归一化wφi,以表达不同模型的特征基权重。最后,通过归一化的权重值wφi更新特征基,输出该批量形状的广义特征基φiRn×K,在实验中,选取前120个特征(K=120)作为三维形状的特征基表示:

φi=wφiφi

在正则化机制中,为优化权重参数wφi,引入重构损失Er

Er=mini=1mXi-wiφiφiTXi22

利用近似测地线距离学习广义特征基,适用于任意复杂结构的三维模型,突破了以往局限于几何连通模型的缺点。

图1所示,分别基于欧氏距离矩阵与近似测地线距离矩阵进行特征分解,构建特征基表示,并选取前100个特征向量进行模型重构。通过对比发现,采用本文方法得到的特征基有效揭示了模型的局部细节与全局结构,无论是连通网格模型还是点云模型均表现出较强的描述性能与重构性能。

图1

图1   对比不同特征基的模型重构

Fig.1   Compare the reconstruction of different feature bases


2.3 基于广义函数映射学习的形状对应

基于深度函数映射18中FMNet的思想,以三维模型原始点云为输入信息,通过广义特征基学习与点的深度特征学习,构建形状特征表示;通过函数映射框架和联合优化目标函数计算两个形状之间的软映射 C 以及两个形状之间的对应概率分布P

网络整体架构如图2所示,深度点特征学习网络与广义基函数学习网络并行。首先,以输入的两个模型XY为例,用多层感知器(multilayer perceptron,MLP)分别提取三维模型的初始点特征MRN×DN为顶点数,D为初始特征的维数);通过构建的7层残差网络(每个残差层包括两个全连接层、两个规范化以及激活函数)输出相同维数的深度特征描述符F,GRN×EE为点特征的维数)。其次,通过并行网络计算模型的近似测地线距离,并对其进行特征分解获得基函数φψ,将学习到的深度特征描述符分别投影至特征基,构建三维模型的深度特征表示:

F^=ϕT°F,G^=φT°G,

其中,F^RK×EG^RK×EK是特征基的维数)。再次,输入函数映射层FM-Net,通过最小二乘法求解,计算模型间的函数映射矩阵CRK×K,即模型XY之间的密集对应关系:

G^=CF^,
minCCF^-G^F2

最后,将函数映射矩阵 C 转换为软映射PRNX×NY

P=φYCϕXTA,

其中, A 为源形状的质量矩阵。通过Q=PP将软映射矩阵转换为匹配概率分布, Q 的第i行第jQij 表示源形状的第i个顶点对应目标形状的第j个顶点的概率。

图2

图2   网络框架

Fig.2   Network framework


图3为基于ModelNet10与SHREC2016数据集中的两组模型所获得的密集形状对应结果。可见,本文方法对任意三维形状以及残缺模型具有极强的稳定性。

图3

图3   任意三维形状的密集对应

Fig.3   Dense correspondence of arbitrary 3D shapes


2.4 无监督网络优化学习

与充足的图像数据资源不同,目前公开的三维数据集十分有限,而且三维形状的标注更复杂,需要更多的人力、物力。因此,提出端到端的无监督学习框架。

在学习中,通过设计三元正则化机制(TriReg,用E表示),优化描述符、广义特征基、函数映射表示:

E=w1Er+w2Ef+w3Ed

其中,Er 为重构损失,Ef 为描述符损失,Ed 为距离损失。引入TriReg机制可有效促进无监督学习过程,不仅确保了构造的广义基函数具有强大的表示和辨别能力,还可以有效优化函数映射,进而获得准确的形状对应关系。

2.4.1 重构损失

采用近似测地线距离及对其特征分解计算初始特征基,并通过注意力机制学习权重获得广义特征基表示。在网络迭代过程中,为了保证特征基的质量,遵循重构误差约束的思想,利用优化后的特征基重构原始模型的点云坐标,使得重构损失最小化,获得鲁棒的广义特征基表示:

Er=minX-X*+Y-Y*22
X*=φXφX+XY*=ϕYϕY+Y

其中,XY是原始3D模型,φXϕY是学习的特征基,φX+φY+是特征基的伪逆表示,X*Y*表示由优化后的特征基重构的模型坐标,即通过特征基重构后的点云坐标。通过最小化原始3D点云模型与重构后的模型之间的误差来执行全局结构保存。

2.4.2 描述符损失

FMNet18先将SHOT点特征投影至拉普拉斯特征基,构造形状描述符,再经由函数映射框架计算形状的密集对应关系。本文方法先通过MLP直接从输入点云中提取352维特征作为初始特征,再将其输入残差网络,输出具有相同维度的深度点特征 FG。为有效改善点特征的表示能力,引入SURFMNet20中基于函数点态积的方法,构建形状描述符,并施加描述符一致性约束,即

Ef=Fi,GiCMFi-MGiC2

其中,MFi=φX+DiagFiφX, MGi=φY+DiagGiφYFG 分别为原始模型与目标模型的深度点特征,DiagFiFi 的对角矩阵,+表示伪逆矩阵。Ef 对于函数映射是可微的,通过梯度反向传播,不仅可以优化深度点特征( FG ),而且可以惩罚函数映射φXϕY的结构属性。

2.4.3 距离损失

通常,原始模型上两个顶点之间的距离经正确匹配后,应该保持目标模型上对应点之间的距离相似性,因此进一步对空间域的点对映射应用近似测地线距离失真惩罚。

P为软映射层的输出,则Q=PP将函数映射得到的形状之间的密集对应关系转换为概率分布。矩阵 QTDYQ 中的元素表示原始模型X上的顶点,经正确匹配后,对应目标模型Y上的距离为

QTDYQji=m,npmi2pnj2dYm,n

其中,dYDY的集合。

近似测地线距离损失为

Ed=min1X2DX-QTDYQF2+1Y2DY-QTDXQF2

其中, DXDY 表示原始模型和目标模型上的近似测地线距离矩阵。

3 实 验

以FMNet18为基础框架,用TensorFlow22构建广义函数映射学习的形状对应网络。网络学习模型直接从原始点云数据中学习广义特征基和深度点特征,无需预处理。

首先,通过FPS最远点采样获得n个采样点,并经由MLP层和残差网络层学习,提取维数为352的深度点特征FRn×352;然后,计算各个模型的近似测地线距离并进行特征分解,获得模型的特征基表示,经由注意力机制学习特征基权重;最后,生成广义特征基表示。截取前120个特征向量作为特征表达φRn×120。在学习优化过程中,设置3个权重,并分别赋予不同的损失函数(w1=10-5w2=10-3w3=1),从空间域和特征域进行损失约束。整体网络迭代次数为3 000。使用Adam优化器22,学习率设置为0.001,从而获得优化的特征基以及最优的形状特征表示。在测试中,一对模型的平均测试运行时间为0.02 s,相较FMNet18的0.25 s提高了近10倍。

分别用ModelNet10、ModelNet40、SHREC2011、SHREC2015、SHREC2016标准数据集进行形状匹配测试。

3.1 特征基的对比分析

针对点云与不连通网格模型,提出基于近似测地线距离的广义基函数学习方法,广义基函数有效揭示了任意形状的内蕴几何结构。为验证其有效性,采用相同的数据集,对比分析基于欧氏距离、马氏距离、近似测地线距离3类特征基的重构误差。

在实验中,针对同一数据集,建立不同的距离矩阵,并进行特征分解,统一提取其前120个特征向量构建特征表示,并通过相同数量的样本训练,获取广义基函数表示。利用重构误差进行有效度量和优化。

表1所示,以SHREC2011和ModelNet10数据集为例,计算重构误差,对3种特征向量进行重构(截取前120维特征向量)。基于近似测地线距离的广义基函数重构误差最小,重构性最佳,基于马氏距离的重构性能介于欧式距离与近似测地线距离之间。

表1   不同特征基的重构误差

Table 1  Reconstruction errors of different feature bases

数据集重构误差
欧氏距离马氏距离近似测地线距离
SHREC20110.0890.0680.032
ModelNet102.11212.320.358

新窗口打开| 下载CSV


3.2 注意力机制

注意力机制可度量训练样本对于执行下游任务的权重,从而优化更新特征基,形成广义特征表示,有效提升特征表示的鲁棒性与区分性。广义特征基表示来自一类样本数据的训练。实验对比分析了引入注意力机制前后的形状对应性能,结果如图4所示。可见,加入注意力层后,特征基表示能力增强,形状细节匹配效果更显著,如狗的腿部以及飞机的机翼。

图4

图4   引入注意力机制前后的对应形状

Fig.4   The shape of corresponds before and after adding attention mechanism


3.3 残缺和任意模型的形状对应

首先,在SHREC2016数据集上验证可变形模型的部分匹配。以狗模型为例,对比本文方法与FMNet18方法基于近似测地线距离矩阵获得的对应关系。如图5所示,FMNet方法狗腿部出现错误匹配,由于拉普拉斯谱特征的选择,不可避免会产生特征翻转问题。本文方法对残缺模型的重构表现出较稳定的性能,不论是非刚性变形还是局部残缺,都取得了较好的对应效果。

图5

图5   残缺模型的密集对应

Fig.5   Intensive correspondence of incomplete models


然后,使用ModelNet10、ModelNet40数据集验证非连通模型的匹配效果。ModelNet10、ModelNet40数据集分别含10类和40类三维模型,属于刚性且非连通模型。

图6所示,第1列和第3列是源模型,第2列和第4列是目标模型。可见,无论成对模型具有不同的拓扑结构还是不同的几何细节,两个形状都可以实现可传递的密集对应关系。通过无监督函数映射学习,可以获得任意形状具有区分性的特征基与形状特征表示,在密集对应中具有普适性与显著性。

图6

图6   非连通模型匹配可视化

Fig.6   Unconnected model matching visualization


3.4 与先进算法的比较

利用近似测地线距离失真、描述符损失、重构损失作为无监督学习的目标函数,有效学习任意形状的特征表示以及形状对应关系。

与有监督学习方法FMNet18、DGFM17、GCNN23、3D-CODED24以及无监督学习方法Unsup FMNet19、Heat25、SURFMNet20、CorrNet26、PMF2728等进行比较。

FM匹配准确性在很大程度上取决于描述符。FMNet基于有监督损失学习描述符转换,但依赖于输入的SHOT特征,测地线距离矩阵计算成本较高。DGFM17通过学习形状的几何特征缓解对初始特征描述符的依赖,并以地面真实函数映射与计算值之间的差异作为光谱损失的基础,然而该方法仅适用于等距变形形状,需预计算拉普拉斯矩阵的特征基。GCNN23提供了基于局部形状参数化的有监督的形状特征描述符学习。3D-CODED24是一种空间领域的学习方法,依赖于一个模板,需要大量的训练数据,因此在不同的数据集上,该方法泛化性较差。

无监督学习方法消除了对地面真实对应标签的依赖,Unsup FMNet19使用测地线距离矩阵作为解决方案,无需标签。Heat25使用热核实现无监督的密集形状对应。SURFMNet20通过双层优化在函数映射上强制执行结构属性,然而这些方法仍依赖于输入特征。CorrNet26通过类似变形重建的方式驱动学习三维形状之间的密集对应关系,以满足地面真实对应标签数据的需要,但不适用于3D人造对象。PMF Gauss27利用高斯核的积流形滤波,将对应计算作为基空间中的核密度估计问题,引入积流形滤波器得到光滑对应。PMF Heat28采用热核全自动的方法。通常,无监督学习方法可以提高点对应的质量,但往往依赖于几何连通结构模型,不具通用性。

本文提供了一个端到端的无监督学习网络,适用于等距或非等距变换的三维形状以及点云表示的三维模型。利用残差网络细化MLP特征,直接从原始数据中获得深度点特征,并通过近似测地线距离特征分解计算基函数,在网络训练中,迭代学习广义特征基表示,生成的形状描述符具有较强的鲁棒性和区分性。本文提出的学习网络联合近似测地线距离失真、重构损失、描述符一致性作为损失目标函数,不仅有效提升了学习性能,而且增强了特征表示的区分性,从而得到较优的匹配效果。

表2总结了不同方法在SHREC2011数据集上的形状对应精度。可知,本文方法相对于大多数有监督学习模式的方法具有较明显优势。在有监督学习模式下,本文方法的精度略低于GCNN,GCNN主要采用二维流形的测地线距离构建特征描述符,但其仅适用于连续曲面,而非任意三维形状。在无监督学习模式下,本文方法较SURFMNet方法的精度提高了0.2%,有效地将函数映射学习拓展至任意三维数据集。

表2   不同方法在SHREC2011数据集上的形状对应性能

Table 2  The shape of different methods corresponds to the performance

学习模式方法精度/%
有监督学习FMNet70.93
DGFM85.06
GCNN93.82
3D-CODED73.45
本文方法98.54
无监督学习Unsup FMNet40.08
Heat49.33
SURFMNet98.32
CorrNet45.56
PMF Gauss92.85
PMF Heat94.55
本文方法88.20

新窗口打开| 下载CSV


4 结 语

面向结构复杂、形式多样的三维形状匹配需求,提出了一种具有通用性的无监督三维形状密集对应学习方法,不仅适用于连通网格模型,而且适用于点云模型以及残缺模型。提出了基于近似测地线距离的广义基函数学习方法,实验表明其不仅具有良好的重构性,而且生成的形状特征表示更具区分性。应用三元正则化机制,实施了空域与特征域惩罚,有效提升了无监督学习的效率,在形状匹配上具有更优的性能。

未来将在点学习上尝试其他特征提取器,如DiffusionNet29,并进一步探索函数映射的惩罚。

http://dx.doi.org/10.3785/j.issn.1008-9497.2023.06.008

参考文献

HUANG Q XZHANG G XGAO Let al.

An optimization approach for extracting and encoding consistent maps in a shape collection

[J]. ACM Transactions on Graphics, 2012316): 1-11. DOI:10.1145/2366145.2366186

[本文引用: 1]

KIM V GLI WMITRA N Jet al.

Exploring collections of 3D models using fuzzy correspondences

[J]. ACM Transactions on Graphics, 2012314):1-11. DOI:10.1145/2185520.2185550

HUANG Q XGUIBAS L.

Consistent shape maps via semi definite programming

[J]. Computer Graphics Forum, 2013325): 177-186. doi:10.1111/cgf.12184

SAHILLIOĞLU YYEMEZ Y.

Multiple shape correspondence by dynamic programming

[J]. Computer Graphics Forum, 2015337): 121-130. DOI:10.1111/cgf.12480

[本文引用: 1]

SHTERN AKIMMEL R.

Spectral gradient fields embedding for nonrigid shape matching

[J]. Computer Vision and Image Understanding, 201514021-29. DOI:10.1016/j.cviu.2015.02.004

[本文引用: 1]

ALHASHIM IXU KZHUANG Yet al.

Deformation-driven topology-varying 3D shape correspondence

[J]. ACM Transactions on Graphics, 2015346): 1-13. DOI:10.1145/2816795.2818088

MARON HDYM NKEZURER Iet al.

Point registration via efficient convex relaxation

[J]. ACM Transactions on Graphics, 2016354): 7373. DOI:10.1145/2897824.2925913

DYKE R MLAI Y KROSIN P Let al.

Non-rigid registration under anisotropic deformations

[J]. Computer Aided Geometric Design, 201971142-156. DOI:10.1016/j.cagd.2019.04.014

[本文引用: 1]

LITMAN RBRONSTEIN A M.

Learning spectral descriptors for deformable shape correspondence

[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014361): 171-180. DOI:10.1109/TPAMI.2013.148

[本文引用: 1]

ZHOU TKRAHENBUHL PAUBRY Met al.

Learning dense correspondence via 3D-guided cycle consistency

[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las VegasIEEE2016117-126. DOI:10.1109/CVPR.2016.20

LIM IDIELEN ACAMPEN Met al.

A simple approach to intrinsic correspondence learning on unstructured 3D meshes

[C]// Proceedings of the European Conference on Computer Vision (ECCV). MunichSpringer-Verlag2018349-362. DOI:10.1007/978-3-030-11015-4_26

LIM IDIELEN ACAMPEN Met al.

A simple approach to intrinsic correspondence learning on unstructured 3D meshes

[C]// Proceedings of the European Conference on Computer Vision (ECCV). MunichSpringer-Verlag2018349-362. DOI:10.1007/978-3-030-11015-4_26

[本文引用: 1]

OVSJANIKOV MBEN-CHEN MSOLOMON Jet al.

Functional maps: A flexible representation of maps between shapes

[J]. ACM Transactions on Graphics, 2012314): 1-11. DOI:10.1145/2185520.2185526

[本文引用: 2]

RODOLÀ EMOELLER MCREMERS D.

Regularized pointwise map recovery from functional correspondence

[J]. Computer Graphics Forum, 2017367): 700-711. DOI:10.1111/cgf.13160

[本文引用: 1]

KOVNATSKY ABRONSTEIN M MBRESSON Xet al.

Functional correspondence by matrix completion

[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). BostonIEEE2015905-914. DOI:10.1109/CVPR.2015.7298692

[本文引用: 1]

NOGNENG DOVSJANIKOV M.

Informative descriptor preservation via commutativity for shape matching

[J]. Computer Graphics Forum, 2017362): 259-267. DOI:10.1111/cgf.13124

[本文引用: 1]

DONATI NSHARMA AOVSJANIKOV M.

Deep geometric functional maps: Robust feature learning for shape correspondence

[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CNPR). SeattleIEEE20208592-8601. DOI:10.1109/CVPR42600.2020.00862 .

[本文引用: 4]

LITANY OREMEZ TRODOLA Eet al.

Deep functional maps: Structured prediction for dense shape correspondence

[C]// Proceedings of the IEEE International Conference on Computer Vision(ICCV). VeniceIEEE20175659-5667. DOI:10.1109/ICCV.2017.603

[本文引用: 8]

HALIMI OLITANY ORODOLA E Ret al.

Unsupervised learning of dense shape correspondence

[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long BeachIEEE20194365-4374. DOI:10.1109/CVPR.2019.00450

[本文引用: 3]

ROUFOSSE J MSHARMA AOVSJANIKOV M.

Unsupervised deep learning for structured shape matching

[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). SeoulIEEE20191617-1627. DOI:10.1109/ICCV.2019. 00170

[本文引用: 5]

ROSEN K H. Discrete Mathematics and Its Applications[M]. 5th ed. New YorkMcGraw-Hill Science/Engineering/Math2003.

[本文引用: 1]

ABADI MAGARWAL ABARHAM Pet al.

TensorFlow: Large-scale Machine Learning on Heterogeneous Distributed Systems

[Z]. (2016-03-14). https://arxiv.org/abs/1603.04467.

[本文引用: 2]

MASCI JBOSCAINI DBRONSTEIN Met al.

Geodesic convolutional neural networks on riemannian manifolds

[C]// Proceedings of the IEEE International Conference on Computer Vision(ICCV). SantiagoIEEE201537-45. DOI:10. 1109/ICCVW.2015.112

[本文引用: 2]

GROUEIX TFISHER MKIM V Get al.

3D-coded: 3D correspondences by deep deformation

[C]// Proceedings of the European Conference on Computer Vision (ECCV). MunichSpringer2018230-246. DOI:10.1007/978-3-030-01216-8_15

[本文引用: 2]

AYGÜN MLÄHNER ZCREMERS D.

Unsupervised dense shape correspondence using heat kernels

[C]// 2020 International Conference on 3D Vision (3DV). FukuokaIEEE2020573-582. DOI:10.1109/3DV50981.2020.00067

[本文引用: 2]

ZENG Y MQIAN YZHU Z Yet al.

CorrNet3D: Unsupervised end-to-end learning of dense correspondence for 3D point clouds

[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). NashvilleIEEE20216048-6057. DOI:10.1109/CVPR46437.2021.00599

[本文引用: 2]

RODOLÀ ELÄHNER ZBRONSTEIN A Met al.

Functional maps representation on product manifolds

[J]. Computer Graphics Forum, 2019381): 678-689. DOI:10.1111/cgf.13598

[本文引用: 2]

VESTNER MLITMAN RRODOLA Eet al.

Product manifold filter: Non-rigid shape correspondence via kernel density estimation in the product space

[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). HonoluluIEEE20173327-3336. DOI:10.1109/CVPR.2017.707

[本文引用: 2]

SHARP NATTAIKI SCRANE Ket al.

DiffusionNet: Discretization agnostic learning on surfaces

[J]. ACM Transactions on Graphics, 2020413): 1-16. DOI:10.1145/3507905

[本文引用: 1]

/