浙江大学学报(工学版), 2022, 56(10): 1935-1947 doi: 10.3785/j.issn.1008-973X.2022.10.005

自动化技术、信息工程

无监督的三维模型簇对应关系协同计算

杨军,, 李金泰, 高志明

1. 兰州交通大学 电子与信息工程学院,甘肃 兰州 730070

2. 兰州交通大学 测绘与地理信息学院,甘肃 兰州 730070

Unsupervised co-calculation on correspondence of three-dimensional shape collections

YANG Jun,, LI Jin-tai, GAO Zhi-ming

1. School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China

2. Faculty of Geomatics, Lanzhou Jiaotong University, Lanzhou 730070, China

收稿日期: 2021-06-18  

基金资助: 国家自然科学基金资助项目(61862039, 42261067);甘肃省科技计划资助项目(20JR5RA429);2021年度中央引导地方科技发展资金资助项目(2021-51);兰州市人才创新创业资助项目(2020-RC-22);兰州交通大学天佑创新团队资助项目(TY202002);甘肃省教育厅优秀研究生“创新之星”资助项目(2021CXZX-614)

Received: 2021-06-18  

Fund supported: 国家自然科学基金资助项目(61862039,42261067);甘肃省科技计划资助项目(20JR5RA429);2021年度中央引导地方科技发展资金资助项目(2021-51);兰州市人才创新创业资助项目(2020-RC-22);兰州交通大学天佑创新团队资助项目(TY202002);甘肃省教育厅优秀研究生“创新之星”资助项目(2021CXZX-614)

作者简介 About authors

杨军(1973—),男,教授,博导,从事深度学习、计算机图形学、遥感图像解译等研究.orcid.org/0000-0001-6403-3408.E-mail:yangj@mail.lzjtu.cn , E-mail:yangj@mail.lzjtu.cn

摘要

针对近似等距的非刚性变换的三维模型簇对应关系计算准确率不高的问题,提出采用无监督的三维模型簇对应关系协同计算的新方法. 通过三维点云特征提取模块,获取将位置、细节信息更丰富的低维特征与语义信息更丰富的高维特征相融合后的特征. 在无监督深度函数映射模块中,将提取到的融合特征转换为谱描述符,计算函数映射矩阵,对该矩阵施加加权正则化约束项,得到最优的函数映射矩阵. 在模型簇对应关系协同计算模块中,结合循环一致性约束与函数映射理论,求解最优的目标函数,得到最优的模型簇对应关系. 实验结果表明,所提算法在FAUST、SCAPE和TOSCA 3个数据集上所构建的模型簇对应关系测地误差均小于目前主流方法,映射结果更加平滑,对应关系更加准确,具有良好的泛化能力.

关键词: 对应关系 ; 三维模型簇 ; 无监督学习 ; 深度函数映射 ; 循环一致性

Abstract

A new method of unsupervised collaborative calculation of the correspondence between the three-dimensional (3D) shape collections was proposed aiming at the problem that the calculation accuracy of the correspondence between the 3D shape collections of the near-isometric non-rigid was not high. The feature extraction module of the 3D point cloud was used to obtain the features after fusing low-dimensional features with richer location and detail information and high-dimensional features with richer semantic information. The extracted fusion features were converted into spectral descriptors in the unsupervised deep functional maps module, and the matrix of the functional map was calculated. The optimal function mapping matrix was obtained by applying weighted regularization constraints to the matrix. The optimal objective function was solved by combining the cycle-consistency constraint and functional maps theory in the shape collection correspondence cooperative calculation module in order to obtain the optimal shape collection correspondence. The experimental results showed that the geodesic errors of the 3D shape collection correspondence constructed by this algorithm on the FAUST, SCAPE and TOSCA datasets were smaller than the current commonly used methods. The mapping results are more smoother and the correspondence is more accurate, which has good generalization ability.

Keywords: shape correspondence ; three-dimensional shape collection ; unsupervised learning ; deep functional map ; cycle-consistency

PDF (3261KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

杨军, 李金泰, 高志明. 无监督的三维模型簇对应关系协同计算. 浙江大学学报(工学版)[J], 2022, 56(10): 1935-1947 doi:10.3785/j.issn.1008-973X.2022.10.005

YANG Jun, LI Jin-tai, GAO Zhi-ming. Unsupervised co-calculation on correspondence of three-dimensional shape collections. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(10): 1935-1947 doi:10.3785/j.issn.1008-973X.2022.10.005

近年来,随着越来越多的大型三维模型数据集变得可用,虚拟现实、地质勘探、三维打印等应用领域对三维模型的分析与处理需求呈井喷式增长. 其中,三维模型对应关系计算是对三维模型进行分析与处理的一项基本任务,如何快速、准确地构建三维模型之间的对应关系是相关研究领域亟待解决的研究热点及难点问题[1].

Besl等[2]提出经典的迭代最近点算法(iterative closest point, ICP),计算模型间对应关系. Ovsjanikov等[3]提出利用函数映射(functional maps, FM)算法计算模型间对应关系,提高了计算模型间对应关系的效率和准确率. 研究者在后续研究中不断拓展与探究,将函数映射框架应用在不同类型的对应关系计算问题上[4],加之近年来深度学习的不断发展,涌现出大量使用深度学习解决模型间对应关系计算的算法[5-8].

随着多样化的大型三维模型数据集合的陆续出现,相关研究领域对三维模型对应关系计算的需求从处理2个模型转移到同时处理多个模型间的对应关系. 在计算上,同时在多个模型之间构建有效的匹配比只匹配2个模型困难,这是因为对于多个模型间的映射须满足“循环一致性”的准则[9]. 对于该问题的研究,Huang等[10]提出优化方法,通过循环一致性约束,推理合成整个模型簇之间的函数映射关系. Huang等[11]提出结合函数映射理论与循环一致性约束的方法,计算大规模异构模型簇间的对应关系. Huang等[12]提出基于多尺度函数映射一致性的能量函数,有效提高了非刚性三维模型簇间一致映射关系的准确性.

联合分析与优化集合中的模型间对应关系可以改善单独计算成对模型间对应关系的准确率. 本文提出无监督三维模型簇对应关系协同计算的方法,结合三维点云模型所包含的特征信息,优化函数映射矩阵,协同计算三维模型簇对应关系,提高近似等距的非刚性变换的三维模型簇对应关系计算的准确率. 本文的主要创新点和贡献如下.

1)提出共享权重的三维点云特征提取网络,以获取更具鉴别力的特征.

2)在优化函数映射矩阵时,通过添加无监督加权正则化约束项获得更高质量的函数映射矩阵,计算出更准确的近似等距的非刚性变换的模型间对应关系.

3)结合函数映射理论与循环一致性约束,协同分析三维模型簇,提高对应关系计算的准确率.

1. 相关研究工作

目前,专注于解决2个模型间对应关系计算的研究日渐成熟. 在函数映射框架的基础上,Ren等[13]提出利用函数映射框架计算非刚性变换模型间对应关系的方法,通过添加连续性和方向性约束,获得高质量的函数映射关系. 杨军等[14]提出校准三维几何模型之间基矩阵的对应关系计算方法,将模型间对应关系的构建转化为由模型特征函数构建的基矩阵之间的校准运算. Wu等[15]针对非刚性三维残缺模型的对应关系问题,提出基于全频谱特征值对齐和上采样细化的三维模型部分函数映射新方法. Eisenberger等[16]提出计算非等距三维模型对应关系的新方法,将输入模型嵌入到内在光谱和外在几何坐标的乘积空间中,结合内在和外在特征信息并不断迭代,以得到精细化映射. Litany等[17]结合深度学习技术与函数映射理论,提出深度函数映射网络,将对应关系计算直接作为学习过程的一部分,通过任务驱动的特征描述符学习方式得到更准确、涵盖信息更全面的模型特征描述符. Halimi等[18]提出无监督深度函数映射网络,该方法用模型的几何约束代替模型间的真实对应关系,定义无监督损失函数,评估对应关系的准确性,减少对带标签数据的依赖. Donati等[19]提出新的基于学习的非刚性变换三维模型对应关系计算方法,该方法直接从原始模型中学习几何特征,显著提高了网络的泛化能力.

随着三维模型数据量的不断增多,如何利用大规模数据集合提供的多个模型的信息准确地计算三维模型簇的对应关系,是国内外相关研究领域的关键瓶颈问题. Huang等[20]提出新的凸优化框架,将循环一致性约束表示为半正定的解,但半正定规划对于映射关系的优化有所受限,无法得到准确的映射结果. Kim等[21]将模型联合划分为具有相似结构的簇,学习每个模型簇内基于部分可变形模型的形变方式,为具有相似模板的所有模型提供语义等价点之间的对应关系,但该方法依赖于初始模板的质量且当不同模型部件非常相似时会产生错误对应. Cosmo等[22]将模型簇对应关系的计算问题建模为计算整个模型集合的最小失真对应,该方法不需要模型对之间的初始映射作为输入,但依赖于模型对之间的测地距离,导致算法的计算复杂度偏高;该方法对带有孔洞的模型十分敏感,无法有效构建出模型簇准确的对应关系. 杨军等[23]提出基于迪杰斯特拉最远点采样、函数映射理论与循环一致性约束的计算三维模型簇的新方法,但该方法在计算函数映射矩阵时需要人工调参进行优化,导致算法的鲁棒性不佳. Bernard等[24]提出用于多模型对应关系计算的高阶投影幂迭代法,该算法将多模型匹配问题描述为同时解决具有二阶匹配分数的成对模型匹配问题,在计算复杂度和确保稳定的循环一致性约束方面都具有良好的表现,但该方法依赖于模型间初始映射的质量,导致算法的泛化能力不佳.

以上的传统算法往往需要良好的初始映射作为输入条件,若加入新的模型,则整个算法须重新计算. 随着深度学习技术的快速发展,研究者们提出基于深度学习的方法,解决模型簇对应关系的计算问题. Huang等[25]提出多标签半监督学习算法,用来计算模型簇的对应关系. 该算法将给定类别的大型模型集合作为输入,联合学习每个类的距离度量,以捕获类内潜在的几何相似性,但该方法要求输入模型皆为带标签的数据,且集合内的模型都属于同一类别. Fish等[26]建立对应关系网络,分析大型模型集合的对应关系. 该方法从模型集合中提取相似的模型对,估计模型的相似性和对应性,构建模型簇的对应关系,但该方法须对模型进行二维投影与分割,仅适用于具有铰接关节的人体模型. Huang 等[27]提出多映射同步方法,以异构三维模型簇为输入,输出一致的稠密成对模型间的映射关系. 该方法的关键是用基于张量的表示方法显式编码相关模型集合之间的映射,但该方法对非刚性变换的三维模型簇对应关系计算结果的准确率不高. Groueix等[28]提出深度表面变形的自监督方法,计算三维模型簇的稠密对应关系. 该方法利用参数预测网络来预测2个模型间的变形参数,利用循环一致性约束作为监督信号,预测有意义的对应,但该方法对应关系结果的准确性依赖于初始带标签的数据,构建的循环一致性损失可能会求解出次最优的模型簇对应关系.

为了提高三维模型簇对应关系准确率及算法的普适性,本文以实现高精度三维模型簇对应关系计算为主要研究目标,结合深度学习技术、循环一致性约束及函数映射理论,对三维模型簇的对应关系计算展开探索.

2. 理论基础

将模型建模为嵌入在 $ {{\bf{R}}^3} $中连通光滑紧致的二维黎曼流形 $ {M} $,流形 $ {M} $上的平方可积函数空间记为 $L^2({M})=\left\{f: {M} \rightarrow {{\bf{R}}}, \int_{{M}} f(x)^2 {\rm{d}} x < \infty\right\}$,其中dx是由黎曼度量诱导的面积元素. 模型间的空间几何关系表示为对应函数的流形内积 $\langle f, g\rangle_{{M}}=\int_{{M}} f(x) g(x) {\rm{d}} x$,其中与模型K相对应的模型N的函数空间表示为 $L^2(N)=\left\{g: N \rightarrow {\bf{R}} \mid\langle g, g\rangle_N<\infty\right\} $.$ {{{\Delta }}_{M}} $为任意函数 $f(x) \in {W^2}({M})$的拉普拉斯-贝尔特拉米算子,则 ${{{\Delta }}_{M}}f(x) = - {\rm{di}}{{\rm{v}}_{M}}\left( {{\nabla _{M}}f(x)} \right)$,其中 $ {\nabla _{M}} $${\rm{di}}{{\rm{v}}_{M}}$分别为模型的固有梯度与散度.

2.1. 模型簇对应关系表示及循环一致性约束

给定用三角网格表示的三维模型簇数据集 $ {{X}_1}, \cdots ,{{X}_k} $,第i个模型 $ {{X}_i} $由三维空间中mi个顶点构成, ${{{P}}_{st}}$为部分置换矩阵的集合,

$ {{P}_{st}}=\{{\boldsymbol{P}} \in {\{ 0,1\} ^{s \times t}}:\;{{\boldsymbol{P}}}{{{\bf{1}}}_t} \leqslant {{{\bf{1}}}_s},\;\;{{\bf{1}}}_s^ {\rm{T}} {{\boldsymbol{P}}} \leqslant {{\bf{1}}}_t^ {\rm{T}}\} . $

式中:P为由0、1构成的矩阵,st为任意2个非负整数, $ {{{\boldsymbol{1}}}_s} $$ {{{\boldsymbol{1}}}_t} $分别为元素全为1的s维列向量和t维列向量. 模型对 $ {{X}_i} $$ {{X}_j} $的顶点之间的对应关系可以用部分置换矩阵表示为 $ {{{\boldsymbol{P}}}_{ij}} \in {{P}_{{m_i}{m_j}}} $. 具体来讲,若 $ {{{\boldsymbol{P}}}_{ij}} $中位于(u, v)的元素值为1,则 $ {{X}_i} $的第u个顶点对应于 $ {{X}_j} $的第v个顶点,即所有成对模型的对应关系都满足对称性, $ {{{\boldsymbol{P}}}_{ij}} = {{\boldsymbol{P}}}_{ji}^ {\rm{T}} $.

$ {{{\boldsymbol{P}}}_{ii}} = {{{\boldsymbol{I}}}_{{m_i}}} $,其中 $ {{{\boldsymbol{I}}}_{{m_i}}} $为大小为mi的单位矩阵. 对于满足双射映射的对应关系,即 $ {{{\boldsymbol{P}}}_{ij}} $为全置换矩阵. 当式(1)中的不等式为等式时,对于所有 $ i,j,l \in \{ 1, \cdots ,k\} $的模型簇,循环一致性约束表示为

$ {{\boldsymbol{P}}_{ij}}{{\boldsymbol{P}}_{jl }} = {{\boldsymbol{P}}_{il }} . $

循环一致性是自然属性,它是模型间对应关系与真实对应关系相对应的必要条件. 在模型簇对应关系计算的问题中,循环一致性作为一种约束,能够更好地限制解空间. 如图1所示,图1(a)中狼模型、狗模型和牛模型的嘴部均能正确对应,满足循环一致性约束. 图1(c)中牛的腹部映射到了狼的右前脚,不满足循环一致性约束.

图 1

图 1   循环一致性约束

Fig.1   Cycle-consistency constraint


对于不满足双射映射的情况,Bernard等[24]使用模型到虚拟全局模型的对应,表示模型簇的对应关系. k个模型上所有不同点的并集称为虚拟全局点,用d表示虚拟全局点的总数,则k个模型上的每个点都与虚拟全局模型中的一个点相对应. k个模型上与同一虚拟全局点对应的所有点都是彼此对应的. 用 ${{\boldsymbol{P}}_i} \in {{P}_{{m_i}d}}$表示第i个模型与虚拟全局模型相对应的部分置换矩阵,每个具有 $ {m_i} $个点的目标模型被分配到一个虚拟全局点,则 $ {{\boldsymbol{P}}_i}{{\boldsymbol{1}}_d} = {{\boldsymbol{1}}_{{m_i}}} $,其中 $ {{\boldsymbol{1}}_d} $$ {{\boldsymbol{1}}_{{m_i}}} $分别为元素全为1的d维列向量和 $ {m_i} $维列向量. 每个模型到虚拟全局模型的对应关系可以通过下式得出:

$ {{\boldsymbol{P}}_{ij}} = {{\boldsymbol{P}}_i}{\boldsymbol{P}}_j^ {\rm{T}} . $

图1(d)所示,从模型 $ {{X}_i} $到模型 $ {{X}_j} $的对应可以表示为将模型 $ {{X}_i} $对应到虚拟全局模型,再从虚拟全局模型对应到模型 $ {{X}_j} $.

将所有的 $ {{\boldsymbol{P}}_i} $堆叠在矩阵块中,定义为

$ {\boldsymbol{U}} = {\left[ {{\boldsymbol{P}}_1^ {\rm{T}} ,{\boldsymbol{P}}_2^ {\rm{T}} , \cdots, {\boldsymbol{P}}_k^ {\rm{T}} } \right]^{\rm{ T}} }. $

式中: ${\boldsymbol{U}} \in {{\bf{R}}^{m \times d}}$,其中m为所有k个模型上的点的总数, $m=\displaystyle{\sum} _{i=1}^{k}{m}_{i}$. 对于分块的部分置换矩阵U,存在约束 ${{\boldsymbol{U}}} \in {P}$,即对于在U中的每个 $ {{{\boldsymbol{P}}}_i} $都有 $ {{{\boldsymbol{P}}}_i} \in {{P}_{{m_i}d}} $$ {{{\boldsymbol{P}}}_i}{{\boldsymbol{1}}_d} = {{{\boldsymbol{1}}}_{{m_i}}} $. 通过矩阵U表示模型簇的对应关系,计算出的模型间对应关系满足循环一致性约束.

2.2. 函数映射

函数映射将模型间对应关系的求解问题转换为在模型 $ {{X}_i} $$ {{X}_j} $上函数空间之间的线性映射 ${{{\boldsymbol{C}}}_{ij}}:{L^2}\left( {{{X}_i}} \right) \to {L^2}\left( {{{X}_j}} \right)$的求解问题. 定义模型 $ {{X}_i} $$ {{X}_j} $之间的映射关系为 $ T:{{X}_i} \to {{X}_j} $,分别用模型 $ {{X}_i} $$ {{X}_j} $的拉普拉斯-贝尔特拉米算子的前b个特征函数构建基函数 ${{{\boldsymbol{\varPhi}} }_i} \in {{\bf{R}}^{{m_i} \times b}},{{{\boldsymbol{\varPhi}} }_j} \in {{\bf{R}}^{{m_j} \times b}}$,任何函数 $ {{\boldsymbol{F}}}:{{X}_i} \to {\bf{R}} $$ {{\boldsymbol{G}}}:{{X}_j} \to {\bf{R}} $都可以表示为基函数的线性组合, ${{{\boldsymbol{C}}}_{ij}}$可以将由基函数 ${{{\boldsymbol{\varPhi}} }_i}$表示的函数F转化为基函数 ${{{\boldsymbol{\varPhi }}}_j}$表示的函数G,即

$ {\boldsymbol{C}}_{i j}\left(\boldsymbol{\varPhi}_i^{\dagger} \boldsymbol{F}\right)=\boldsymbol{\varPhi}_j^{\dagger} \boldsymbol{G} . $

式中: $ {\boldsymbol{\varPhi} }_{}^\dagger $$ {\boldsymbol{\varPhi} } $的摩尔-彭若斯广义逆. 将 ${\boldsymbol{\varPhi} }_i^\dagger {{\boldsymbol{F}}}$$ {\boldsymbol{\varPhi} }_j^\dagger {\boldsymbol G} $分别用矩阵AB表示,则函数映射矩阵C可以通过计算以下优化问题来得到:

$ \begin{split} \boldsymbol{C}&=\underset{\boldsymbol{C}_{X_i X_j}}{\arg \min }\; E_{\text {desc }}\left(\boldsymbol{C}_{{X}_i {X}_j}\right)+E_{{\rm{reg}}}\left(\boldsymbol{C}_{{X}_i {X}_j}\right)=\\ &\underset{\boldsymbol{C}_{X_i X_j}}{\arg \min }\;\left\|\boldsymbol{C}_{X_i {X}_j} \boldsymbol{A}-\boldsymbol{B}\right\|^2+\alpha\left\|\boldsymbol{\varLambda}_{{X}_j} \boldsymbol{C}_{X_i X_j}-\boldsymbol{C}_{{X}_i {X}_j} \boldsymbol{\varLambda}_{X_i}\right\|^2. \end{split} $

式中: ${E_{{\rm{desc}}}}\left( {{{{\boldsymbol{C}}}_{{{X}_i}{{X}_j}}}} \right)$为描述符保留项, ${E_{{\rm{reg}}}}({{{\boldsymbol{C}}}_{{{X}_i}{{X}_j}}})$为正则化项, $ {{{\boldsymbol{\varLambda}} }_{{{X}_i}}} $$ {{{\boldsymbol{\varLambda}} }_{{{X}_j}}} $分别为模型 $ {{X}_i} $和模型 $ {{X}_j} $的拉普拉斯-贝尔特拉米特征值的对角矩阵,α为正则化权重参数, $ {{{\boldsymbol{C}}}_{_{{{X}_i}{{X}_j}}}} $为从模型 $ {{X}_i} $$ {{X}_j} $的函数映射矩阵.

C具有所有 ${{{\boldsymbol{C}}}_{ij}}$所共有的性质,由于C具有线性性质,可以将C表示为矩阵,通过求解矩阵C构建两模型的映射关系T. 当C具有正交性时,函数映射的解可以达到局部最优,因此将正交性作为先验,将所有的C投影到正交矩阵的集合上,即

$ {O}_b=\left\{\boldsymbol{C} \in {\bf{R}}^{b \times b}: \boldsymbol{C} \boldsymbol{C}^{{\rm{T}}}=\boldsymbol{I}_b\right\}. $

为了对成对的函数映射 ${{{\boldsymbol{C}}}_{ij}}$施加循环一致性约束,定义每个模型 ${{X}_i}$到虚拟全局模型都存在函数映射 ${{{\boldsymbol{C}}}_i}$,通过组合每对模型的函数映射来实现循环一致性的约束,即

$ {\boldsymbol{C}}_{i j}={\boldsymbol{C}}_i {\boldsymbol{C}}_j^{{\rm{T}}} . $

式中: $ {{\boldsymbol{C}}}_j^ {\rm{T}} $为模型 $ {{X}_j} $与虚拟全局模型所存在的函数映射矩阵的转置矩阵.

将所有 $ {{{\boldsymbol{C}}}_i} $堆叠在kb×b维的矩阵块 $ {{\boldsymbol{Q}}} $中,即

$ \boldsymbol{Q}=\left[\boldsymbol{C}_1^{\rm{T}}, \boldsymbol{C}_2^{\rm{T}}, \cdots ,\boldsymbol{C}_k^{\rm{T}}\right]^{\rm{T}}. $

定义矩阵块 $ {{\boldsymbol{Q}}} $的正交性约束 $ {{\boldsymbol{Q}}} \in {O} $,其中每一个子矩阵 $ {{{\boldsymbol{C}}}_i} \in {{O}_b} $.

2.3. 深度函数映射

深度函数映射由Litany等[17]提出,该方法通过训练神经网络对描述符进行优化,解决谱域中的模型间对应关系问题. 具体来讲,通过神经网络学习每个点的新的局部特征来改进模型之间的函数映射矩阵C,使得全局映射更加准确. 该体系结构定义了模糊矩阵 $ {{{\boldsymbol{P}}}_{}} $$ {{P}_{ij}} $表示模型 $ {{X}_i} $与模型 $ {{X}_j} $对应的概率,损失函数 ${{L}_{{\text{sup}}}}({{X}_i},{{X}_j})$是基于相应的映射与真实对应关系之间的误差,即

${L}_{\text {sup }}\left({X}_i, {X}_j\right)=\frac{1}{\left|{X}_i\right|}\left\|\left(\boldsymbol{P} \circ\left(\boldsymbol{D}_{{X}_j} {{{\boldsymbol{\varPi } }}^ * }\right)\right)\right\|_{\rm{F}}^2. $

式中: $ |{{X}_i}| $为模型 $ {{X}_i} $的顶点个数,假设 $ |{{X}_i}| = n $$ |{{X}_j}| = m $,则 ${{\boldsymbol{\varPi } }^ * } \in {{\bf{R}}^{m \times n}}$表示模型 $ {{X}_i} $$ {{X}_j} $的真实对应关系; ${{{\boldsymbol{D}}}_{{{X}_j}}}$为模型 $ {{X}_j} $的测地距离矩阵; $ \circ $表示逐点乘积运算. 当且仅当 ${{P}_{ji}} = 1$时,损失为零.

3. 无监督动态图卷积循环一致函数映射网络

针对现有三维模型簇对应关系计算方法的不足,结合数据驱动技术、经典函数映射理论与循环一致性约束,构建无监督动态图卷积循环一致函数映射网络,计算三维模型簇的一致对应关系. 总体的网络框架如图2所示,主要由三维点云特征提取模块、无监督深度函数映射模块、模型簇对应关系协同计算模块3部分组成.

图 2

图 2   无监督动态图卷积循环一致函数映射网络框架

Fig.2   Unsupervised DGCNN cycle-consistency functional map network framework


无监督三维模型簇对应关系协同计算方法的具体实现步骤如下.

1)在点云特征提取模块中完成对输入模型的特征提取. 将一组三维点云模型输入到特征提取模块中,提取模型的旋转不变特征描述符. 将该特征描述符输入共享网络参数的动态图卷积全局与局部特征提取网络中,分别提取模型的全局与局部特征. 将局部特征与全局特征融合,以获取信息量更丰富的模型特征.

2)在无监督深度函数映射模块中,获得模型对之间的最优函数映射矩阵Copt. 将获得的特征输入无监督深度函数映射模块中,经过残差网络处理得到模型对的空间域描述符FG,将它们投影至各自的拉普拉斯特征基上,获得谱描述符 $ {{\hat {\boldsymbol{F}}}} $$ {{\hat {\boldsymbol{G}}}} $. 计算2个模型间的函数映射关系,通过最小二乘法计算函数映射矩阵C. 利用模型自身的几何性质设计加权结构正则化约束项,优化函数映射目标函数,获得最优函数映射矩阵Copt.

3)计算出最终的模型簇对应关系. 将得到的各模型对之间的最优函数映射矩阵Copt输入到模型簇对应关系协同计算模块中,求解出每个模型与虚拟全局模型的最优函数映射矩阵Ci,将其堆叠记为矩阵 $ {{\boldsymbol{Q}}} $. 将每个模型与虚拟全局模型的对应关系记为矩阵 $ {{\boldsymbol{U}}} $,通过不断迭代模型簇对应关系协同计算的目标函数,得到最终的模型簇对应关系.

3.1. 三维点云特征的提取模块

目前,点云作为最具代表性的三维数据,为刻画三维现实世界提供了最直接、有效的表达方式. 虽然三维点云模型是一组无序点集,但是每个点不是独立存在的. 为了探究相邻点之间相似的几何特征信息,Wang等[29-31]基于深度学习网络框架,对三维点云模型配准展开研究. 受该类方法的启发,为了建立点与点之间的关联性,更好地表征三维模型的特征信息,本文在DGCNN算法[29]的基础上,通过以下3个步骤实现特征提取网络自动学习、提取原始模型特征的过程.

1)从输入点云的欧氏坐标中提取旋转不变特征描述符. 对于三维点云模型 ${X} $,选定一个源点p,定义源点p指向欧几里得中心的向量为O,设a为源点p指向力的k近邻邻域Np内的欧氏中心的向量,x为源点p指向邻域内任意点的向量,计算x的局部和全局旋转不变特征描述符(rotation invariant, RI). 局部旋转不变特征描述符定义为

式中: $ \angle ({\boldsymbol{x-a}} ,-{\boldsymbol{a}} ) $为向量 $ {\boldsymbol{x-a}}$与向量 $-{\boldsymbol{a}}$的夹角. 全局旋转不变特征描述符定义为

聚合后的RI特征表示为

$ \begin{split} & {f_{{{N}_p}}}({\boldsymbol{x}}) = \\ &\left[ {{\alpha _{{\boldsymbol{xa}}p}},{\alpha _{{\boldsymbol{x}}p{\boldsymbol{a}}}},d({\boldsymbol{x}},{\boldsymbol{a}}),d({\boldsymbol{x}},p),} \right. {\left. {{\alpha _{{\boldsymbol{xO}}p}},{\alpha _{{\boldsymbol{x}}{\boldsymbol{O}}{\boldsymbol{a}}}},d({\boldsymbol{x}},{\boldsymbol{O}})} \right]} . \end{split} $

2)通过局部特征提取模块和全局特征提取模块,将模型的旋转不变特征描述符嵌入到高维的特征空间中. 对于具有N个点的模型 $ {X} $,经局部特征提取模块处理后的特征为 ${{\boldsymbol{h}}_{{\rm{loc}}}}({X}) \in {{\bf{R}}^{N \times {l_1}}}$,经全局特征提取模块处理后的特征为 ${{\boldsymbol{h}}_{{\rm{glob}}}}({X}) \in {{\bf{R}}^{{l_2}}}$,其中l1l2为网络的超参数.

3)对生成的全局和局部特征进行融合(global-local fusion, GLF). 将局部特征与全局特征进行拼接,生成特征 $ {{\boldsymbol{h}}_{{\rm{GL}}}} \in {{\bf{R}}^{N \times \left( {{l_1}+{l_2}} \right)}} $. 将特征 $ {{\boldsymbol{h}}_{{\rm{GL}}}} $经过一系列非线性层传播后,得到最终的特征 ${\hat {\boldsymbol{h}}_{X}} \in {{\bf{R}}^{N \times {l_3}}}$,其中l3 = l1 + l2.

3.2. 无监督深度函数映射模块

构建无监督深度函数映射模块的目的是获得最优的模型间函数映射矩阵Copt. 将提取到的特征输入到具有7个完全相同残差块的孪生残差网络中进行学习,得到增强后的空间域描述符. 将空间域描述符分别投影至各自拉普拉斯-贝尔特拉米特征基上,获得相应的谱描述符,利用式(6)计算成对模型间函数映射矩阵C.

Donati等[19]指出,当满足 $ {{\boldsymbol{CA}}}{{{\boldsymbol{A}}}^{\rm{T}}}+\lambda {{\boldsymbol{\varLambda}} } \cdot {{\boldsymbol{C}}} = {{\boldsymbol{B}}}{{{\boldsymbol{A}}}^{\rm{T}}} $时,式(6)会出现能量梯度消失的情况. 其中,“·”操作表示逐元素相乘, $ {{\varLambda }_{ij}} = {\left( {\eta _j^{{{X}_i}} - \eta _i^{{{X}_j}}} \right)^2} $,其中 $ \eta _l^{{{X}_i}} $$ \eta _l^{{{X}_j}} $分别为 $ {{{\boldsymbol{\varLambda}} }_{{{X}_i}}} $$ {{{\boldsymbol{\varLambda}} }_{{{X}_j}}} $的特征值,权重 $ \lambda $为0.01. Donati等[19]提出通过正则化约束E1,获取鲁棒性更强的函数映射矩阵C

$ {E_1} = \left\|\left[ {{{\boldsymbol{A}}}{{{\boldsymbol{A}}}^{\rm{T}}}+\lambda {\rm{diag}}\left( {{{\left( {\eta _j^{{{X}_i}} - \eta _i^N} \right)}^2}} \right)} \right]{{\boldsymbol{c}}_i^{\rm{T}}}{ - {\boldsymbol{A}}}{{\boldsymbol{b}}_i^{\rm{T}}}\right\|^2. $

式中:ci为矩阵C的行向量,bi为矩阵B的行向量.

为了解决先验知识不足和人工标注成本过高的问题,研究者们探究对模型自身的结构属性进行约束,以代替计算损失函数 ${{L}_{{\text{sup}}}}$. Ren等[32]提出拉普拉斯算子的交换性约束,通过将拉普拉斯算子与函数映射矩阵进行交换,确保模型之间近似等距. 该约束E2定义为

$ {E_2} = {\left\| {{{{\boldsymbol{C}}}_{{{X}_i}{{X}_j}}}{{{\boldsymbol{\varLambda}} }_{{{X}_i}}} - {{\boldsymbol{\varLambda} }_{{{X}_j}}}{{{\boldsymbol{C}}}_{{{X}_i}{{X}_j}}}} \right\|^2}+{\left\| {{{{\boldsymbol{C}}}_{{{{X}_j}}{{{X}_i}}}}{{\boldsymbol{\varLambda}}_{{{X}_j}}} - {{\boldsymbol{\varLambda}}_{{{X}_i}}}{{{\boldsymbol{C}}}_{{{X}_j}{{X}_i}}}} \right\|^2} . $

因已将正交性作为先验条件,该模块的最后一步操作通过对模型间函数映射矩阵C施加无监督加权正则化约束项,获取优化后的函数映射矩阵Copt. 无监督加权正则化约束项为

$ L{\text{ = }}{\gamma _{\text{1}}}{E_{\text{1}}}+{\gamma _{\text{2}}}{E_{\text{2}}} . $

约束项E1的权重 $ {\gamma _{\text{1}}} $设置为求解C时的函数能量约束,取为1. 约束项E2的权重 $ {\gamma _{\text{2}}} $依据其他文献的研究经验,设置几个初始值,经过多次定性和定量实验结果对比分析,将 $ {\gamma _{\text{2}}} $设置为0.001. 在实验中,测试其他权重取值时,测地误差的计算结果均大于当 $ {\gamma _{\text{1}}} $ = 1、 $ {\gamma _{\text{2}}} $ = 0.001时的情况.

无监督深度函数映射模块中所构建的网络利用模型的几何性质来代替标签,使用加权正则化约束项优化目标函数,以无监督的学习方式代替有监督的学习方式,在节省成本的同时,提高了网络模型的泛化能力.

3.3. 模型簇对应关系协同计算模块

模型簇对应关系协同计算模块将循环一致性约束融入函数映射理论中,构建模型簇对应关系协同计算目标函数,通过对目标函数进行求解,得到最优的模型簇对应关系.

目标函数定义为

$ \begin{split} f(\boldsymbol{U}, \boldsymbol{Q}) &=\sum_{i, j=1}^k<\boldsymbol{P}_i^{\rm{T}} \boldsymbol{\boldsymbol{\varPhi}}_i \boldsymbol{C}_i, \boldsymbol{P}_j^{\rm{T}} \boldsymbol{\boldsymbol{\varPhi}}_j {\boldsymbol{C}}_j>\;=\\ &<\boldsymbol{U}^{\rm{T}} \boldsymbol{\boldsymbol{\varPhi}} \boldsymbol{Q}, \boldsymbol{U}^{\rm{T}} \boldsymbol{\boldsymbol{\varPhi}} \boldsymbol{Q}>. \end{split} $

式中: ${{\boldsymbol{\varPhi}} } = {\rm{diag}}\;\left[ {{{\boldsymbol{\varPhi} }_1}, \cdots ,{{\boldsymbol{\varPhi}}_k}} \right] \in {{\bf{R}}^{m \times k}}$. 当目标函数最大化时,即

$ \max _{{\boldsymbol{U}}, {\boldsymbol{Q}}}\left\langle\boldsymbol{U}^{\top} \boldsymbol{\varPhi} \boldsymbol{Q}, \boldsymbol{U}^{\top} \boldsymbol{\varPhi} \boldsymbol{Q}\right\rangle .$

所有成对的ij对应的基函数 $ {{\boldsymbol{\varPhi} }_i} $$ {{\boldsymbol{\varPhi} }_j} $之间的内积被最大化,其中 $ {{\boldsymbol{U}}} \in {P},\;{{\boldsymbol{Q}}} \in {O} $. 为了达到这一目的, $ {{{\boldsymbol{P}}}_i} $$ {{{\boldsymbol{P}}}_j} $根据虚拟全局点置换顶点,CiCj由无监督深度函数映射模块计算得出的最优函数映射矩阵C计算得出,对其进行正交变换(见式(8)). 在相同的虚拟全局点上对齐基函数,式(15)求和项中的每一项可以表示为 $ {\rm{tr}}\left( {\left( {{{\boldsymbol{P}}}_i^ {\rm{T}} {{\boldsymbol{\varPhi} }_i}} \right){{{\boldsymbol{C}}}_i}{{\boldsymbol{C}}}_j^ {\rm{T}} {{\left( {{{\boldsymbol{P}}}_j^{\rm{T}} {{\boldsymbol{\varPhi} }_j}} \right)}^{\rm{T}}}} \right) $. 通过上述操作,满足模型簇循环一致性的约束.

为了计算最大化的目标函数,需要不断地迭代优化矩阵 $ {{\boldsymbol{U}}} $$ {{\boldsymbol{Q}}} $,分别用 $ {{{\boldsymbol{U}}}_t} $$ {{{\boldsymbol{Q}}}_t} $表示在迭代t处时的 $ {{\boldsymbol{U}}} $$ {{\boldsymbol{Q}}} $. 定义 ${{\boldsymbol{Z}}} = {{\boldsymbol{\varPhi}} }{{{\boldsymbol{Q}}}_t}{{\boldsymbol{Q}}}_t^ {\rm{T}} {{\boldsymbol{\varPhi} }^ {\rm{T}} }$,则 $ {{\boldsymbol{U}}} $的迭代可以表示为

$ \begin{gathered} {{{\boldsymbol{U}}}_{t+1}} = {\rm{pro}}{{\rm{j}}_{P}}\left( {{{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t}} \right) = \mathop {\arg \max }\limits_{{{\boldsymbol{U}}} \in {P}} \left\langle {{{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t},{{\boldsymbol{U}}}} \right\rangle = \\ \begin{array}{*{20}{c}} {}&{} \end{array} \left[ \begin{gathered} \mathop {\arg \max }\limits_{{{{\boldsymbol{P}}}_1} \in {{P}_{{m_1}d}}} \left\langle {{{\left[ {{{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t}} \right]}_1},{{{\boldsymbol{P}}}_1}} \right\rangle \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {}&{} \end{array}}&{}& \vdots \end{array} \\ \mathop {\mathop {\arg \max }\limits_{{{{\boldsymbol{P}}}_k} \in {{P}_{{m_k}d}}} \left\langle {{{\left[ {{{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t}} \right]}_k},{{{\boldsymbol{P}}}_k}} \right\rangle }\limits_{} \\ \end{gathered} \right]. \\ \end{gathered} $

式中: $ {\left[ {{{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t}} \right]_i} $为在 $ {{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t} $中第i个大小为 $ {m_i} \times d $的矩阵块, $ {{\rm{proj}}_{P}}\left( {{{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t}} \right) $$ {{\boldsymbol{Z}}}{{{\boldsymbol{U}}}_t} $在集合 $ {P} $上的欧几里得投影运算.

定义 $\bar{{\boldsymbol{Z}}}=\boldsymbol{\varPhi}^{\rm{T}} {\boldsymbol{U}}_{t+1} {\boldsymbol{U}}_{t+1}^{{\rm{T}}} \boldsymbol{\varPhi}$,则 ${{\boldsymbol{Q}}}$的迭代表示为

$ \begin{array}{l}{\boldsymbol{Q}}_{t+1}={{\rm{proj}}}_{{O}}\left(\stackrel{\text{—}}{{{\boldsymbol{Z}}}}{\boldsymbol{Q}}_{t}\right)=\underset{{\boldsymbol{Q}}\in {O}}{\mathrm{arg}\mathrm{max}}\;\langle \stackrel{\text{—}}{\boldsymbol{Z}}{\boldsymbol{Q}}_{t},{\boldsymbol{Q}}\rangle =\\ \begin{array}{cc}& \end{array}\left[\begin{array}{l}\underset{{\boldsymbol{C}}_{1}\in {O_{b}}_{}}{\mathrm{arg}\mathrm{max}}\;\langle {\left[\stackrel{\text{—}}{\boldsymbol{Z}}{\boldsymbol{Q}}_{t}\right]}_{1},{\boldsymbol{C}}_{1}\rangle \\ \begin{array}{ccc}\begin{array}{cc}& \end{array}& & ⋮\end{array}\\ \underset{}{\underset{{\boldsymbol{C}}_{k}\in {O_{b}}_{}}{\mathrm{arg}\mathrm{max}}\;\langle {\left[\stackrel{\text{—}}{\boldsymbol{Z}}{\boldsymbol{Q}}_{t}\right]}_{k},{\boldsymbol{C}}_{k}\rangle }\end{array}\right].\end{array} $

式中: $\left[\overline{\boldsymbol{Z}} \boldsymbol{Q}_t\right]_i $为在 $\bar{{\boldsymbol{Z}}} {\boldsymbol{Q}}_t $中第i个大小为 $ b \times b $的矩阵块, $\operatorname{proj}_{{O}}\left(\overline{\boldsymbol{Z}} \boldsymbol{Q}_t\right)$$\bar{{\boldsymbol{Z}}} {\boldsymbol{Q}}_t $在集合 $ {O} $上的欧几里得投影运算.

当满足 ${f\left(\boldsymbol{U}_t, \boldsymbol{Q}_t\right)}/{f\left(\boldsymbol{U}_{t+1}, \boldsymbol{Q}_{t+1}\right)} \geqslant 1-\varepsilon$时,迭代停止. 其中 $ \varepsilon $为人工设定的测地误差,对于不同数据集的实验, $ \varepsilon $取值不同. 本文对 $ \varepsilon $的设置将在实验部分具体说明.

4. 实验结果与分析

4.1. 实验环境和实验数据集

该算法的实验环境基于Linux Ubuntu 16.04操作系统,硬件支撑为Intel i9-9900k CPU和NVIDIA GeForce RTX2080Ti GPU(11 GB的显存),内存为32 GB,运算平台为CUDA-Toolkit 9.0版本. 采用Cudnn7.6.5作为网络的GPU加速器,深度学习框架为TensorFlow-GPU,版本号为1.13,编程语言为Python 3.7.

选用FAUST[33]、SCAPE[34]和TOSCA[35]3个标准公开数据集,对本文算法及其他主流算法进行定量和定性评估,验证本文算法的有效性和鲁棒性. FAUST数据集包含100个人体模型,共10个类别,每个类别有10种不同的姿势. SCAPE数据集包含71个姿态不同的人体模型. TOSCA数据集共包含76个对象,包括人、猫、狗、马等8种不同类别的三维模型数据.

4.2. 参数设置与评估标准

在实验中,设置Batch Size为8,初始学习率为0.001,使用自适应矩估计优化器(adaptive moment estimation, Adam),学习率衰减指数为0.5,衰减速度为300 000,网络训练过程迭代5 000次.

根据普林斯顿基准协议(Princeton benchmark protocol, PBP)[36]和循环误差(cycle error),对模型簇的对应关系质量进行评估.

假设计算出一对模型的对应关系为 $ {\pi }_{\to }:(X,Y) $,真实对应关系是 $ {\pi }_{\to }^{\ast }:(X,Y) $. 定义测地误差如下:

$ \varepsilon ({\pi _ \to }) = \sum\limits_{x \in X} {\frac{{{D_Y}({\pi _ \to }(x),\;\pi _ \to ^ * (x))}}{{{\rm{area}}\;{{(Y)}^{1/2}}}}} . $

式中:DY表示模型Y计算出的对应关系与真实对应关系间的测地距离,area (Y)为模型Y的表面积. 测地误差越小,对应关系的准确率越高.

对于模型簇协同计算迭代停止条件,根据目前主流算法的最优测地误差,将FAUST、SCAPE和TOSCA数据集人体模型上的 $ \varepsilon $设置为0.03,将TOSCA数据集上猫、狗、马及半人马的 $ \varepsilon $设置为0.05.

利用循环误差来量化算法的循环一致性约束,循环误差定义为在总循环次数中违背循环一致性约束的次数除以总循环的次数. 在3种不同数据集中,均以4个模型为一组,总循环次数为在测试集10个模型中任选4个的组合,共 $ {\rm{C}}_{10}^4 $种,即210次.

4.3. 实验结果与分析

1)定性实验. 如图3~5所示分别为本文算法与文献[12242728]算法在FAUST、SCAPE和TOSCA数据集上构建的人体模型簇对应关系结果对比. 如图6~9所示分别为本文算法与上述算法在TOSCA数据集上构建的猫模型、狗模型、马模型和半人马模型的模型簇对应关系可视化实验结果.

图 3

图 3   FAUST数据集上不同方法构建的人体模型簇一致对应关系结果的对比

Fig.3   Comparison of consistent correspondences of human shape collections constructed by different methods on FAUST dataset


图 4

图 4   SCAPE数据集上不同方法构建的人体模型簇一致对应关系结果的对比

Fig.4   Comparison of consistent correspondences of human shape collections constructed by different methods on SCAPE dataset


图 5

图 5   TOSCA数据集上不同方法构建的人体模型簇一致对应关系结果的对比

Fig.5   Comparison of consistent correspondences of human shape collections constructed by different methods on TOSCA dataset


图 6

图 6   TOSCA数据集上不同方法构建的猫模型簇一致对应关系结果的对比

Fig.6   Comparison of consistent correspondences of cat shape collections constructed by different methods on TOSCA dataset


图 7

图 7   TOSCA数据集上不同方法构建的狗模型簇一致对应关系结果的对比

Fig.7   Comparison of consistent correspondences of dog shape collections constructed by different methods on TOSCA dataset


图 8

图 8   TOSCA数据集上不同方法构建的马模型簇一致对应关系结果的对比

Fig.8   Comparison of consistent correspondences of horse shape collections constructed by different methods on TOSCA dataset


图 9

图 9   TOSCA数据集上不同方法构建的半人马模型簇一致对应关系结果对比

Fig.9   Comparison of consistent correspondences of centaur shape collections constructed by different methods on TOSCA dataset


图3(a)、4(a)、5(a)可以看出,文献[12]算法的整体映射连续性较好,但在不同数据集上人体模型的手部和腿部均产生了错误对应. 主要原因是该算法依赖于输入模型的初始映射,当初始映射准确率不高时,容易产生错误对应,利用该算法无法有效地解决模型因自身对称性影响而产生的错误对应. 从图3(b)、4(b)和5(b)可以看出,文献[24]算法在不同数据集上人体模型的局部位置均出现了错误对应,如手臂、腿部、腹部、胸部,这是由于该算法在初始映射不满足双射条件时,很容易产生离群值,导致发生错误对应. 文献[24]算法采用与本文算法相同的虚拟全局模型思想,有效克服了因模型自身对称性影响对应关系计算的问题. 从图3(d)、4(d)、5(d)可以看出,文献[27]算法在不同数据集人体模型上的一致映射结果最差,在人体模型胸部、腹部、手臂和小腿出现了大量的错误对应,这是由于该算法适用于刚性变换的等距模型,对于产生非刚性形变的近似等距模型的对应关系计算效果不佳,无法消除模型自身对称性的影响. 从图3(e)、4(e)、5(e)可以看出,文献[28]算法在人体模型腹部、胸部、腿部产生了局部错误对应,这是由于该算法依赖用初始带标签的数据预测模型变形过程,使得该算法对拓扑结构改变敏感,无法消除模型因自身对称性影响而产生的错误对应. 从图3(c)、4(c)、5(c)可以看出,利用本文算法可以计算近似等距的非刚性变换的模型簇对应关系,得出的对应关系质量最高,不仅能够消除模型自身对称性的影响,而且所得结果在语义上更加平滑、自然.

图6~9可以看出,文献[12242728]算法由于自身算法的缺陷,均出现了错误映射分布的情况. 本文算法与其他算法相比,具有较高的模型簇对应关系构建准确率,主要原因如下. a)本文算法直接从原始三维点云中学习模型特征,获得了更全面、更精细化、更具鲁棒性的模型特征描述符. b)通过施加加权正则化约束项,对函数映射结果进行进一步优化,可得模型间更优的对应关系构建结果. c)提出的模型簇对应关系协同计算模块将循环一致性约束融合在函数映射理论中,获得了一致性更好的模型簇对应关系.

综上所述,定性结果表明,本文算法所构建的对应关系准确性更高,模型簇映射分布均匀一致且连续性更好,有效解决了模型因自身对称性影响对应关系计算的问题,证明了本文算法的优越性.

2)定量实验. 为了评价本文算法与文献[12242728]算法的对应关系计算结果,在FAUST、SCAPE和TOSCA数据集上对平均测地误差 $\overline G_{\rm{e}} $进行对比实验,结果如表1所示.

表 1   不同算法的平均测地误差

Tab.1  Average geodesic errors of different methods

模型 $\overline G _{\rm{e}} $
文献[12]算法 文献[24]算法 文献[27]算法 文献[28]算法 本文算法
人体模型簇(FAUST) 0.039 0.058 0.124 0.097 0.026
人体模型簇(SCAPE) 0.107 0.174 0.449 0.217 0.046
人体模型簇(TOSCA) 0.046 0.036 0.168 0.157 0.025
猫模型 0.087 0.139 0.329 0.131 0.023
狗模型 0.334 0.169 0.393 0.244 0.034
马模型 0.375 0.258 0.284 0.129 0.037
半人马模型簇 0.069 0.053 0.171 0.065 0.028

新窗口打开| 下载CSV


表1可以看出,与文献[12]算法相比,本文算法所构建的人体模型簇对应关系测地误差在FAUST、SCAPE和TOSCA数据集上分别减小了0.013、0.061和0.021,猫模型、狗模型、马模型和半人马模型簇的对应关系测地误差分别减小了0.064、0.300、0.338和0.041. 与文献[24]算法相比,本文算法所构建的人体模型簇对应关系测地误差在FAUST、SCAPE和TOSCA数据集上分别减小了0.032、0.128和0.011,猫模型、狗模型、马模型和半人马模型簇的对应关系测地误差分别减小了0.116、0.135、0.221和0.025. 与文献[27]算法相比,本文算法所构建的人体模型簇对应关系测地误差在FAUST、SCAPE和TOSCA数据集上分别减小了0.098、0.403和0.143,猫模型、狗模型、马模型和半人马模型簇的对应关系测地误差分别减小了0.306、0.359、0.247和0.143. 与文献[28]算法相比,本文算法所构建的人体模型簇对应关系测地误差在FAUST、SCAPE和TOSCA数据集上分别减小了0.071、0.171和0.132,猫模型、狗模型、马模型和半人马模型簇的对应关系测地误差分别减小了0.108、0.210、0.092和0.037. 综上所述,本文算法在计算近似等距的非刚性变换的三维模型对应关系的能力上,比其他4种对比算法更优异,准确率更高.

通过绘制测地误差曲线,进一步展示定量结果. 本文算法与其他算法在FAUST、SCAPE和TOSCA数据集上人体模型的测地误差对比曲线如图10所示. 图中,Ge为测地误差,Ac为对应关系准确率. 在FAUST数据集上,本文算法有71.4%的对应关系没有测地误差,有98.3%的对应关系的Ge小于0.02,当Ge接近0.03时,本文算法的Ac达到100%. 在SCAPE数据集上,本文算法有48.6%的对应关系没有测地误差,有96.2%的对应关系的Ge小于0.02,当Ge接近0.04时,本文算法的Ac达到100%. 在TOSCA数据集上,本文算法有74.5%的对应关系没有测地误差,有90%的对应关系的Ge小于0.01,当Ge达到0.02时,本文算法的Ac达到100%.

图 10

图 10   不同算法在FAUST、SCAPE和TOSCA数据集上的测地误差曲线

Fig.10   Geodesic error curves of different algorithms on FAUST, SCAPE and TOSCA datasets


表2所示为本文算法与文献[12, 24, 27, 28]算法在FAUST、SCAPE和TOSCA数据集上循环误差Ce的实验结果对比. 可以看出,本文算法与文献[24]算法的循环误差在3个数据集上均为0,具有稳定的循环一致性约束. 与其他算法相比,文献[27]算法在3种数据集上的循环误差均为最大值,对循环一致性的约束效果最差.

表 2   不同算法的模型簇对应关系的循环误差

Tab.2  Cycle error on correspondence of shape collections of different algorithms

数据集 Ce
文献[12]算法 文献[24]算法 文献[27]算法 文献[28]算法 本文算法
FAUST 0.30 0 0.54 0.28 0
SCAPE 0.08 0 0.68 0.12 0
TOSCA 0.26 0 0.58 0.32 0

新窗口打开| 下载CSV


表3所示为本文算法与文献[2728]算法在FAUST数据集上计算模型簇对应关系所需的运行时间对比结果. 表中,tp为数据预处理时间,tr为训练和测试时间,tt为总运行时间,‘—’表示不包含该部分时间. 总体运行时间主要由以下2个阶段构成. a)在数据预处理(pre-processing)阶段,文献[27]算法需要计算每个模型的初始函数空间及初始映射,本文算法需要计算每个模型的拉普拉斯算子的特征值和特征向量. b)在训练和测试(train and test)阶段,文献[27]算法通过显示映射编码并不断迭代进行张量恢复,得到最终的模型簇对应关系. 文献[28]算法的整个网络框架分为参数预测网络和变形网络,网络参数量较大,所以需要耗费较长时间. 本文算法分为3个模块,算法计算过程需要多次迭代优化,总运行时间是3种算法中最长的,但模型簇对应关系计算的准确率得到了有效提升,所以本文算法在运行时间和模型簇对应关系计算的准确率之间达到较佳的平衡状态.

表 3   不同方法的运行时间比较

Tab.3  Comparison of running time between different methods

算法 tp/s tr/s tt/s
文献[27]算法 300 3600 3900
文献[28]算法 5400 5400
本文算法 180 7200 7380

新窗口打开| 下载CSV


3)消融实验. 为了验证本文算法各模块的有效性,如表4所示为在计算模型簇对应关系时,不包含三维点云特征提取模块、不包含无监督深度函数映射模块、不包含模型簇对应关系协同计算模块以及同时包含3种模块时在FAUST、SCAPE和TOSCA数据集上构建的人体模型族对应关系测地误差消融实验的对比结果. 表中,‘√’表示包含该模块,‘—’表示移除该模块. 可以看出,本文构建的网络各组件是有效的,能够相互促进,以达到最佳性能. 对网络性能影响最大的是模型簇对应关系协同计算模块,该模块融合循环一致性约束与函数映射理论,显著提高了模型簇对应关系计算的准确率.

表 4   验证各模块有效性的消融实验对比

Tab.4  Comparison of ablation experiments to verify effectiveness of each module

三维点云
特征提取模块
无监督深度
函数映射模块
模型簇对应关系
协同计算模块
Ge
FAUST SCAPE TOSCA
0.059 0.127 0.103
0.103 0.205 0.086
0.185 0.288 0.176
0.026 0.046 0.025

新窗口打开| 下载CSV


5. 结 语

本文提出无监督三维模型簇对应关系协同计算方法,解决近似等距的非刚性变换的三维模型簇对应关系计算准确率不高的问题. 对输入的原始三维点云模型进行特征提取,在共享权重的全局、局部特征提取网络中分别提取模型的全局与局部特征,并将其融合. 在无监督深度函数映射网络中,对融合后的特征进行转换,以获取所需的谱描述符. 利用函数映射理论和加权正则化约束,构建模型间的最优函数映射矩阵. 在模型簇对应关系协同计算模块中,通过优化模型簇对应关系协同计算的目标函数,获得最终的模型簇对应关系. 本文算法在FAUST、SCAPE和TOSCA数据集上开展的实验结果表明,在不需要真实对应关系作为监督的情况下,本文算法均取得优于目前主流算法的对应关系计算结果. 如何提高算法的时间效率以及如何解决更普遍的模型间对应关系问题,如非等距三维模型簇对应关系计算问题与残缺三维模型簇对应关系计算问题,是今后需要继续研究的方向.

参考文献

SAHILLIOGLU Y

Recent advances in shape correspondence

[J]. The Visual Computer, 2020, 36 (8): 1705- 1721

DOI:10.1007/s00371-019-01760-0      [本文引用: 1]

BESL P J, MCKAY N D

Method for registration of 3D shapes

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14 (2): 239- 256

DOI:10.1109/34.121791      [本文引用: 1]

OVSJANIKOV M, BEN C M, SOLOMON J, et al

Functional maps: a flexible representation of maps between shapes

[J]. ACM Transactions on Graphics, 2012, 31 (4): 30

[本文引用: 1]

OVSJANIKOV M, CORMAN E, BRONSTEIN M, et al. Computing and processing correspondences with functional maps [EB/OL]. [2021-06-01]. http://hal.inria.fr/hal-01664767/file/siggraph17_course_notes.pdf.

[本文引用: 1]

CHEN M, WANG C, QIN H

Jointly learning shape descriptors and their correspondence via deep triplet CNNs

[J]. Computer Aided Geometric Design, 2018, 62 (5): 192- 205

[本文引用: 1]

GROUEIX T, FISHER M, KIM V G, et al. 3D-CODED: 3D correspondences by deep deformation [C]// European Conference on Computer Vision. Munich: Springer, 2018: 235-251.

GINZBURG D, RAVIV D. Cyclic functional mapping: self-supervised correspondence between non-isometric deformable shapes [M]. Cham: Springer, 2020.

AYGUN M, LAHNER Z, CREMERS D. Unsupervised dense shape correspondence using heat kernels [C]// International Conference on 3D Vision. Fukuoka: IEEE, 2020: 573-582.

[本文引用: 1]

KIM V G, LI W, MITRA N J, et al

Exploring collections of 3D models using fuzzy correspondences

[J]. ACM Transactions on Graphics, 2012, 31 (4): 54

[本文引用: 1]

HUANG Q X, GUO X

An optimization approach for extracting and encoding consistent maps in a shape collection

[J]. ACM Transactions on Graphics, 2012, 31 (6): 654- 660

[本文引用: 1]

HUANG Q, WANG F, GUIBAS L

Functional map networks for analyzing and exploring large shape collections

[J]. ACM Transactions on Graphics, 2014, 33 (4): 1- 11

[本文引用: 1]

HUANG R, REN J, WONKA P, et al

Consistent zoomout: efficient spectral map synchronization

[J]. Computer Graphics Forum, 2020, 39 (5): 265- 278

DOI:10.1111/cgf.14084      [本文引用: 9]

REN J, POULENARD A, WONKA P, et al

Continuous and orientation-preserving correspondences via functional maps

[J]. ACM Transactions on Graphics, 2019, 37 (6): 248- 263

[本文引用: 1]

杨军, 闫寒

校准三维模型基矩阵的函数映射的对应关系计算

[J]. 武汉大学学报·信息科学版, 2018, 43 (10): 1518- 1525

[本文引用: 1]

YANG Jun, YAN Han

Correspondence calculation of functional maps for calibrating the base matrix of 3D model

[J]. Geomatics and Information Science of Wuhan University, 2018, 43 (10): 1518- 1525

[本文引用: 1]

WU Y, YANG J, ZHAO J L

Partial 3D shape functional correspondence via fully spectral eigenvalue alignment and upsampling refinement

[J]. Computers and Graphics, 2020, 92 (6): 99- 113

DOI:10.1016/j.cag.2020.09.004      [本文引用: 1]

EISENBERGER M, LAHNER Z, CREMERS D. Smooth shells: multi-scale shape registration with functional maps [C]// Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 12265-12274.

[本文引用: 1]

LITANY O, REMEZ T, RODOLA E, et al. Deep functional maps: structured prediction for dense shape correspondence [C]// International Conference on Computer Vision. Venice: IEEE, 2017: 5659-5667.

[本文引用: 2]

HALIMI O, LITANY O, RODOLA E, et al. Unsupervised learning of dense shape correspondence [C]// Conference on Computer Vision and Pattern Recognition. Los Angeles: IEEE, 2019: 4370-4379.

[本文引用: 1]

DONATI N, SHARMA A, OVSJANIKOV M. Deep geometric functional maps: robust feature learning for shape correspondence [C]// Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 8592-8601.

[本文引用: 3]

HUANG Q, GUIBAS L

Consistent shape maps via semidefinite programming

[J]. Computer Graphics Forum, 2013, 32 (5): 177- 186

DOI:10.1111/cgf.12184      [本文引用: 1]

KIM V G, LI W, MITRA N J, et al

Learning part-based templates from large collections of 3D shapes

[J]. ACM Transactions on Graphics, 2013, 32 (4): 1- 12

[本文引用: 1]

COSMO L, RODOLA E, ALBARELLI A, et al

Consistent partial matching of shape collections via sparse modeling

[J]. Computer Graphics Forum, 2017, 36 (1): 209- 221

DOI:10.1111/cgf.12796      [本文引用: 1]

杨军, 雷鸣

结合函数映射与循环一致性约束的模型簇对应关系计算

[J]. 激光与光电子学进展, 2019, 56 (8): 123- 133

[本文引用: 1]

YANG Jun, LEI Ming

Correspondence calculation of shape collections by functional maps combined with cycle-consistency constraints

[J]. Laser and Optoelectronics Progress, 2019, 56 (8): 123- 133

[本文引用: 1]

BERNARD F, THUNBERG J, SWOBODA, et al. HiPPI: higher-order projected power iterations for scalable multi-matching [C]// International Conference on Computer Vision. Seoul: IEEE, 2019: 10284-10293.

[本文引用: 12]

HUANG Q X, SU H, GUIBAS L

Fine-grained semi-supervised labeling of large shape collections

[J]. ACM Transactions on Graphics, 2013, 32 (6): 1- 10

[本文引用: 1]

FISH N, KAICK O V, BERMANO A, et al

Structure-oriented networks of shape collections

[J]. ACM Transactions on Graphics, 2016, 35 (6): 1- 14

[本文引用: 1]

HUANG Q, LIANG Z, WANG H, et al

Tensor maps for synchronizing heterogeneous shape collections

[J]. ACM Transactions on Graphics, 2019, 38 (4): 1- 18

[本文引用: 14]

GROUEIX T, FISHER M, KIM V G, et al

Unsupervised cycle-consistent deformation for shape matching

[J]. Computer Graphics Forum, 2019, 38 (5): 123- 133

DOI:10.1111/cgf.13794      [本文引用: 12]

WANG Y, SUN Y, LIU Z, et al

Dynamic graph CNN for learning on point clouds

[J]. ACM Transactions on Graphics, 2019, 38 (5): 1- 12

[本文引用: 2]

WANG Y, SOLOMON J M. Deep closest point: learning representations for point cloud registration [C]// International Conference on Computer Vision. Seoul: IEEE, 2019: 3523-3532.

GINZBURG D, DAN R. Dual geometric graph network (DG2N): iterative network for deformable shape alignment [C]// International Conference on 3D Vision. [S. l.]: IEEE, 2021: 1341-1350.

[本文引用: 1]

REN J, PANINE M, WONKA P, et al

Structured regularization of functional map computations

[J]. Computer Graphics Forum, 2019, 38 (5): 39- 53

DOI:10.1111/cgf.13788      [本文引用: 1]

BOGO F, ROMERO J, LOPER M, et al. FAUST: Dataset and evaluation for 3D mesh registration [C]// Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 3794-3801.

[本文引用: 1]

ANGUELOV D, SRINIVASAN P, KOLLER D, et al

SCAPE: shape completion and animation of people

[J]. ACM Transactions on Graphics, 2005, 24 (3): 408- 416

DOI:10.1145/1073204.1073207      [本文引用: 1]

BRONSTEIN A M, BRONSTEIN M M, KIMMEL R. Numerical geometry of non-rigid shapes [M]. Berlin: Springer, 2008.

[本文引用: 1]

KIM V G, LIPMAN Y, FUNKHOUSER T

Blended intrinsic maps

[J]. ACM Transactions on Graphics, 2011, 30 (4): 1- 12

[本文引用: 1]

/