三维模型匹配的谱图小波描述符
Spectral graph wavelet descriptor for three-dimensional shape matching
通讯作者:
收稿日期: 2018-10-30
Received: 2018-10-30
作者简介 About authors
胡玲(1980—),女,讲师,硕士,从事数字几何处理、图形图像处理研究.orcid.org/0000-0002-8967-2254.E-mail:
为了实现三维模型的点-点匹配, 基于谱图小波变换(SGWT)构建点的描述符. 对三维模型各顶点处的脉冲函数进行多尺度谱图小波变换,因为这些小波系数能够充分反映模型各顶点处的多尺度几何信息,将它们依次作为元素形成多维向量. 该向量即为模型各点的谱图小波描述符,点描述符的欧式距离可以度量点与点之间的几何差异性. 由于谱图小波(SGW)同时使用低通和带通滤波器分析信号且能够稳定地重构信号, 这使得提出的描述符具有很好的形状分辨能力、紧凑性和鲁棒性. 实验结果显示,谱图小波描述符具有比同类方法更卓越的性能.
关键词:
A point descriptor was proposed based on the spectral graph wavelet transform (SGWT) for the pointwise three-dimensional shape matching. SGWT was performed for a series of impulse functions centered at each point on the shape. Since these wavelet coefficients can reflect sufficient multiscale geometric information around each point, they are orderly treated as elements of a high−dimensional vector. Such vector is the descriptor for each point and the geometric disparity between points can be measured by their Euclidean distance. The spectral graph wavelet (SGW) both use low-pass and band-pass filters to analyze the signals and can stably reconstruct them, which makes the proposed descriptor be significant discriminative, compact and robust. The experimental results show that the proposed descriptor can achieve better performance than similar methods.
Keywords:
本文引用格式
胡玲, 李钦松, 刘圣军, 刘新儒.
HU Ling, LI Qin-song, LIU Sheng-jun, LIU Xin-ru.
在实体动画、模型检索等有关三维形状分析和几何处理的许多应用中,模型匹配的准确性对算法起着至关重要的作用. 描述给定模型显著特征的主流方法之一是通过定义模型上各点的特征描述符,即编码该点邻域的多尺度形状信息和几何特征,实现模型整体几何特性的描述. 在众多建立点描述符的方法中,基于扩散几何的方法因具有许多显著的优点成为主流方法之一[1]. 其中建立点描述符的主要代表工作有热核签名(heat kernel signature,HKS)[2]和波核签名(wave kernel signature,WKS)[3]. 从信号处理角度而言,这2种描述符具有统一的数学表达形式,均可以视为一组滤波器作用于拉普拉斯算子的特征值与特征向量. HKS源于一组低通滤波器的使用,主要分析模型的轮廓信息,因此无法实现模型之间点-点匹配时点的精确定位. WKS使用一组带通滤波器,能够获取模型更多的细节信息,实现了比HKS更准确的定位,但由于缺乏低通滤波器捕捉与模型轮廓相关的低频信息,匹配时容易产生大量的匹配噪声. Boscaini等[4]利用多个几何向量的流形窗口傅里叶变换(WFT)[5]系数,建立多尺度的点描述符. Melzi等[6]通过模拟穿过网格点对之间所有路径的离散时间演化序列,创建多尺度的离散时间演化过程描述符(DEP). 此外,现阶段有许多工作根据不同的应用,利用机器学习建立三维模型点描述符[7-8].
本文利用谱图小波,创建适用于三维模型点-点匹配的点描述符. 为了充分利用模型的几何特征,将谱图小波构建中使用的图拉普拉斯算子改为流形上的拉普拉斯-贝尔特米算子,利用模型各点处脉冲函数的多尺度小波系数和尺度函数系数描述各点邻域的局部和全局结构信息,建立各点处的描述符. 因为该描述符所使用的滤波器结合HKS和WKS的优势,能够实现对信号的精确重构,这使得所提出的描述符具有很强的分辨力,且形式紧凑、算法鲁棒. 此外,因为算法只需对拉普拉斯矩阵的少量特征值和特征向量进行代数运算,计算效率非常高.
1. 研究背景
1.1. 拉普拉斯贝尔特米算子
设给定的三维模型X为嵌入
式中:
在实际应用中,三维模型X通常表示为三角网格
采用最普遍的Meyer[16]方法计算拉普拉斯-贝尔特米算子在三角网格X上的离散形式,具体形式为
式中:
图 1
图 1
Voronoi单元面积以及角
Fig.1
Area of Voronoi cell and angle
令面积矩阵A=diag [ai],权重矩阵M=[mij],
则拉普拉斯-贝尔特米算子可以表示为
1.2. 流形傅里叶变换
拉普拉斯矩阵L的特征值和特征向量,满足
任给信号
事实上,由于信号f的能量主要集中在低频部分,实际应用中不需要求解出全部的特征值与特征向量,选择前K(
可以高度逼近原始信号.
将上述结果写成矩阵形式,令N×K矩阵
2. 谱图小波
经典小波由欧氏空间内的母小波函数伸缩平移获得,对于定义在三维曲面上的函数,没有直观自然的方式定义这些函数的伸缩和平移变换. 为了克服该问题,Hammond等[9]类比经典小波在频率域里的滤波特性,基于谱图理论构建图域上的小波. 该小波具有很多与经典小波类似的性质,是分析图域空间信号的强有力工具. 为了充分利用三维模型的几何特征,利用拉普拉斯-贝尔特米算子的特征系统,基于谱图小波的框架构建更适合分析流形上信号的小波,称为谱图小波.
谱图小波函数和小波系数 给定小波核函数
取拉普拉斯矩阵L的前K个特征值和特征向量,定义尺度为
式中:
进一步可得
对于任意信号f,小波系数为f与小波函数
尺度函数和尺度函数系数 为了分析信号的低频部分,构造相应的尺度函数. 选取尺度函数核函数
相应的尺度函数系数为
谱图小波的尺度函数是为了分析小波函数未能分析的信号低频部分,不需要与小波函数形成类似经典小波里的双尺度关系.
为了方便计算,将网格X上各顶点处的小波系数和尺度函数系数整理成矩阵形式. 令N×1维向量
核函数的选取 在谱图小波工具箱(SGW_TOOLBOX)[9]中提供了多种小波核函数,可以根据应用灵活的选择. 为了使各频率的影响相同,选取墨西哥帽小波核函数,在图4(c)中展示了具有不同尺度
离散尺度的选取 离散小波尺度
图 2
图 2 谱图小波的尺度函数和多尺度小波函数
Fig.2 Scaling function and multi-scale wavelet functions of SGW
3. 谱图小波描述符
谱图小波系数和尺度函数系数全面分析了信号的各频带信息. 若给定模型第i个顶点处的单位脉冲函数
事实上,根据脉冲函数的傅里叶系数,可得SGWD各分量:
从式(2)、(3)可以推知,SGWD具有如下优良的性质.
图 3
2)SGWD结合了HKS和WKS的优点,具有更高的分辨能力. 由式(2)、(3)可知,HKS、WKS及SGWD这3种描述符的本质区别在于滤波器,即核函数选取的不同. HKS与WKS的核函数分别为
图 4
图 4 不同尺度的HKS、WKS和SGWD的核函数以及相应的平方和函数
Fig.4 Multiscale kernel functions of HKS,WKS and SGWD and their quadratic sum functions
3)形式紧凑,计算效率高. SGWD只需计算一组非常简单的脉冲函数的小波系数,无需事先计算更复杂的函数,且小波系数的计算仅涉及拉普拉斯矩阵小部分特征值与特征向量的代数运算,保证了SGWD的高计算效率. 因小波框架能够精确地重构原始信号,这意味着较低维度的多尺度系数可以全面包含模型的信息,使得SGWD结构非常紧凑.
4)鲁棒性. 谱图小波理论[9]保证了SGWD的鲁棒性. 图6显示了SGWD在经历了多种变形的模型上的鲁棒性.
4. 实验设置和结果
所有实验均在具有Intel(R)CoreTMi7-4790,CPU主频为3.60 GHz 和16.0 GB RAM 的PC机上开展,使用Matlab R2018a.
参数设置:在所有实验中,拉普拉斯特征值和特征向量取前K=200个. 理论上J越大,SGWD分辨能力越强,当J到达一定阶段后,描述符分辨力提升较缓但计算效率下降迅速. 如图5所示,计算模型各点处不同J的SGWD,并可视化其与参考点(最左端胳膊处的点)描述符的正则化欧氏距离. 结果显示,J=8时的描述符分辨力比J=4时更强,但和J=16时无明显差异,因此选取J=10.
图 5
图 5 模型各顶点与参考点具有不同J的SGWD (圆点标注)的正则化欧氏距离可视化显示
Fig.5 Visualization of normalized Euclidean distance of SGWD between reference point (labeled with a round ball)and left points of shape using different J
为了公平比较,以下实验均采用欧氏距离度量描述符空间中点的距离. 将与参考点的描述符具有最短距离的点作为各算法得到的参考点的匹配点. 将准确对应点的内蕴对称点视为正确的匹配点.
评价标准:对于所有的数据集,使用3种标准评估算子的性能,包括累积匹配特征(cumulative match characteristic,CMC),受试者工作特征(receiver operator characteristic,ROC)和匹配质量特征(correspondence quality characteristic ,CQC). CMC估计在描述符空间的k个最近邻中出现正确对应点的概率. ROC测量在描述符空间里positives and negatives 点对之间距离小于不同阈值的百分比. CQC计算描述符空间里最近邻与准确匹配点的测地距离小于不同r的点的百分比.
实验结果:图6中,最左端的参考模型来自FAUST,选择该模型膝盖处的点作为参考点(圆球标注). 从左至右为经过多种变形的参考模型,依次为等距变形、非等距变形、光滑、高斯噪声、尖锐噪声以及部分缺失. 计算每个模型各顶点处与参考点SGWD的距离. 如图6所示为正则化后的距离,结果显示,SGWD在各种变形中保持非常高的准确性,证实该描述符具有很好的鲁棒性. 如图7所示为SGWD与HKS、WKS等几种现阶段具有代表性的描述符在数据库FAUST和CAESAR中的性能比较. 图中,C为匹配率,E为测地距离,T为真阳性率,F为假阳性率. 综合CMC、ROC和CQC这3种评价指标可知,SGWD在这2类数据库里都显示了比其他方法更好的匹配结果. DEP和WFT因为算法的要求,计算效率远不及SGWD. 表1给出3个主要模型不同描述符计算时间的统计. 可以看出,本文算法的计算效率优于WFT和DEP.
图 6
图 7
图 7 FAUST与CAESAR数据库各描述符的性能比较
Fig.7 Performance comparison for each descriptor on FAUST and CAESAR datasets
表 1 不同描述符计算所用的时间
Tab.1
模型 | 顶点数 | HKS | WKS | WFT | DEP | SGWD |
人 | 6 890 | 2.669 | 2.556 | 15.42 | 101.34 | 2.615 |
马 | 9 497 | 3.197 | 3.180 | 26.42 | 270.66 | 3.083 |
鹤 | 9 148 | 3.081 | 3.091 | 25.15 | 226.59 | 3.073 |
如图8、9所示为针对不同类别的模型,不同描述符性能的可视化比较结果. 图8选择FAUST中的8个人体模型进行测试. 最左端为参考模型和参考点(圆球标记),计算所有模型顶点处的SGWD,将其与参考点描述符的欧氏距离正则化和可视化. 结果显示,与其他方法相比,利用SGWD寻找到的与参考点距离最小的区域仅发生在准确匹配点的邻域内,且区域面积相对最小. 这表示SGWD具有最高的分辨力和定位能力. 图9选择2类动物模型,最左端为参考模型,右端均为参考模型经过同一等距变形的结果. 在参考模型上选择参考点(圆球标注),计算等距变形模型中所有点与参考点的距离并可视化. 结果显示,SGWD的分辨力和定位能力优于其他算法.
图 8
图 8 人体模型各描述符性能的可视化比较
Fig.8 Visual performance comparison for each descriptor on human shapes
图 9
图 9 动物模型各描述符性能的可视化比较
Fig.9 Visual performance comparison for each descriptor on animal shapes
5. 结 语
本文利用一类简单函数的谱图小波系数和尺度函数系数,建立流形上的描述符,用以描述模型各点处邻域的局部和全局特征. 该描述符综合了2类代表性描述符的优势,谱图小波的优良性质保证了提出的描述符具有十分强的分辨力和定位能力,形式紧凑,计算效率高. 将谱图小波描述符应用至模型点-点匹配时,获得了比现阶段同类方法更好的性能.
在下一阶段,考虑将SGWD应用至其他几何处理和形状分析领域,以期进一步挖掘SGWD的优势.
参考文献
A concise and provably informative multi-scale signature based on heat diffusion
[J].
Learning class: specific descriptors for deformable shapes using localized spectral convolutional networks
[J].DOI:10.1111/cgf.2015.34.issue-5 [本文引用: 1]
Vertex-frequency analysis on graphs
[J].DOI:10.1016/j.acha.2015.02.005 [本文引用: 1]
Discrete time evolution process descriptor for shape analysis and matching
[J].
Learning spectral descriptors for deformable shape correspondence
[J].DOI:10.1109/TPAMI.2013.148 [本文引用: 1]
Anisotropic diffusion descriptors
[J].DOI:10.1111/cgf.12844 [本文引用: 1]
Wavelets on graphs via spectral graph theory
[J].DOI:10.1016/j.acha.2010.04.005 [本文引用: 4]
Sparse approximation of 3D shapes via spectral graph wavelets
[J].
Spectral Laplace-Beltrami wavelets with applications in medical images
[J].
A multiresolution descriptor for deformable 3D shape retrieval
[J].DOI:10.1007/s00371-013-0815-3 [本文引用: 1]
Spectral mesh processing
[J].DOI:10.1111/j.1467-8659.2010.01655.x [本文引用: 1]
/
〈 |
|
〉 |
