目前，随着电子商务的蓬勃发展，个人身份安全认证已经成为一个重大现实问题，典型的个人身份识别技术包括指纹、掌纹、脸部、签名、虹膜识别等，其中掌纹识别技术具有较大的应用潜力. 相比于指纹，掌纹拥有更大的面积以及更丰富的纹理特征，并且已经在考勤和在线支付等领域大范围使用. 传统掌纹识别的研究主要集中在二维掌纹图像上，可划分为基于线的方法^[1]、基于纹理的方法^[2]等. 随着深度学习的发展，Zhang等^[3]通过使用卷积神经网络进行二维掌纹特征的提取及匹配. 二维掌纹识别虽然取得了较高的识别精度，但仍存在一些固有的缺陷. 例如，二维掌纹图像质量容易受到光照变化、手掌摆放姿态等因素的影响，同时二维掌纹图像也容易被复制以及盗用.

与二维掌纹识别有所不同，三维掌纹识别主要根据掌纹表面三维凹凸结构进行判断，不易受到外界因素的影响，同时三维掌纹的复制难度也较大. 目前流行的三维掌纹识别方法首先通过特定的特征来描述掌纹的三维结构. 白雪飞等^[4]使用分块的表面类型特征来提取三维掌纹的几何结构，随后通过主成分分析达到识别的目的. Zhang等^[5]提出了一种基于协同表示的三维掌纹识别分类框架，通过表面类型特征来构建局部直方图从而形成特征描述符. Yang等^[6]提出利用形状指数和脆弱位特征来进一步提高三维掌纹识别的性能. Fei等^[7]提出使用精确方向编码和紧凑表面类型特征来表达三维掌纹特征. Bai等^[8]则借助全场正弦光栅投影技术构建了更精确的三维掌纹数据库. 然而上述方法都局限于传统的分类识别框架，深度学习在三维掌纹识别中的优势并没有得以体现.

本文率先将深度学习框架引入到三维掌纹识别研究中，首先通过曲率特征、形状指数、表面类型分别提取三维掌纹的局部纹理信息，随后将其作为不同深度学习网络的输入，最终达到识别的目的. 在香港理工三维掌纹数据库上，本文对上述不同的特征、不同的深度学习网络进行全面分析与比较.

本文方法流程图如图1所示，首先针对三维掌纹进行局部几何特征提取，随后将提取出来的几何特征输入深度学习网络来完成三维掌纹识别任务.

三维掌纹数据在采集过程中往往容易受到噪声的干扰，手掌本身也不是一个刚性的物体，形变情况不可避免，因此，传统的迭代就近点方法（iterative closest point，ICP）并不适用于三维掌纹识别. 为了较好地提取三维掌纹的局部细节特征，采用曲率特征、形状指数、表面类型来进行描述，并将上述特征作为后续深度学习方法的输入.

平均曲率和高斯曲率是表面的内在量度，对于旋转、平移甚至非刚性形变具有鲁棒性. 在三维掌纹识别中平均曲率和高斯曲率都具有独特的性质^[9]：平均曲率确定了掌纹表面的形状，而高斯曲率确定了掌纹凹凸面的形状. 对于任一三维掌纹曲面S（u，v，f（u，v）），高斯曲率（Gaussian curvature）G和平均曲率（mean curvature）M的计算公式如下:

(1) $G {\rm{= }}\frac{{{f_{uu}}{f_{vv}} - f_{uv}^2}}{{{{(1 + f_u^2 + f_v^2)}^2}}},$

(2) $M {\rm{= }}\frac{{(1 + f_u^2){f_{vv}} + (1 + f_v^2){f_{uu}} - 2{f_u}{f_v}{f_{uv}}}}{{2{{(1 + f_u^2 + f_v^2)}^{3/2}}}}.$

式中： ${f_u}$、 ${f_v}$、 ${f_{uu}}$、 ${f_{vv}}$、 ${f_{uv}}$分别代表曲面的一阶、二阶以及混合偏导数. 在实际应用中，本文首先通过式（3）将平均曲率和高斯曲率归一化到[0，1]：

(3) $\overline C (i,j) = 0.5 \times [C(i,j) - \mu ]/(4\sigma) + 0.5.$

式中：C为平均曲率或高斯曲率， $\mu $和 $\sigma $分别为对应曲率图的均值和方差. 因此， $\overline C (i,j)$可映射到8位灰度图像 $\overline G \left( {i,j} \right)$：

(4) $\overline G \left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} 0,\quad\quad\quad\quad\quad\quad\quad\quad\;\\ \begin{array}{c} {\rm{round}}\;\left( {255\times \overline C \left( {i,j} \right)} \right),\;\\ 255,\quad\quad\quad\quad\quad\quad\quad\quad \end{array} \end{array}} \right.\begin{array}{*{20}{c}} {\overline C \left( {i,j} \right) \leqslant 0};\quad\quad\;\\ {0 < \overline C \left( {i,j} \right) < 1};\\ {\overline C \left( {i,j} \right) \geqslant 1}.\quad\quad\; \end{array}$

式中：round代表四舍五入操作.

图2展示了3种不同手掌的平均曲率和高斯曲率图像，其中图2（a）、（b）、（c）为平均曲率图，图2（d）、（e）、（f）为对应的高斯曲率图. 图2（a）和（b）来自同一个手掌的2个不同时期，图2（c）则来自另一个手掌. 可以看出，平均曲率和高斯曲率图像可以很好地描绘三维手掌表面主线和纹理特征，同时保存了不同形状结构的深度信息.

根据第1.1节计算得出的平均曲率和高斯曲率，可以得到形状指数特征. 考虑曲面S上通过点P的所有曲线，每条曲线 ${C_i}$在P处都具有相应的曲率 ${k_i}$. 令所有曲率 ${k_i}$中的最大值为 ${k_{\max }}$，最小值为 ${k_{\min }}$， ${k_{\max }}$和 ${k_{\min }}$称为曲面S上点P的主曲率，计算公式如下：

(5) ${k_{\max }},{k_{\min }} = M \pm \sqrt {{M^2} - G}. $

在获取最大、最小曲率值后，根据文献[6]中所提出的方法，形状指数（shape index，SI）可表示为

(6) ${\rm {SI}} = \frac{1}{2} - \frac{1}{{\text{π}} }\arctan \left( {\frac{{{k_{\max }} + {k_{\min }}}}{{{k_{\max }} - {k_{\min }}}}} \right).$

目前，现有的三维掌纹识别方法大多利用掌纹的平均曲率和高斯曲率来提取特征，而研究表明，形状指数不易受到平移、旋转和尺度变换的影响，能够刻画三维掌纹几何结构上细微的变化^[6]. 同时，由于形状指数图取值在[0，1]，可以直接将其转化为8位灰度图像：

(7) $\overline G\left( {i,j} \right) = {\rm{round}}\;\left( {255 \times {\rm {SI}}\left( {i,j} \right)} \right).$

图3显示了三维掌纹的形状指数图，其中图3（a）和（b）为同一个手掌在2个不同时期的形状指数图，图3（c）则为另外一个手掌的形状指数图. 从图3中可以看出，形状指数不但可以有效地提取出三维掌纹中的主要线条，同时保留了掌纹表面的很多细节.

表面类型(surface type, ST)将平均曲率和高斯曲率以不同方式组合到一起来描述三维掌纹的特征，其具有高度的辨识力，而且对于掌纹的误对齐也表现出了很好的效果。假定根据式（1）、（2）得到平均曲率和高斯曲率，则三维表面类型的定义如表1所示，其中包括8种基本类型和1个M=0、G>0的特例.

在实际应用中，平均曲率和高斯曲率的取值为浮点数. 为了确定M=0、G=0这一特定的类型，首先对平均曲率和高斯曲率取值进行归一化：

(8) $\overline C (i,j) = C(i,j)/(2\sigma) .$

通过采用上述策略，绝大多数曲率取值被映射到区间[−1，1]. 因此，可以设定一个阈值，当曲率绝对值小于该阈值时，则认为当前曲率值为0. 最终，三维掌纹中每个点都可以对应9种类型中的一个，对于每个三维掌纹就能得到其对应的表面类型图，如图4所示. 其中图4（a）和（b）来自同一个手掌的2个不同的时期，而图（c）则来自另外一个手掌.

深度学习是一种允许计算机系统从经验和数据中得到提高的技术，具有强大的识别能力和灵活性. 卷积神经网络（CNN）在深度学习的历史中发挥了重要作用，目前仍然是当今深度学习商业应用的前沿. 典型的卷积神经网络体系结构由卷积层、池化层、回归层组成.

1）卷积层. 使用卷积核，通过对输入图像进行反卷积来优化每个卷积单元的参数，通过逐层卷积运算不断从图像中提取复杂的纹理特征. 卷积运算由于具有稀疏交互、参数共享、等变表示等特性，极大地减少了神经网络的训练参数. 卷积计算结束之后加上一个偏置值，得到卷积神经网络的输出. 卷积层的计算公式可以表示为

(9) ${{{X}}_i} = f\left(\sum\limits_{{M_j}} {{{{X}}_{i - 1}}} {W_{ij}} + {b_i}\right).$

式中： ${{{X}}_i}$为第i个卷积神经网络的输出， ${M_j}$为当前卷积层中卷积核数量， ${{{X}}_{i - 1}}$为输入的特征图， ${W_{ij}}$为权重， ${b_i}$为偏置值.

2）池化层. 池化函数使用某一位置的相邻像素总体统计特征来代替网络在该位置的输出，具体操作时，将每个相邻的像素相加以得到一个新像素，然后通过采样函数down，并用标量 ${W_i}$加权该像素，最后增加偏置 ${b_i}$. 池化层计算公式可以表示为

(10) ${{{X}}_i} = {\rm{down}}\left( {{{{X}}_{i - 1}}} \right){W_i} + {b_i}.$

3）Softmax回归层. Softmax回归层主要用于解决多分类问题，对于输入 ${X_i}$，每一个类别分别估算出概率值P. 得出相应的概率并使用 ${{\left[ {\sum\nolimits_{j = 1}^k {{{\rm{exp}}\;({\theta _j^{\rm{T}}{X_i}}}} }) \right]}}^{-1}$进行归一化，使得所有概率相加值为1. 概率值最大即为预测类. Softmax可按下式计算：

(11) $ {h_\theta }\left( {{x_i}} \right) = \left[\!\!\! {\begin{array}{*{20}{c}} {P\left( {{y^i} = 1|{{{X}}_i};{{\theta}} } \right)}\\ {P\left( {{y^i} = 2|{{{X}}_i};{{\theta}} } \right)}\\ {P\left( {{y^i} = 3|{{{X}}_i};{{\theta}} } \right)}\\ {\vdots}\\ {P\left( {{y^i} = k|{{{X}}_i};{{\theta}} } \right)} \end{array}} \!\!\!\right] = \frac{1}{{\sum\nolimits_{j = 1}^k {{{\rm{exp}}\;({{{\theta}} _j^{\rm{T}}{{{X}}_i}}})} }}\left[\!\!\! \begin{array}{*{20}{c}} {{\rm{exp}}\;({{{\theta}} _1^{\rm{T}}{{{X}}_i}})}\\ {{\rm{exp}}\;({{{\theta}} _2^{\rm{T}}{{{X}}_i}})}\\ {{\rm{exp}}\;({{{\theta}} _3^{\rm{T}}{{{X}}_i}})}\\ {\vdots}\\ {{\rm{exp}}\;({{{\theta}} _k^{\rm{T}}{{{X}}_i}})} \end{array}\!\!\! \right] \cdot $

为了对不同的卷积神经网络进行全面比较和分析，选用4种典型的卷积神经网络模型，包括AlexNet^[10]、GoogleNet^[11]、Vgg16^[12]、ResNet50^[13]：其中AlexNet包含8个层，前5层为卷积层，后3层为全连接层；GoogleNet包含22层，采用了Inception模块化的结构，额外增加了2个Softmax用于梯度前向传导，并且增加了2个loss来避免梯度回传消失；Vgg16由5个池化层和13个卷积层组成，所有的隐藏层都包含RuLU激活函数；ResNet50与传统的网络结构最大的区别在于ResNet网络结构通过捷径连接的方式，把输入传到输出作为初始结果.

本文使用香港理工三维掌纹数据库^[14]进行实验，该数据库总计有400 个不同三维掌纹类别，因此上述4种神经网络的输出为一个400维的向量. 该数据中包括8 000 个不同掌纹，分属200个不同人，其中男性为136 人，女性为64 人，年龄跨度在10~55 岁. 其中单独个人的三维掌纹数据分2次采集，采集时间间隔为1 个月. 每次采集时，记录单独个体左、右手各10 个三维掌纹数据. 同一个体左手或者右手的三维掌纹被视为同一类，总计有400 个不同类别，每一类别包括20 个三维掌纹. 相应地，第2章所述的4种神经网络的输出为一个400维向量. 原始三维掌纹的空间分辨率为768×576，Z方向上的精度为32 bit. 三维掌纹的中心区域（大小为128×128）通过感兴趣区域方法裁剪获得，并将其用于后续的特征提取和识别. 该数据库三维掌纹图像如图5所示，其中图5（a）和（b）来源于同一个手掌的两次不同采集时期，图5（c）则为另外一个手掌（为了便于观察，已经将其视角进行调整）.

本文在上述数据库上进行三维掌纹识别实验，将实验结果与目前流行的三维掌纹识别方法^{[5, 7, 15]}进行比较. 同时，本文也尝试将二维掌纹识别领域新颖的方向特征编码^[16-17]思想引入到三维掌纹识别领域中，并进行讨论. 实验中，平台如下：操作系统：Windows 10；CPU：i5-8400 CPU @2.80GHz；GPU：GTX1060；内存：8 GB RAM；深度学习框架：Caffe.

识别实验属于一对多（one-against-many）的比较过程，尝试确定输入三维掌纹所归属的类别. 本文识别实验设计如下：首先从每一类中随机挑选N（N=1，2，4，10）个样本作为训练样本（training sample），将该类其他样本视为探测样本（probe sample）. 最后通过统计不同方法首选识别率（rank-one recognition rate）R来衡量方法的性能.

在训练样本数量N=10的前提下，首先分别提取三维掌纹的平均曲率、高斯曲率、表面类型特征，并将所提出的基于深度学习（采用AlexNet模型）的三维掌纹识别方法与目前流行的三维掌纹识别方法^[5,15]进行比较，如表2所示.

通过表2可以看出，所提出的基于深度学习的三维掌纹识别方法在识别性能上有较明显的优势. 从表面类型特征的识别结果看，本文方法的准确率较文献[5]方法有所提高；在平均曲率和高斯曲率特征上，相对于文献[5]方法，本文方法识别准确率提升非常显著，由此验证了本文方法的有效性和鲁棒性. 值得注意的是，由于平均曲率和高斯曲率分别代表了掌纹图像的表面形状和凹凸结构，将这2种特征结合到一起所得到的表面类型描述了更丰富的三维掌纹几何特征，取得了更高的识别准确率.

Fei等^[7]使用精确方向编码和紧凑表面类型的混合表达来提取三维掌纹特征. 为了进行全面的比较，首先在本文方法、文献[5]方法中使用表面类型提取三维掌纹特征，然后在训练样本数量为N=1、2、4、10的条件下，对上述3种方法进行识别实验，如表3所示. 实验结果表明：当训练样本较少时（N=1，2），本文所采用的基于深度学习的掌纹识别方法与文献[7]方法相比较有一定性能差距，但随着训练样本的增加（N=4，10），两者在识别率上的差异并不明显. 另一方面，文献[7]采用2种特征的混合表达来提取三维掌纹，而本文方法仅采用表面类型这一单一特征. 因此，认为采用混合特征提取三维掌纹信息，并将其作为深度学习网络的输入，将进一步提升本文方法的性能，这也是未来的研究方向之一. 同时，由于深度学习网络可以直接输出三维掌纹对于各种类别的概率，在运行时间上本文方法要优于文献[7]方法，更适合一些对实时性要求较高的领域.

目前，二维掌纹识别领域涌现出一些新颖的方向特征编码思想^[16-17]，本文尝试将其引入三维掌纹识别方面，并进行实验. 实验设置如下：将训练样本数量设置为N=10，首先采用表面类型提取三维掌纹特征，随后采用方向特征编码并进行识别，得到的首选识别率分别为0.991 2^[16]和0.990 3^[17]，识别性能基本上与基于协同表示的方法^[5]相当.

为了验证各种方法的应用性能，表4列举了各种掌纹识别方法的运行时间t_r. 从表4中可以看出，目前流行的三维掌纹识别方法^[5，7，15]运行耗时较多，而深度学习网络可以直接输出三维掌纹对于各种类别的概率，因此所提方法能够快速识别三维掌纹所属类别，其时间消耗较少，比较适合一些对实时性要求比较高的场合，进一步表明了所提方法的优越性.

为了进行全面的比较，对不同的三维特征、不同网络结构的深度学习模型进行三维掌纹识别实验（N=10），如表5、6所示. 可以看出，相比于目前流行的三维掌纹识别方法^[5，7，15]，不同网络结构的深度学习模型对于不同的三维特征识别准确率都较好，这说明深度学习方法在三维掌纹识别应用中具有普遍的适用性. 随着网络结构的复杂性加大，识别时间也随之增大，如GoogleNet、Vgg16、ResNet50的识别时间要大于AlexNet的识别时间. 值得注意的是，识别准确率并不随着网络结构复杂性的增大而得以提升，究其原因，是香港理工三维掌纹数据库整体样本数量偏少，相对简单的深度学习模型（如：AlexNet）也能获取较好的识别结果，复杂深度学习模型的优势无法体现.

基于局部纹理特征，本文率先将深度学习引入到三维掌纹识别应用中，并在香港理工三维掌纹数据库上对不同的提取特征、不同网络结构的深度学习模型进行了全面的分析与比较. 实验结果表明：1）本文方法在识别准确率和处理时间上都优于目前流行的三维掌纹识别方法，具有较大的应用前景；2）不同网络结构的深度学习模型在不同提取特征上识别准确率都较好. 这表明本文所提出的深度学习方法在三维掌纹识别应用中具有普遍的适用性. 未来计划研究不同提取特征之间的关联属性，挖掘并利用存在互补关系的特征来实现多特征融合，从而进一步提高模型的识别性能.