作为人脸图像分析过程中的一个重要基础环节，精准的人脸特征点定位对众多人脸的相关研究和应用课题具有关键作用. 如何获取精准的人脸特征点定位一直都是图像处理、计算机视觉、模式识别以及人机交互等领域的研究热点问题^[1].

姿态变化一直是人脸特征点定位所面临的经典难题. 在实际应用中，尤其是实时采集人脸图像同时受到姿态、光照、表情、遮挡等因素的共同作用，人脸特征点的定位精度很难令人满意，现有方法的精度距离实际应用的要求还有很大距离，需要进一步的研究和提升.

针对姿态变化的人脸特征点定位方法大致可以分为3大类：基于传统多模型训练的方法^[2-3]、基于三维人脸辅助的方法^[4-6]和基于回归模型的方法^[7-11].

传统的多模型训练方法特征点定位的精度依赖于对测试人脸图像姿态估计的准确度. 由于三维人脸模型重建时间及模型精度问题，基于三维人脸模型重建的方法尚不足以应对实际应用中复杂多变的姿态多样性. 基于回归的方法是指直接学习从人脸表观到人脸形状模型的参数的映射函数，进而建立从表观到形状的对应关系. 此类方法由于不需要复杂的人脸形状和表观建模，简单高效.

特征点是人脸形状的主要描述形式，因此人脸特征点称为人脸形状. 首先对原始级联形状回归算法进行介绍.

级联形状回归是由一组级联的形状回归器 ${R^{1,2,\cdots,T}}$组成，回归过程如图1所示. 每一个形状回归器从一个初始的形状 ${{{S}}^0}$开始，经过T次级联逐步回归到最终的预测形状 ${{{S}}^T}$. 其中每一步细化由不同的回归器完成. 每一个回归器的输入都依赖前一个回归器的输出并执行简单的图像操作（特征提取），所有级联回归器自动地从标注好形状S的训练样本中学习. 形状S指的是二维人脸图像中特征点的二维坐标信息， ${{S}} = \left[ {{x_1},{y_{1{\rm{}}}};{x_2},{y_{2{\rm{}}}}; \cdots; {x_n},{y_{n{\rm{}}}}} \right]$. 级联形状回归的基本算法过程如下.

输入：2D人脸图像I，初始形状S⁰，形状回归器 ${{R}^{{{1,2, \cdots ,}}{T}}}$，形状索引特征 ${{{{x}}^{1,2, \cdots ,T}}}$.

For t = 1 to T

$\;\;\;\;\;{{{x^t} = {h^t}\left( {{{{S}}^{t - 1}},I} \right)}}$ 　//计算形状索引特征x

$\;\;\;\;\;\delta {{S}} = {R^t}\left( {{x^t}} \right)\;\;\;\;\;$ 　//评估回归器

$\;\;\;\;\;{{{{{S}}^t} = {{{S}}^{t - 1}} + {{\delta {{S}}}}}}\;\;\;\;\;$ 　//更新形状预测

End

输出：最终的预测形状S^T

原始级联形状回归器在较小姿态偏转人脸图像上取得了较好的定位效果，但是不具有对较大姿态变化的人脸特征点定位能力. 提出基于改进级联形状回归的多视角人脸特征点定位方法，通过引入特征点的可见/不可见属性，把任意姿态下的人脸特征点定位问题转化为可见特征点定位问题，从而实现在同一模型下任意姿态二维人脸图像特征点的自动定位，算法框架如图2所示.

为了提高算法对复杂姿态角度的应对能力，针对不同遮挡人脸区域分别训练级联形状回归器，具体采用两级级联形状回归（为了便于表述，假定外层级联回归为第一级级联回归，内层级联回归为第二级级联回归）；第一级级联形状回归中的每个回归器 $R^t$分别由遮挡情况不同区域训练的回归器 $R_1^t,R_2^t, \cdots, R_{{\rm{tot}}}^t$组成，预测形状 ${{S}}^t$由这些不同区域训练回归器预测形状 ${{S}}_1^t,{{S}}_2^t, \cdots, {{S}}_{{\rm{tot}}}^t$进行加权累加得到.

假设人脸形状由P个特征点组成，传统的级联形状回归方法中定义形状 ${{{S}}_p} = [ {{x_p},{y_p}} ],p = 1,2, \cdots, P,$ ${x_p}\text{、}{y_p}$分别为第p个特征点的x、y坐标. 该方法对形状 ${{S}}_p$的定义进行扩展，定义 ${{{S}}_p} = [ {{x_p},{y_p},{v_p}} ]$， ${v_p} \in \left\{ {0,1} \right\}$表征该特征点可见或不可见. 需要特别说明的是，对特征点形状的定义可以适用于由于外物遮挡导致人脸特征点不可见的人脸特征点定位. 通过扩展 ${{S}}_p$的定义，不仅丰富了对象形状的信息，而且对任意人脸图像特征点的定位表现出更强的自适应和鲁棒特性.

通过为不同姿态人脸形状建立不同的点分布模型，可以提高模型应对姿态差异的能力. 提出根据较大姿态偏转下的自遮挡情况，将自动检测到的人脸区域按照特征点位置分为7部分（以本文标注21个特征点为例，区域①包含特征点1、2、3、4；区域②包含特征点5、10；区域③包含特征点6、7、8、9；区域④包含特征点12、16，区域⑤包含特征点11、13、15、17、18、19；区域⑥包含特征点14、20；区域⑦包含特征点21）. 如图3（a）所示，区域1、3、4、6为易遮挡部分（水平方向姿态偏转大于±60°，垂直方向姿态大于±30°），区域2、5、7为不易遮挡部分（即使水平方向偏转达到±90°）. 针对每一部分（所包含特征点）分别训练“视觉效果”不同的回归器，达到算法对不同程度遮挡下的人脸图像具有较强的适应性. 如图3（b）所示为定义特征点位置及相应顺序，当姿态偏转较大时，特征点由可见转为不可见，特征点的顺序保持不变.

研究对任意姿态人脸图像鲁棒的人脸特征点定位方法. 原始级联回归算法使用的形状索引特征定义为特征点与最近邻特征点像素灰度之间的差值，主要处理正面姿态人脸特征点定位已经不能满足任意姿态伴随各种表情、光照、遮挡变化的人脸特征点定位. 对形状索引特征进行改进，称为改进的形状索引特征. 改进形状索引特征主要基于以下考虑.

任意姿态伴有表情、光照、遮挡等变化的人脸图像由于自遮挡问题，可能导致人脸大范围区域处于遮挡状态. 原始形状索引特征计算与最近邻特征点像素之间的差值可能会出现以下2种情况：1）最近邻特征点处于自遮挡区域，这些特征点的位置不可见，由此计算的形状索引特征不可靠；2）原始形状索引特征需要查找最近邻特征点位置，这不利于算法整体效率的提高.

为了提高形状索引特征对姿态、表情、光照、遮挡等变化二维人脸图像的鲁棒性，同时保持对位置的分辨能力，对原始形状索引特征进行以下改进：1）由计算两最近邻特征点之间的像素差值改进为计算任意两特征点位置像素之间的差值，避免了最近邻特征点的查找，提高了算法的整体效率；2）计算任意两特征点以及两特征点之间某随机位置之间的像素差值，与原始形状索引特征相比，该方式既丰富了原始特征信息，也使得改进后的形状索引特征对姿态、表情、光照、遮挡等变化更加鲁棒.

改进后的形状索引特征充分考虑了人脸形状随姿态、表情、光照、遮挡变化受到的影响. 核心思想是当人脸特征点由于姿态、表情、光照、遮挡变化导致人脸特征点不可见时，特征点本身没有像素值，并且其周围可以描述该特征点位置的信息相对较少. 基于以上考虑，改进之后的形状索引特征不仅包括任意两特征点位置的像素差值，还包括任意特征点与其他特征点之间某随机位置的像素差. 相对于原始形状索引特征^[7]，改进之后的形状索引特征一方面不需要查找最近邻特征点，提高了特征计算效率；另一方面，改进之后的形状索引特征包含了更丰富的特征信息，对姿态、表情、光照、遮挡等变化更加鲁棒.

任给一幅人脸区域，首先按照特征点分布将人脸划分为7个部分，如图3（a）所示. 随机选取n幅人工标注的人脸形状，如图3（b）所示. 计算出平均形状S作为回归初始形状 ${{S}}^0$，此处使用随机蕨（random fern）做为级联的回归器. 随机蕨不但可以用于分类问题，而且可以用于回归问题. 单个随机蕨的分类或回归能力较弱，通常采用多个随机蕨的方式以增加其分类或回归预测效果. 对于分类问题，一般采用多个随机蕨进行投票的方式对测试样本进行分类，获得投票最多的为预测分类；对于回归问题，选取多个随机蕨的预测均值作为测试样本预测值.

假设有T个随机蕨回归器进行级联，在每 $t$次的迭代过程中，可以按照当前状态 ${{{S}}^{t - 1}} = [ {{x_1},{y_1},{v_1}; \cdots } $ ${x_2},{y_2},{v_2}; \cdots; {x_P},{y_P},{v_P}]$进行映射，分别得到不同人脸区域的状态，并在划分人脸区域训练不同的回归器 $ R_{1,2, \cdots, {\rm{tot}}}^t $. 每个 $R^t$回归器有K个级联回归组成，称为二级回归. 与一级回归不同的是，二级回归在每k次的迭代过程中，都需要重新计算特征，第一级回归只在回归开始计算一次特征. ${{{S}}^{t + 1}}$由 ${\rm{\delta}}{{S}}_{1,2, \cdots, {\rm{tot}}}^{t + 1}$进行加权求和得到，设 ${w_1} = {\rm{}}{w_3} = 0.2,{w_4} = {\rm{}}{w_6} = 0.15,$ ${w_2} = {w_5} = {\rm{}}{w_7} = 0.1$. 级联回归输出的最终预测形状 ${{{S}}^T} = \left[ {x_p^i,y_p^i,v_p^i} \right]$对应 $i$幅图像的各个特征点位置及可见/不可见属性，且 $v_p^i \in {\bf{R}}$. 可见/不可见属性应是二值模式，因此需要通过设定阈值 $\left( \tau \right)$的方式，将可见/不可见属性转变为二值模式.

为了验证该方法对姿态、遮挡及非约束条件下特征点定位的鲁棒性，分别使用不同的数据集对该方法进行评估实验.

数据库：共选用4个比较流行的公开数据库，分别为Multi-PIE、AFLW、COFW和300-W数据库.

Multi-PIE人脸库^[12]共采集了337人在19种不同光照条件、6种不同的表情和15种不同姿态（其中水平方向姿态偏转从－90°到+90°）下的750 000幅人脸图像. 本文选取对象编号为41~60的所有人脸图像用于训练，选取对象编号为61~70的10个人所有不同姿态人脸图像用于测试. 参数设置如下： $T = 300,K = 50,{\rm{tot}} = 7,\tau = 0.5$.

AFLW数据库^[13]包含了25 000张从互联网收集的包括各种姿态、表情、光照、种族等因素影响的图像，每个人脸都被标注了21个特征点，常被用于测试非约束条件下人脸特征点定位算法的性能. 本文方法与PIFA方法（pose-invariant 3D face alignment）^[11]选用姿态均匀分布在0°～90°的5 200张人脸图像的子集，从中选取3 901张人脸图像用于训练，其余1 299张人脸图像用于测试. 参数设置如下： $T = 250,K = 50,{\rm{tot}} = 7,\tau = 0.5$.

COFW数据库^[8]包含LFPW人脸数据库训练集中的845幅人脸图像以及其他1 000幅存在不同程度遮挡的人脸图像，部分还伴有表情、光照等变化，每个人脸标记29个特征点. 本文选用数据库已配置好的1 345张人脸图像用于训练，其余507幅严重遮挡（同时包含姿态和表情的变化）的人脸图像用于测试. 参数设置如下： $T = 200,K =$ $ 50,{\rm{tot}} = 7,\tau = 0.5$.

300-W数据库^[14]包含LFPW、HELEN、AFW、XM2VTS数据库以及iBUG数据库中135张极具姿态和表情挑战性的人脸图像并重新进行68点标定组成，数据库样本涵盖了不同程度遮挡、姿态、表情、光照、背景以及图像质量条件等情况，是目前最常用也最具挑战的人脸特征点检测数据库之一. 选择AFW、LFPW、HELEN数据库的3 148张人脸图像用作训练，余下689张人脸图像作为测试集. 参数设置如下： $T = 230,K = 50,{\rm{tot}} = 7,$ $\tau = 0.5$.

评价指标如下. 为了量化分析提出的算法，定义人脸特征点定位平均误差：

$e = \frac{1}{{\mathop \sum \limits_{i = 1}^ N\mathop \sum \limits_{p = 1}^ P}}\mathop \sum \limits_{i = 1}^N \mathop \sum \limits_{p = 1}^P \sqrt {{{(X_p^i - x_p^i)}^2} + {{(Y_p^i - y_p^i)}^2}} /{D_{{\rm{Nor}}}}.$

式中： $N$为测试样本个数， $P$为统计特征点个数， ${\rm{X}}_p^i$表示第 $i$幅人脸图像第 $p$个特征点 $x$坐标的预测值， $x_p^i$表示第 $i$幅人脸图像第 $p$个特征点 $x$坐标的真实值， ${D_{{\rm{Nor}}}}$为归一化因子. 针对姿态偏转较小的COFW和AFLW数据库， ${D_{{\rm{Nor}}}}$定义为两内眼角之间的欧式距离；对于Multi-PIE数据库，由于姿态偏转范围较大，内眼角通常不能全部可见，定义 ${D_{{\rm{Nor}}}}$为脸颊同侧外眼角与嘴角欧式距离的1/2.

为了评估该方法对大姿态偏转人脸特征点的定位效果，选择在包含较大姿态偏转的Multi-PIE人脸数据库上对该方法进行验证评估.

由于当前没有可用的报告大姿态偏转条件下人脸面部特征点的定位方法，选用原始级联形状回归方法（CPR）^[8]作为基准方法.

鉴于对比方法CPR^[8]方法不具有特征点的可见/不可见特征点预测特性，Multi-PIE数据库包含大量姿态偏转大于60°的人脸图像，故许多特征点由于姿态偏转过大而导致特征点不可见，对由于较大姿态偏转导致的不可见特征点预测本身不具有实际意义，只对可见特征点进行定位误差统计. 表1列出了该方法与对比方法在Multi-PIE数据库上所有可见特征点的平均定位误差e. 提出方法（GCPR）在Multi-PIE数据库上取得了4.14的平均定位误差，明显低于原始级联形状回归方法CPR（6.89），证明了该方法对大姿态范围人脸图像点特征点定位的有效性.

为了便于分析本文算法（GCPR）在不同姿态偏转下的各特征点定位误差，如图4所示为提出方法与基准方法（CPR）在Multi-PIE数据库测试集上不同姿态偏转下的特征点定位误差. 图中，横轴表示姿态编号，1~13分别表示−90到90的水平姿态偏转. 从图4可知，在Multi-PIE数据库上，提出方法在各姿态偏转下对特征点的平均定位误差相差很小，即提出方法对姿态偏转人脸图像具有很好的鲁棒性.

图5展示了提出算法在不同测试数据库上的定位效果. 第1列为Multi-PIE数据库，只显示可见特征点；第2列为COFW数据库；第3、4列为AFLW数据库，自遮挡特征点为不可见特征点，其他均为可见特征点. 从图5第1列可以看出，尽管人脸姿态偏转至完全侧面（−90°和+90°），利用提出方法仍然可以准确标出可见面部特征点的位置，验证了提出算法对姿态变化的鲁棒性.

为了进一步验证该方法在复杂非约束条件下的有效性，选用在采集自复杂环境下的AFLW、COFW及300-W数据库对该方法进行测试评估.

为了定性分析该方法在AFLW数据库上的人脸特征点定位情况，表2（“－”表示论文没有报告相应结果）列出了提出方法（GCPR）、基准方法（原始级联形状回归方法（CPR）^[8]）以及姿态鲁棒的人脸特征点定位方法（PIFA）^[11]在相同测试样本集上的平均定位误差e. 对于所有特征点（其中不少特征点由于姿态、遮挡表情等影响而不可见），提出方法（GCPR）取得了5.60的平均定位误差，优于所有对比方法. 对于可见特征点，由于其周围可用的特征表述信息更丰富，提出方法达到了4.45的平均定位误差.

为了进一步分析本文及对比方法对各特征点的定位情况，如图6所示为提出方法及对比方法在AFLW数据库上对各特征点的平均定位误差. 可以看出，提出算法与PIFA方法的定位性能几乎相当，在个别特征点（序号13、18）上明显优于PIFA方法；提出方法在训练过程中不需要三维人脸数据进行辅助，因此相较于PIFA方法，提出方法更加高效与实用. 提出方法与原始级联形状回归方法（CPR）相比，因为提出的特征点可见/不可见属性的引入以及特征提取、特征计算等方面的改进，提出方法的定位精度明显优于传统级联形状回归方法CPR^[8].

人脸遮挡分为自遮挡和外遮挡2种，COFW是一个包含大量外物遮挡的人脸数据库，然而不管是自遮挡还是外遮挡都会导致人脸的部分特征点不可见，因此本组实验中所有的自遮挡和外物遮挡统一标注为不可见特征点.

不同于自遮挡导致的特征点不可见，由外物遮挡导致的特征点对图像分析具有一定的作用，因此在COFW数据库上，分别对可见特征点和所有特征点进行定位误差统计. 表3和图5的第2列分别展示了提出方法在COFW数据库上面部特征点的定位效果和定位误差统计. 综合图5和表3可知精准的可见/不可见特征点定位、最低的人脸特征点定位误差，验证了提出方法（GCPR）在存在外物遮挡的人脸库上取得了很好的定位效果. 说明该方法不但对自遮挡有效，而且对外物遮挡具有很强的适用性.

测试集分为3部分，分别为来自Indoor的普通测试集、来自Outdoor的挑战测试集以及普通集（common subset）和挑战集（challenging subset）的合集（fullset）. 其中普通集包括余下LFPW和HELEN数据库的554张人脸图像，挑战集为iBUG数据库的135张人脸图像，合集为普通集和挑战集的合集共689张人脸图像.

表4列出提出方法（GCPR）与对比方法RCPR^[9]、SDM^[16]、TCDCN^[17]、ECT^[18]等在300-W数据库的普通集、挑战集以及普通集挑战集的合集上分别达到的平均定位误差. 可以看出，挑战集上达到的平均定位误差普遍大于普通集上的平均定位误差，这是由于相比普通集，挑战集人脸图像在姿态、表情方面存在更大的挑战性；不管是普通集、挑战集还是合集上，提出方法（GCPR）都取得了最小的平均定位误差，验证了提出方法在应对复杂非约束条件下的人脸面部特征点定位的有效性.

针对大姿态偏转下的人脸图像的特征点定位问题，本文提出根据任意姿态下的人脸特征点自遮挡情况，将特征点划分为可见或不可见特征点，把人脸特征点的可见/不可见属性引入到级联形状回归方法的训练过程中. 将任意姿态下的人脸特征点定位问题转化为可见特征点定位问题，从而实现在同一模型下任意姿态人脸图像特征点的自动定位. 在Multi-PIE、AFLW、COFW和300-W 4个公开人脸数据库上的实验结果表明，提出方法不但对姿态、遮挡比较鲁棒，而且对于其他复杂非可控因素综合影响人脸图像的特征点检测取得很好的效果.