浙江大学学报(工学版)

浙江大学学报(工学版), 2021, 55(1): 116-123 doi: 10.3785/j.issn.1008-973X.2021.01.014

计算机技术、自动控制技术

基于生成对抗网络的偏转人脸转正

胡惠雅,, 盖绍彦, 达飞鹏,

1. 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏 南京 210096

2. 东南大学 自动化学院，江苏 南京 210096

3. 东南大学深圳研究院，广东 深圳 518000

Face frontalization based on generative adversarial network

HU Hui-ya,, GAI Shao-yan, DA Fei-peng,

1. Key Laboratory of Measurement and Control of Complex System of Engineering, Ministry of Education, Southeast University, Nanjing 210096, China

2. School of Automation, Southeast University, Nanjing 210096, China

3. Shenzhen Institute of Southeast University, Shenzhen 518000, China

通讯作者: 达飞鹏，男，教授. orcid.org/0000-0001-5475-3145. E-mail： dafp@seu.edu.cn

收稿日期: 2020-01-3  

Received: 2020-01-3  

作者简介 About authors

胡惠雅（1996—），女，硕士生，从事计算机视觉的研究.orcid.org/0000-0003-1529-5166.E-mail：220171559@seu.edu.cn , E-mail：220171559@seu.edu.cn

摘要

为了提高偏转人脸转正的效果，借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想，将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器，形成三者对抗的网络结构. 经实验对比可知，与在生成器损失函数中添加约束相比，结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题，使用BEGAN的网络结构，可以避免这些问题，提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明，利用提出的方法能够高效地生成高质量的正面人脸图片，且保留人脸的身份特征.

关键词： 人脸生成 ; 分类器 ; 模式崩溃 ; 生成对抗网络（GAN）

Abstract

The original deep convolutional generative adversarial network (DCGAN) structure was replaced with boundary equilibrium generative adversarial network (BEGAN) by drawing on the experience of two-pathway generative adversarial network (TP-GAN) in order to improve the effect of frontalizing the rotated faces. The classifier used for discriminating face identity was added to the traditional two player network in order to form the three-player structure. Adding classifier is more effective for maintaining the consistency of face identity compared with adding constraints in the generator loss function. The adopted BEGAN can improve the training efficiency aiming at the problem that TP-GAN are complex to train and prone to the mode collapse. The experimental results on the multiple images across pose, illumination and expression (Multi-PIE) and labeled faces in the wild (LFW) dataset show that the proposed method can generate high-quality frontal face images with retaining the identity information.

Keywords： face generation ; classifier ; mode collapse ; generative adversarial network (GAN)

PDF (1638KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

胡惠雅, 盖绍彦, 达飞鹏. 基于生成对抗网络的偏转人脸转正. 浙江大学学报(工学版)[J], 2021, 55(1): 116-123 doi:10.3785/j.issn.1008-973X.2021.01.014

HU Hui-ya, GAI Shao-yan, DA Fei-peng. Face frontalization based on generative adversarial network. Journal of Zhejiang University(Engineering Science)[J], 2021, 55(1): 116-123 doi:10.3785/j.issn.1008-973X.2021.01.014

随着深度学习的不断发展，对人脸识别的研究取得了许多突破性的进展. 基于深度学习[1-2]的识别算法甚至超过了人类肉眼的水平，然而这些研究大多是在正面人脸或者近似正面人脸的前提下，在大角度偏转的情况下，即使是表现最优异的正面人脸识别算法，识别率也会大大下降[3]. 现有解决多姿态人脸识别难题的方法大致可以分为以下3类：基于姿态鲁棒的特征提取方法[4-9]、基于正面人脸生成的方法以及基于子空间分析的方法. 其中基于特征提取的方法及基于子空间分析的方法都无法有效地处理姿态偏转较大的情形，因此本文采用生成正面人脸的思路来解决这一难题. 早期的研究通过建立三维人脸模型[10-12]得到对应的正面人脸，但这对特征点的要求较高；当人脸偏转角度稍大时，二维人脸图片中有些特征点不可见，因此该方法存在局限性.

近两年来，利用生成对抗网络（generative adversarial network，GAN）进行人脸转正是解决这个难题的新思路. Huang等[13]提出分别在人脸轮廓和人脸细节进行生成的双路径生成对抗网络结构（two-pathway GAN，TP-GAN），增加的特征提取模块Light-CNN[8]使得人脸在转正的同时，能够保持身份信息. Zhao等[14]提出在姿态鲁棒模型（pose invariant model，PIM）中采用双通道的生成方法. 这两种方法涉及的都是二维人脸，Yin等[15-17]将三维人脸形变模型[11]（3D morphable model，3DMM）应用到生成对抗网络中，得到形状和纹理参数，为人脸结构的精准恢复提供先验.

本文结合Huang等[13]的工作，引入边界均衡生成对抗网络[18]（boundary equiblirium generative adversarial network，BEGAN）来解决诸多GAN的训练难题，使得网络能够高效收敛，同时提高人脸转正的速度. 为了保持人脸转正前、后的身份一致性，将特征提取模块作为生成对抗网络的第3个组成结构，与生成器进行对抗. 本文论述和实验都证明，这2个改进方法对人脸转正的效率有重大的提升.

1. 研究背景

1.1. 双通道人脸生成的思想

Huang等[13-15]开展了双通道人脸生成的相关工作，在生成对抗网络的基础上，利用双通道同时感知人脸图片中整体信息和细节信息方法的有效性得到了证实. Yin等[15]提出的FF-GAN（face frontalization GAN）将3DMM系数及原始人脸输入到网络中，其中的3DMM系数提示了原始人脸的整体姿态信息，但缺失人脸的细节信息，原始人脸中包含了人脸的细节信息，补充输入可以消除3DMM模型的局限性. TP-GAN[13]和PIM[14]都利用了双通道人脸生成的思想，提取的人脸局部区域作为细节信息，原始人脸图片提供轮廓信息，二者配合达到人脸转正的目的. 本文采用双通道的人脸生成结构.

1.2. 条件生成对抗网络（conditional GAN，cGAN）[19]

与最初的GAN相比，在cGAN中，生成器和判别器都加入了额外信息y作为条件输入，传统的生成网络中通过学习随机变量 ${{z}}$得到图像 ${{x}}$，即 $G:{z} \to {{x}}$；在cGAN中，生成器依靠输入数据 ${{y}}$及随机变量 ${{z}}$而学习得到图像 ${{y}}:G:\{ {{y}},{{z}}\} \to{{ x}}$.

条件生成对抗网络的学习模型可由下式表达：

$ \begin{split} \mathop {\min }\limits_{{{{G}}}} \mathop {\max }\limits_{{{{D}}}} V({{D}},{{G}}){\rm{ = }}&{E_{{{x}} \sim {p_{{\rm{data}}}}({{x}})}}[\log_{2} D(\left. \!{{x}} \right|{{y}})] + \\ &{E_{{{{{z}}}} \sim {p_{\rm{{\textit{z}}}}}({{{{z}}}})}}[\log_{2} (1 - D(G({{{{z}}}}|{{y}})))]. \end{split} $
(1)

式中：D为判别器。其中生成器和判别器都加入了额外信息 ${{y}}$.

为了证明双路径人脸生成的合理性，采用条件生成网络模型对人脸进行转正研究，结果对比见2.1节.

1.3. BEGAN[18]

在GAN的发展历程中，DCGAN将卷积神经网络应用在生成对抗网络中，实现了对网络的改进. DCGAN不能解决GAN中存在的一些训练难题：训练复杂、生成器与判别器训练时的不平衡（在网络刚开始训练的时候，往往判别器呈压倒性优势）、生成器生成的样本多样性不足（即产生模式崩溃，生成器倾向于生成同一种样本）、缺乏对网络训练程度的可视化参数等.

WGAN[20]（Wassertein GAN）通过严格的数学证明阐述了原始GAN训练困难的原因，即DCGAN在训练时实际上是在最小化生成数据分布与真实数据分布之间的JS散度，这在训练时容易导致梯度消失的问题[18]. WGAN采用另外一种距离度量−Wasserstein距离，能够稳定地提供有意义的梯度，解决了原始GAN中训练困难的问题，提供了网络的训练进程指标.

BEGAN采用Wasserstein距离度量的思想设计损失函数，解决了原始GAN的训练难题。BEGAN与原始GAN的优化目标略有不同，原始GAN要求生成器生成的数据分布尽可能地拟合真实数据分布，BEGAN要求二者经自编码器（判别器）后的重建误差分布尽可能拟合。重建误差的计算公式为

$ \begin{array}{{l}} L({{v}}) = {\left| {{{v}} - D({{v}})} \right|^\eta } . \end{array} $
(2)

式中： v表示判别器的输入数据； D（v）表示判别器 D的输出；η为范数选择参数， $\eta \in {\rm{\{ 1,2\} }} $ ， η=1表示选择使用 ${l_1} $范数，η=2表示使用 ${l_2} $范数。BEGAN中的判别器D使用的是自编码器（Auto-encoder）结构，输入输出具有一样的格式（即输入是图片，则输出为图片），因此L（v）可以看成是输入数据经判别器D后的重建误差。

BEGAN在训练时采用比例控制理论，保持生成器和判别器在训练时的平衡，即

$ \gamma = \dfrac{{E[L(G( {{{{z}}}} ))]}}{{E[L({{x}})]}}. $
(3)

式中： $E[L(G( {{{{z}}}} ))]$和 $E[L({{x}})]$分别为生成数据和真实数据逐像素误差的期望值. 在生成器与判别器两者达到平衡时，判别器无法判别出真实样本和生成样本，两者应该相等，即

$ E[L(G( {{{{z}}}} ))] = E[L({{x}})]. $
(4)

为了松弛这一条件，BEGAN加入超参数 $\gamma \in [0,1.0]$. 超参数的存在允许对生成器及判别器进行自定义的平衡训练，训练时能够通过选择 $\gamma $来调节生成效果. 比例控制理论使得训练能够稳定、快速地进行，避免了DCGAN对生成器和判别器进行交替训练，大大提高了网络收敛的速度.

综上所述，BEGAN为了最小化2个误差分布的Wasserstein距离，将优化目标转化为求2个误差分布距离的下界. 经推导可知，最终优化目标为最小化 ${L_{{D}}}$和 ${L_{{G}}}$，定义如下：

$ \left. {\begin{array}{l} {L_D} = L({{x}}) - {k_t}L(G({{{{z}}}})), \\ {L_G} = L(G({{{{z}}}})) ,\\ {k_{t + 1}} = {k_t} + {\lambda _k}[\gamma L({{x}}) - L(G({{{{z}}}}))]. \\ \end{array} } \right\}$
(5)

式中： z表示输入服从高斯分布的随机噪声，L(x)为真实数据的重建误差，L(G(z))为生成数据的重建误差。对于生成器来说，优化目标是使生成人脸图片的重建误差L(G(z))尽可能小，而判别器与之相反，在保证L(x)尽可能小的情况下，最大化生成图片的重建误差L(G(z))。 ${k_t} $的作用在于维持式（3）中 $\gamma $的稳定，通过 ${\lambda _k} $来修正， ${k_t} $的初始值为0，越接近均衡状态， ${k_t} $的修正幅度越小。超参数 $\gamma $及 ${k_t} $使得BEGAN不需要使用传统的交替训练方法也能够高效收敛，大大提高了网络的性能。综上所述，BEGAN改善了传统的生成对抗网络中存在的难题，使得利用最普通的网络结构能够高效收敛。

2. 网络结构

基于BEGAN的双路径人脸转正示意图如图1所示. 整个网络结构由生成器G、分类器C、判别器D 3部分组成，其中生成器G是分别对人脸细节部分、人脸整体两部分进行偏转的双通道结构， ${{{G}}_{{\rm{pt}}}}$表示局部细节通道， ${{{G}}_{\rm{g}}}$表示全局通道，生成器生成的人脸为 ${ I^{{\rm{pred}}}}$，对应的真实人脸（ground truth）为 ${ I^{{\rm{gt}}}}$，分类器C和对抗器D的输入均为 ${ I^{{\rm{pred}}}}$和 ${ I^{{\rm{gt}}}}$，作用均为使 ${ I^{{\rm{pred}}}}$和 ${ I^{{\rm{gt}}}}$尽可能接近. 分类器C与对抗器D分别与生成器G进行对抗，在保证人脸生成质量的同时（对抗器），更好地保持人脸身份（分类器）. 为了详细介绍本文的网络结构，分别从双路径的人脸合成、对抗器及分类器介绍两部分进一步阐述.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   整体网络结构示意图

Fig.1   Diagram of whole network structure


2.1. 双路径的人脸合成

2.1.1. 单路径合成人脸效果对比

当利用传统的生成对抗网络生成人脸图片时，往往是将姿态偏转人脸图片和随机噪声z一同作为生成器的输入（即前述cGAN的网络结构）. 其中姿态偏转图片为条件输入，在这种情况下，生成的正面人脸往往存在细节模糊、变形严重的问题。这是由于人脸是高度复杂的三维立体结构，单独输入偏转人脸整体会由于约束条件的缺乏而难以恢复出正脸图片. 将整体偏转人脸作为条件输入，在Multi-PIE（multiple images across pose，illumination and expression）数据集上得到偏转人脸转正结果，如图2所示.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   cGAN结构下单路径人脸合成效果图

Fig.2   Results of single-path generator by cGAN


从图2可以看出，单独输入偏转人脸会导致人脸中的细节信息丢失，生成人脸的质量大大下降. 这一点可以从中间和右侧图片对比可以看出，人脸的边缘轮廓不清晰，存在重影的问题，眼部和嘴部细节信息丢失严重.

2.1.2. 双路径人脸生成结构

考虑到单路径人脸合成时细节丢失严重的问题，在转正偏转人脸整体的基础上，通过加入局部细节信息，增加对人脸结构的约束条件，实现人脸结构的精准恢复.

采用双路径的人脸合成结构（结构示意图如图3所示），将偏转人脸以及对其提取的局部区域分别输入网络中，得到转正后的人脸轮廓及眼部、鼻部、嘴部等局部信息. 将两部分进行融合，得到最终的生成人脸图片. 双通道的网络结构都采用类似的编码-解码网络结构. 在将双通道的提取结果进行融合的过程中，将4部分局部区域的信息进行整合，将分辨率提高到与整体人脸图片一样（其中重叠区域部分取其中的最大值）. 于是有了在同一分辨率下的双通道合成人脸图片，将这两部分同样大小的人脸一同输入到后续的卷积层中进行进一步的融合，得到最终的生成人脸图片 ${ I^{{\rm{pred}}}}$.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   双路径生成正面人脸结构示意图

Fig.3   Diagram of two-pathway generator for generating frontalized faces


2.2. 对抗器及分类器介绍
2.2.1. 对抗器结构及损失函数设计

如图4所示为判别器结构示意图. 图中， ${ I^{{\rm{pred'}}}}$和 ${ I^{{\rm{gt'}}}}$分别为两者经过判别器（自编码器）后的输出，对两者前、后的误差控制可以使生成图片不断接近真实人脸.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   判别器结构示意图

Fig.4   Diagram of discriminator structure


与DCGAN不同的是，本文将判别器设计为自编码器，得到 ${ I^{{\rm{pred}}}}$及 ${ I^{{\rm{gt}}}}$的逐像素误差，对二者的逐像素误差进行比例控制，有效地控制生成器和判别器在训练时的平衡. 采用的Wasserstein距离度量能够实时地反映2个误差分布之间的距离，避免梯度消失问题的发生. 根据BEGAN的理论分析可知，判别器和生成器的优化目标如下：

${L_{{D}}} = L({ I^{{\rm{gt}}}}) - {k_t}L({ I^{{\rm{pred}}}}),$
(6)

${L_{{G}}} = L({ I^{{\rm{pred}}}}),$
(7)

${k_{t + 1}} = {k_t} + {\lambda _{{k}}}[\gamma L({{x}}) - L(G({{{{{z}}}}_{\rm{G}}}))].$
(8)

式中： $L({ I^{{\rm{gt}}}}) $、 $L({ I^{{\rm{pred}}}}) $分别为图3中真实正面人脸 ${ I^{{\rm{gt}}}}$和生成人脸 ${ I^{{\rm{pred}}}}$经判别器D前、后的逐像素误差（定义方法见式（2））， $L({ I^{{\rm{gt}}}}) = \left\| {{ I^{{\rm{gt}}}} - { I^{{\rm{gt'}}}}} \right\|$， $L({ I^{{\rm{pred}}}}) = \left\| {{ I^{{\rm{pred}}}} - { I^{{\rm{pred'}}}}} \right\|$.

2.2.2. 分类器结构及损失函数设计

在进行人脸转正的过程中，保持人脸身份的一致性是其中最重要的部分. 在其他研究中，这一目标都通过在生成器中添加对应的损失函数来实现. 本文将分类器单独作为一个结构与生成器进行对抗，在生成器的训练过程中，进行不断地调整训练，与仅作为监督损失相比，该方法可以更好地保持人脸身份一致性并加速网络的收敛.

分类器C和判别器D联合起来与生成器G进行对抗，其中分类器C起到保持人脸身份的作用，判别器D保证生成人脸的质量. 分类器的结构示意图如图5所示. 图中， ${ I^{{\rm{rot}}}}$为原始偏转人脸图片，分类器C和判别器D的2个输入为 ${ I^{{\rm{gt}}}}$及 ${ I^{{\rm{pred}}}}$，分类器C为提前训练好的Light-CNN模型. 与对抗器一样，分类器的目标是尽可能地分开 ${ I^{{\rm{pred}}}}$和 ${ I^{{\rm{gt}}}}$，经分类器提取的特征分别记为 $ f_{{\rm{id}}}^{{\rm{gt}}}$和 $ f_{{\rm{id}}}^{{\rm{pred}}}$. 分类器的结果标签定义为1~2N，其中真实人脸图片对应为前N个标签，生成图片对应后N个标签. 交叉熵损失函数分别对应为

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   分类器结构示意图

Fig.5   Diagram of classifier structure


$\phi \left( {{ I^{{\rm{gt}}}},l_{{\rm{id}}}^{{\rm{gt}}}} \right) = \sum\limits_j { - {{ {l_{{\rm{id}}{,j}}^{{\rm{gt}}}} }}\log_2 \left( {{{ {C_j\left( {{ I^{{\rm{gt}}}}} \right)} }}} \right)},$
(9)

$\phi \left( {{ I^{{\rm{pred}}}},l_{{\rm{id}}}^{{\rm{pred}}}} \right) = \sum\limits_j { - {{ {l_{{{\rm id},j}}^{{\rm{pred}}}} }}\log_2 \left( {{{ {C_j\left( {{ I^{{\rm{pred}}}}} \right)} }}} \right)} .$
(10)

式中： $j \in \{ 1,\cdots,2N\}$， $l_{{\rm{id}}}^{{\rm{gt}}}$和 $l_{{\rm{id}}}^{{\rm{pred}}}$分别表示真实人脸和生成人脸图片对应的分类器标签， ${ {l_{{\rm{id}}}^{{\rm{gt}}}} _{,j}}$为第j张 ${I^{{\rm{gt}}}} $对应的正确标签， ${ {C_j({{{I}}^{{\rm{gt}}}})}}$为对第j个真实人脸的输出标签， ${ {l_{{\rm{id}},j}^{{\rm{pred}}}}}$为第j张 ${{{I}}^{{\rm{pred}}}}$对应的正确标签， ${ {C_j({{{I}}^{{\rm{pred}}}})} }$为对第j个生成人脸的输出标签。 由于生成人脸在特征空间上应与对应的真实人脸图片较接近，设计分类器的损失为上述两部分的加权和，权重系数为 $\alpha $,即

${L_{{C}}} = \phi \left( {{ I^{{\rm{gt}}}},l_{{\rm{id}}}^{{\rm{gt}}}} \right) + \alpha \phi \left( {{ I^{{\rm{pred}}}},l_{{\rm{id}}}^{{\rm{pred}}}} \right).$
(11)

3. 生成器损失函数设计

3.1. 对抗损失、逐像素级损失和人脸对称损失

设置生成器，分别与判别器及分类器进行对抗生成. 针对生成图片质量及保持身份的一致性，分别建立损失函数，即 $L\left( {{ I^{{\rm{pred}}}}} \right)$和 ${d^{\cos }}\left( { f_{{\rm{id}}}^{{\rm{gt}}}, f_{{\rm{id}}}^{{\rm{pred}}}} \right)$：

${L_{{\rm{adv}}}} = {\lambda _0}L\left( {{ I^{{\rm{pred}}}}} \right) + {\lambda _1}{d^{\cos }}\left( { f_{{\rm{id}}}^{{\rm{gt}}}, f_{{\rm{id}}}^{{\rm{pred}}}} \right),$
(12)

${d^{\cos }}\left( { f_{{\rm{id}}}^{{\rm{gt}}}, f_{{\rm{id}}}^{{\rm{pred}}}} \right) = 1 - \dfrac{{ f_{{\rm{id}}}^{{\rm{g}}{{\rm{t}}^{\rm{T}}}} f_{{\rm{id}}}^{{\rm{pred}}}}}{{{{\left\| { f_{{\rm{id}}}^{{\rm{gt}}}} \right\|}_2}{{\left\| { f_{{\rm{id}}}^{{\rm{pred}}}} \right\|}_2}}}.$
(13)

生成器的对抗损失设计为这两部分的加权和，权重分别设为 ${\lambda _0}$和 ${\lambda _1}$. 其中分类器损失函数的具体公式为式（10）.

在双路径网络结构中，建立合成的正面人脸与真实人脸之间的逐像素损失函数：

$ {L_{{\rm{pixel}}}} = \frac{1}{{W H}}\sum\limits_{x = 1}^W {\sum\limits_{y = 1}^H {\left| {I_{x,y}^{{\rm{pred}}} - I_{x,y}^{{\rm{gt}}}} \right|} } . $
(14)

对双路径结构中的整体偏转人脸及局部人脸区域分别建立逐像素间损失，随后对二者融合后的输出建立逐像素间损失. TP-GAN在该过程中，在不同尺度上均建立了逐像素损失，由于采用了BEGAN结构，即使仅在一个尺度上建立逐像素损失函数，也能够生成高分辨率人脸图片，因此与TP-GAN相比，省去了繁琐的计算.

在默认情况下，人脸都是左右对称的，可以利用这一点对人脸建立对称性损失. 在人脸存在部分遮挡的时候，该损失可以显著提高图片质量.

${L_{{\rm{sym}}}} = \frac{1}{{{WH / 2} }}\sum\limits_{x = 1}^{{W / 2}} {\sum\limits_{y = 1}^H {\left| {I_{x,y}^{{\rm{pred}}} - I_{W - (x - 1),y}^{{\rm{pred}}}} \right|.} } $
(15)

3.2. 生成模型损失函数

生成器最终的损失函数可以表示为上述各损失的加权和，如下所示：

$\begin{split} {L_{{G}}} =& {L_{{\rm{adv}}}} + {\lambda _2}{L_{{\rm{pixel}}}} + {\lambda _3}{L_{{\rm{sym}}}} + {\lambda _4}{L_{{\rm{tv}}}} =\\ &{\lambda _0}L\left( {{ I^{{\rm{pred}}}}} \right) + {\lambda _1}{d^{\cos }}\left( { f_{{\rm{id}}}^{{\rm{gt}}}, f_{{\rm{id}}}^{{\rm{pred}}}} \right) + \\ \\ &{\lambda _2}{L_{{\rm{pixel}}}} + {\lambda _3}{L_{{\rm{sym}}}} + {\lambda _4}{L_{{\rm{tv}}}}. \end{split} $
(16)

式中： ${L_{{\rm{tv}}}}$为正则化项，主要目的是减少生成过程中产生的突变、伪影等； $ {\lambda }_{0}{\text{、}}{\lambda }_{1}$ 为式（12）中两部分对抗损失的权重， ${\lambda }_{2}{\text{、}}{\lambda }_{3}{\text{、}}{\lambda }_{4}$分别为各个损失函数的权重系数.

4. 结果与分析

4.1. 实验设置

该实验训练数据集为Multi-PIE数据集. 该数据集包含337个人、15种姿态在20种不同光照条件下的图片，图片数目超过了750 000张. 每张图片都有对应的身份信息标签. 选用同一种光照条件下的13种不同姿态图片，划分训练集及测试集. 在训练前对图片提取特征点，尺寸大小统一归一化为128×128并进行对齐，局部生成路径中的人脸各区域（双眼、鼻部、嘴部）的大小分别固定为40×40、40×40、32×40和32×48.

在Multi-PIE数据集中进行训练时，分别在Setting-1和Setting-2下开展.

1）Setting-1针对姿态、光照和微小表情的变化，只包含序列1（Multi-PIE中一共有4个序列）中的图片，包括这249人在20种光照变化下的11种姿态的图片. 其中149人用作训练，余下的100人用于测试，测试时无偏转角度的中性脸作为标准人脸.

2）Setting-2包含人脸姿态、光照和序列的变化情况，它包含了所有4个序列下的所有337个个体的无表情变化人脸. 包含13种姿态及20种光照条件下的不同人脸，其中前200人作为训练集，在137人组成的测试集中，将正面中性人脸作为标准人脸，其余均为实验样本.

对抗网络结构中的基本参数设置如下：batchsize、学习率分别设置为8、10−4，生成器中输入的随机噪声为100维，来自于（−1，1）的标准正态分布，参数 ${\lambda }_{0}{\text{、}}{\lambda }_{1}{\text{、}}{\lambda }_{2}{\text{、}}{\lambda }_{3}{\text{、}}{\lambda }_{4}$分别设置为20、40、1、0.3、10−3. 在式（3）的 ${k_t}$更新方式中，设置 ${\lambda _{{k}}}$的初始值为0， $\gamma $设置为0.5.

4.2. 结果分析

对偏转人脸进行转正的同时，保留了对应人脸的身份特征，因此对人脸转正和人脸识别2个方面进行实验分析. 人脸转正在Multi-PIE数据集及LFW（labeled faces in wild）数据集上进行，人脸识别效果通过在Multi-PIE上利用Light-CNN进行特征提取，计算人脸相似度来定量分析，将实验结果与其他方法进行对比.

4.2.1. 人脸转正

为了反映人脸转正的效果，截取Multi-PIE数据集中的部分人脸偏转结果，如图6所示. 图中，奇数列为真实人脸，偏转角度分别为90°、75°、60°、45°、30°和15°；偶数列为生成的正面人脸；最后一列为真实正面人脸. 如TP-GAN所述，当训练数据足够时，辅以特定的网络结构及精心的网络设计，即使偏转人脸角度达到±90°时，也可以得到转正后的人脸.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   Multi-PIE人脸集不同角度下的人脸偏转结果

Fig.6   Synthesis results of face frontalization under varied poses on Multi-PIE dataset


4.2.2. 人脸识别

为了分析人脸转正的效果，本文与相关研究一样，将Light-CNN结构下提取特征进而算得的Rank-1识别率R作为衡量转正效果的指标. 识别实验分别在Setting-1和Setting-2两种场景下开展，识别结果分别如表1、2所示.

表 1   Multi-PIE人脸数据集在Setting-1下的人脸Rank-1识别率

Tab.1  Rank-1 recognition rates on Multi-PIE dataset under Setting-1

方法 R/%
±90° ±75° ±60° ±45° ±30° ±15°
Hassner[21] − − 44.81 74.68 89.59 96.78
TP-GAN[13] 64.03 84.10 92.93 98.58 99.85 99.78
DR-GAN[22] − − 83.20 86.20 90.10 94.00
本文方法 66.76 93.20 95.28 98.78 99.83 99.60

新窗口打开| 下载CSV


表 2   Multi-PIE人脸数据集在Setting-2下的人脸Rank-1识别率

Tab.2  Rank-1 recognition rates on Multi-PIE dataset under Setting-2

方法 R/%
±90° ±75° ±60° ±45° ±30° ±15°
DR-GAN[22] − − 83.20 86.20 90.10 94.00
TP-GAN[13] 64.64 77.43 87.72 95.38 98.06 98.68
FF-GAN[15] 61.20 77.20 85.20 89.70 92.50 94.60
本文方法 70.02 80.60 89.70 95.98 98.72 98.90

新窗口打开| 下载CSV


从实验结果可以看出，在各个角度下的生成人脸均已达到与TP-GAN相近的效果，其中本文在大角度偏转时人脸识别率更高；在±75°时，本文达到了93.2%的识别率，高于同角度下TP-GAN中的识别效果（84.1%），提高了近9.1%. 在Setting-1下，低于±30°下的实验结果略微低于TP-GAN，这可能是因为在±30°下，人脸识别近似为对正面人脸的识别，在近似正面人脸的识别中，现有的人脸识别率都达到了95%以上的效果，此时人脸识别率的细微差异意义不大. 本文的实验结果说明对TP-GAN网络结构的改进是有效的.

从表1可以看出，本文的方法相比于DR-GAN、TP-GAN、FF-GAN，基本都达到了相同角度下的最佳值；本文方法在大角度下的人脸识别效果得到了大幅度提高，说明本文对侧面人脸进行转正的方法对传统中人脸识别是非常有意义的尝试，对解决目前人脸识别难题中的姿态问题具有重要意义.

4.2.3. 鲁棒性测试

为了证明利用本文方法可以更加精准地对人脸进行转正，在LFW数据集上来验证本文方法对人脸验证的有效性（本文在Multi-PIE数据集上进行训练）. 应用本文方法对LFW进行人脸转正的结果如图7所示. 从实验结果可知，本文方法能够很好地应用在其他数据集上，即本文方法有一定的鲁棒性.

图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   不同方法在LFW数据集上的生成效果对比图

Fig.7   Synthesis results of different methods on LFW dataset


与其他结果对比可知，本文方法可以更好地对未受限场景下的人脸图片进行人脸转正.

4.3. 其余对比实验
4.3.1. 损失函数分析

在生成正面人脸的过程中，利用人脸是复杂的非线性三维立体结构建立多重损失函数. 为了验证各部分损失函数在人脸的生成过程中起到的作用，在保留其他部分的情况下，分别将这些损失函数移除并观察生成效果，如图8所示。在Setting-2中的定量对比分析见表3.

表 3   不同结构模型在Setting-2下的Rank-1识别率对比

Tab.3  Rank-1 recognition rates of different model under Setting-2

方法 R/%
±90° ±75° ±60° ±45° ±30° ±15°
w/o ${\rm{D}}$ 46.28 53.44 55.65 57.59 60.10 67.62
w/o ${L_{{\rm{rot}}}}$ 54.65 65.45 80.39 87.05 92.89 94.49
w/o ${L_{{\rm{sym}}}}$ 68.93 78.32 85.20 93.96 95.37 97.58
w/o ${\rm{C}}$ 67.06 76.83 86.73 93.78 96.35 97.06
本文方法 70.02 80.60 89.70 95.98 98.72 98.90

新窗口打开| 下载CSV


图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   不同结构模型（损失函数不同）的生成效果对比图

Fig.8   Model comparison：synthesis results using different loss function


从图8可以看出，本文方法在所有方法中表现最优异. 为了验证3种（生成器、判别器和分类器）对抗生成方法的有效性，将身份一致损失作为监督损失加入网络模型中（同时去掉分类器）进行对比. 如图8的第5列所示，在将分类器去掉，将人脸身份一致损失加入生成器的损失函数中时，得到的生成效果与本文方法得到的结果有差距，有验证了第3个网络结构分类器的有效性.

在缺失判别器D时，人脸图片的生成效果大大下降，图片模糊的同时有大量高频信息. 在没有对人脸进行对称生成（缺失 ${L_{{\rm{sym}}}}$）时，生成的人脸图片细节模糊并含有大量的噪声，移除局部人脸生成路径（缺失 ${L_{{\rm{rot}}}}$）后，人脸的眼部细节、鼻部细节等局部存在伪影，这是由于两者的损失函数在保证人脸细节信息的同时有加速网络收敛的作用.

4.3.2. 训练时间对比分析

本文方法在配备有Nvidia GeForce GTX 1080显卡的电脑上运行，由于本文方法与TP-GAN结构相比，增添了单独的分类器结构，从而会增添网络的训练时间，降低网络训练的效率. 采用的BEGAN结构相比于原方法中的DCGAN结构，训练更简捷方便（详见文献[18]），可以加速网络收敛. 记录本文方法与TP-GAN方法的训练时长T并进行比较（训练时长T即两者到达网络收敛时所历经时长）. 为了便于比较，假设在Multi-PIE数据集上的人脸Rank-1识别率无提升时可以认定为网络收敛. 在同一台电脑上分别运行2种方法，将两者的batchsize都设为8，epoch设为150，得到本文方法所需的训练时长约为61.5 h，TP-GAN的训练时长约为54 h。这表明本文方法相较于TP-GAN方法的计算耗时略有增加，约增加了14%. 可以看出，两者的计算效率总体差别不大，在可接受范围之内. 从表1、2可以看出，本文方法对大角度偏转人脸而言，转正效果更好，且本文的BEGAN网络结构更加简洁高效，对生成对抗网络的结构进行了有意义的探索. 在计算效率大致相同的条件下，本文方法对偏转人脸转正的效果更好，表明本文方法具有更高的精度.

5. 结　语

本文针对双路径人脸生成模型生成正面人脸，作出结构上的改进，能够在保证生成图片质量、保持人脸身份特征的同时使得网络能够快速收敛. 采用基于BEGAN的网络结构，同时采用双通道人脸生成的方法，相比Huang等[13-14]的双路径网络结构训练更加稳定高效，实现生成样本的多样性及网络收敛程度的可视化. 添加Light- CNN分类器作为生成对抗网络中的第3个结构与生成器对抗，与将身份一致性损失仅作为监督损失相比，从结构上添加身份约束能够在更好地保持身份的同时，加速网络收敛. 通过实验证明，单独将分类器作为一个结构，可以更好地保留人脸身份. 实验结果表明，本文方法对提高生成正面人脸的质量有着重要意义，可以更好地解决非受限情境下的人脸识别问题. 本文提出的对GAN结构的修改对其他应用GAN的情况是一种新的尝试.

参考文献

SUN Y, CHEN Y, WANG X, et al. Deep learning face representation by joint identification-verification [C] // International Conference on Neural Information Processing Systems. Montreal: MIT Press, 2014.

[本文引用: 1]

SUN Y, WANG X G, TANG X O. Deep learning face representation from predicting 10, 000 classes [C] // IEEE Conference on Computer Vision and Pattern Recognition. Ohio: IEEE, 2014: 1891-1898.

[本文引用: 1]

LI S, LIU X, CHAI X, et al

Maximal likelihood correspondence estimation for face recognition across pose

[J]. IEEE Transactions on Image Processing, 2014, 23 (10): 4587- 4600

DOI:10.1109/TIP.2014.2351265      [本文引用: 1]

WISKOTT L, FELLOUS J M, NORBERT K, et al

Face recognition by elastic bunch graph matching

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 19 (7): 456- 463

[本文引用: 1]

BISWASS S, AGGARWAL G, FLYNN P J, et al

Pose-robust recognition of low-resolution face images

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (12): 3037- 3049

DOI:10.1109/TPAMI.2013.68     

CHEN D, CAO X, WEN F, et al. Blessing of dimensionality: high-dimensional feature and its efficient compression for face verification [C]// IEEE Conference on Computer Vision and Pattern Recognition. Portland: IEEE, 2013: 3025-3032.

ZHANG Y, SHAO M, WONG E K, et al. Random faces guided sparse many-to-one encoder for pose-invariant face recognition [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Sidney: IEEE, 2013: 2416-2423.

WU X, HE R, SUN Z, et al

A light CNN for deep face representation with noisy labels

[J]. IEEE Transactions on Information Forensics and Security, 2018, 13 (11): 2884- 2896

DOI:10.1109/TIFS.2018.2833032      [本文引用: 1]

SCHROFF F, KALENICHENKO D, PHILBIN J. Facenet: a unified embedding for face recognition and clustering [C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 815-823.

[本文引用: 1]

PRABHU U, HEO J, SAVVIDES M

Unconstrained pose-invariant face recognition using 3D generic elastic models

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33 (10): 1952- 1961

DOI:10.1109/TPAMI.2011.123      [本文引用: 1]

BLANZ V, VETTER T. A morphable model for the synthesis of 3D faces [C]// Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles: ACM, 1999: 187-194.

[本文引用: 1]

ALDRIAN O, SMITH W A P, et al

Inverse] rendering of faces with a 3D morphable model

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (5): 1080- 1093

DOI:10.1109/TPAMI.2012.206      [本文引用: 1]

HUANG R, SHU Z, TIANYU L, et al. Beyond face rotation: global and local perception GAN for photorealistic and identity preserving frontal view synthesis [C]// IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 2439-2448.

[本文引用: 7]

ZHAO J, CHENG Y, XIU Y, et al. Towards pose invariant face recognition in the wild [C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 2207-2216.

[本文引用: 3]

YIN X, YU X, SOHN K, et al. Towards large-pose face frontalization in the wild [C]// IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 3990-3999.

[本文引用: 4]

ZHU X, LEI Z, YAN J J, et al. High-fidelity pose and expression normalization for face recognition in the wild [C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 787-796.

SHEN Y J, LUO P, YAN J J, et al. FaceID-GAN: learning a symmetry three-player GAN for identity-preserving face synthesis [C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 821-830.

[本文引用: 1]

BERTHELOT D, SCHUMM T, METZ L. BEGAN: boundary equilibrium generative adversarial networks [EB/OL]. (2017-05-31). https://arxiv.org/pdf/1703.10717.pdf.

[本文引用: 4]

ISOLA P, ZHU J Y, ZHOU T, et al. Image-to-image translation with conditional adversarial networks [C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 5967–5976.

[本文引用: 1]

ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein GAN [EB/OL]. (2017-12-06). https://arxiv.org/pdf/1701.07875.pdf.

[本文引用: 1]

HASSNER T, HAREL S, PAZ, et al. Effective face frontalization in unconstrained images [C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 787-796.

[本文引用: 1]

TRAN L, YIN X, LIU X M. Disentangled representation learning GAN for pose-invariant face recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 5967–5976.

[本文引用: 2]

/

〈 〉