三维人体模型在人机交互、服装设计、虚拟试衣等领域有着广泛的应用，如何快速、低成本地重建高精度的三维人体模型，一直是计算机图形学领域的重点研究方向.

传统的三维人体重建方法主要包括基于多视角数据融合的方法和基于模板形变的方法. 按照数据来源的不同，基于多视角数据融合的方法可以细分为基于色彩数据(RGB)^[1]、深度数据(Depth)^[2-4]和色彩-深度数据(RGB-D)^[5]的三维重建方法. 常见的图像特征提取方式，如SIFT、SURF、HOG等，容易受到外界因素干扰，如光照. 高精度的激光扫描仪面临高昂的设备和安装成本，低成本RGB-D相机面临原始数据精度的挑战.

基于模板形变的方法需要事先设定拓扑结构已知的模板人体，通过从RGB/RGB-D图像中提取目标人体的正、侧面轮廓以及关键点位置等信息^[6-8]，驱动模板人体形变. 从低维特征数据恢复高维模型本身是一个病态问题，因而基于模板形变的方法通常无法保证重建结果的稳定性与精度.

随着参数化人体模型SCAPE^[9]和SMPL^[10]的广泛应用及深度学习的快速发展，基于深度学习的人体建模被逐渐应用于越来越多的场合. 主要思路大多是从图像中提取关键点^[11]、轮廓^[12-15]、热图^[12]或对图像进行语义分割^[11,16]，通过约束人体姿态/形态参数、正面轮廓、关键点位置等，建立输入图像与人体形态参数、姿态参数之间的映射模型. 单视角数据往往不能全面地反映人体表面形状信息，LSP^[17]、Human3.6M^[18]、UP-3D^[19]等常见数据集中的人体姿态、服装款式丰富且背景复杂多变，重建结果往往更侧重于恢复姿态信息，形状精度一般不高.

本文提出由LeNet-5从单张着装图像重建三维人体的方法，以A-pose人体的二值化图像为输入，通过对公开数据集中的虚拟人体进行数据扩增并穿着不同款式、尺寸的服装，构建着装人体数据集；以人体形状参数误差、正/侧面轮廓误差为损失函数，开展模型迭代优化，实现快速、高精度的三维人体重建.

如图1所示，从公开数据集^[20]中获取约1 500组女性真实人体样本数据. 利用SMPL调整人体姿态后，在流型空间上使用主测地线分析(principle geodesic analysis, PGA)进行数据扩增，利用Marvelous Designer^①给虚拟人体穿上不同款式、不同尺寸的服装，构建着装人体数据库.

对于在流型空间上扩增后的人体数据库，采用PCA进行降维，以低维度的PCA主轴系数向量γ表征高维人体；对于着装人体数据库中的每一个样本人体，通过投影得到正面轮廓图像，从中提取特征. 为了能够更加准确地建立着装人体正面轮廓图像与人体形状空间之间的映射模型，重建结果进行重投影，得到三维人体正、侧面轮廓图像. 以PCA主轴系数向量误差、人体正、侧面轮廓误差为损失函数，迭代优化模型，实现了基于单张着装人体正面图像的三维人体重建.

现有的着装人体数据集，如Human3.6M^[18]、LSP^[17]、UP-3D^[19]等，人体姿态信息丰富且背景复杂多变，更适用于人体姿态信息恢复，难以实现高精度三维人体重建. 为了减小人体姿态及拍摄环境对重建结果的影响，以扫描人体数据为基础，采用SMPL表征人体形状并调整人体姿态，在流型空间上进行数据扩增. 借助Marvelous Designer完成人体着装，构建姿态近似、背景简单的着装人体数据集.

在计算机图形学中，通常使用高维三角网格表征人体表面形状. 为了构建不同形状、不同姿态人体的形变关系，参数化统计模型SCAPE和SMPL近年来被逐渐广泛采用，其中以SMPL更具有代表性. SMPL是基于网格顶点的人体形变模型，用于表征不同姿态下不同人体的表面形状，网格形变参数包括形状参数β及非刚性姿态参数θ. 为了降低人体姿态对重建结果的影响，实现高精度三维人体建模，对于所有着装人体数据，姿态均被调整为A-pose.

扫描人体数据通常由数万个甚至数十万个空间点构成，维度过高且网格拓扑结构不一致，因而需要统一不同人体数据之间的网格拓扑^[21]. 以网格拓扑统一的扫描人体为样本，通过SMPL估算当前人体形态参数β_i及姿态参数θ_i，调整人体姿态至A-pose. 其中人体形态参数β_i通过将当前网格顶点投影至T-pose下的PCA主轴得到（SMPL模型的标准姿态为T-pose），当前姿态参数θ_i由下式^[10]预估：

(1) $\mathop {\arg \min }\limits_{{\theta }} \sum\limits_e {{{\left\| {{W_e}\left( {{{T}}_{\rm{\mu}} ^{\rm{P}} + {B_{\rm{P}}}({{\theta }};{{\rho }}),{{J}}_\mu ^{\rm{P}},{{\theta }},{{\omega }}} \right) - {{V}}_{i,e}^{\rm{S}}} \right\|}^2}} .$

式中： ${ T}_{\rm{\mu}} ^{\rm{P}} $和 ${{J}}_{\rm{\mu}} ^{\rm{P}} $分别为平均人体及目标人体关节点平均位置， ${B_{\rm{P}}}$为形变融合方程， $ W_{e}(\cdot )$和 ${{V}}_{i,e}^{\rm{S}} $分别表示当前人体及目标人体的对应边， ${{\rho }}$和 ${{\omega }}$为从人体数据集中训练得到的SMPL参数.

每个虚拟人体以6 890个网格顶点表征，扫描人体姿态均通过SMPL转换为A-pose，β_i维度为10，θ_i维度为72.

样本数据的数量和质量会影响模型的拟合能力，充足的样本数量及合理的样本分布是构建高精度网络模型的必要条件. 现有的扫描人体数据库^[20]仅包含约1 500组男性人体、1 500组女性人体，样本数量有限，不足以训练得到稳定的模型，因而需要进行数据集扩增. 男性和女性在人体形态上存在明显差异，例如在腰围与臀围接近的情况下，女性人体的胸围普遍大于男性. 为了能够更加准确地建立统计模型，重建得到更高精度的三维人体，需要对男性与女性人体分别构建数据集，开展独立的三维建模，思路与方法完全相同. 以女性人体为实例，进行详细说明.

常用的人体数据集扩增方法为现有人体数据之间的线性插值，但人体形状空间是一个复杂的高维空间，不同人体加权求和得到的人体不一定有效. 为了能够更加准确地表征人体形状空间，得到更加接近于真实人体的扩增数据集，将现有的人体数据投影至黎曼空间，采用李群(Lie Groups)构造流型结构，用测地线距离定义不同人体之间的差异^[22]，进行人体数据集扩增.

拓扑结构统一的人体之间的变形可以认为是各三角网格形变的综合. 人体H₁和H₂中对应三角形T₁=[v₁₂−v₁₁, v₁₃−v₁₁]∈R^3×2和T₂= [v₂₂−v₂₁, v₂₃−v₂₁]∈R^3×2之间的形变方程可以表示为T₁=QT₂，其中[v₁₁, v₁₂, v₁₃]、[v₂₁, v₂₂, v₂₃]分别为三角形T₁、T₂的顶点；Q∈R^3×3为形变矩阵，共包含9个未知数，大于方程数量6. 在欧式空间里，常通过添加额外约束，如正则项来解决这一病态问题，但会不可避免地引入误差；在黎曼几何中，Q可以被分解为

(2) ${{Q}} = {{R}}_{{{{T}}_{\rm{1}}}}^{\rm{T}}{{AS}}{{{R}}_{{{{T}}_{\rm{2}}}}}.$

式中： ${{R}}_{{{{T}}_{\rm{1}}}} $、 ${{R}}_{{{{T}}_{\rm{2}}}} $分别为三角形T₁、T₂对应的旋转矩阵，自由度为3；S为缩放系数，自由度为1；A为特殊平面内的形变，自由度为2^[22]，共包含6个自由度，与方程数量相等. 采用PGA在流型空间上对现有人体数据进行插值操作. 对于流型空间M中的人体数据集{H_i}，通过迭代算法^[23]得到平均人体：

(3) ${{\mu }}{\rm{ = argmi}}{{\rm{n}}_{{\mu }}}\sum {d{{({{{H}}_i},{{\mu }})}^2}} .$

式中：d(·)为测地线距离，

(4) $d = \left\| {{\rm{lg}}\;({{R}}_{\rm{1}}^{\rm{T}}{{{R}}_{\rm{2}}})} \right\|_{\rm{F}}^{\rm{2}} + \left\| {{\rm{lg}}\;({{A}}_{\rm{1}}^{{\rm{ - 1}}}{{{A}}_{\rm{2}}})} \right\|_{\rm{F}}^{\rm{2}} + {\left| {{\rm{lg}}\;({{{S}}_{\rm{2}}}/{{{S}}_{\rm{1}}})} \right|^{\rm{2}}},$

其中 ${\left\| \cdot \right\|_{\rm{F}}}$ 表示Frobenius范数. 采用PCA对人体数据集{H_i}在切平面T_μM 上的投影结果{lg μ⁻¹H_i}进行降维，其中T_μM 是M在μ处的切平面. 如图2所示，通过对PCA主轴系数的线性加权插值，共得到6 000组人体数据，插值得到的人体数据可以表示为

(5) ${\rm{lg}}\;\left( {{{{\mu }}^{{\rm{ - 1}}}}{{{H}}_{{\rm{new}}}} } \right)= {k_{\rm{1}}}{\rm{lg}}\;\left( {{{{\mu }}^{{\rm{ - 1}}}}{{{H}}_{\rm{1}}}} \right) + {k_{\rm{2}}}{\rm{lg}}\;\left( {{{{\mu }}^{{\rm{ - 1}}}}{{{H}}_{\rm{2}}}} \right).$

式中：k₁、k₂为权重系数，k₁+k₂=1.

虽然数据库中的所有人体姿态均为A-pose，不同样本之间的姿态信息可能存在细微的差别. 为了更加合理地表征数据库中的三维人体模型，采用PCA对插值后的人体数据库进行降维. 取前95%的特征值对应的特征向量表征三维人体模型，即PCA主轴系数向量γ_i的维度为15.

在实际应用场景中，用户通常更倾向于在穿日常服饰的情况下，采用非侵入式且少附加条件的测量方式，需要在虚拟人体表面添加不同款式、尺寸的虚拟服装. 如图3所示，采用Marvelous Designer添加虚拟服装，构建着装人体数据库. 样本数据集中服装款式的增加必然会提升模型的泛化能力，但也会增加数据集构建成本，提升模型训练难度. 综合考虑上述因素，本数据集累计包含1 500组真实人体描述数据、1 500组插值人体、3款不同款式的虚拟服装，总计约9 000组着装人体.

为了降低拍摄环境及人体姿态信息对于重建结果的影响，构建人体正面二值化轮廓图像与人体形状空间之间的映射模型. 模型训练数据为着装人体正面轮廓图像及对应的三维人体数据. 为了减小图像平移对于模型训练的影响，将人体中心点与图像中心点对齐后进行投影变换，得到无平移的人体正面轮廓图像. 从图像中提取特征，以人体姿态参数及正、侧面轮廓为约束，迭代优化重建结果.

网络以二值化后的人体正面轮廓图像为输入，人体模型PCA主轴系数向量γ_i为输出，以γ_i的误差及人体正、侧面轮廓误差为损失函数，迭代优化模型. LeNet-5^[24]模型共包含3个卷积层、2个池化层及1个全连接层，具体的网络结构如图4所示.

1)输入层：输入图像大小为256×256，每个像素点的物理尺寸为8 mm×8 mm.

2)C1层：卷积层，滤波器大小为5×5，步长为2，共包含16个滤波器.

3)S2层：子采样层/池化层，对每个2×2区块中的值取平均值，得到16组特征映射.

4)C3层：卷积层，滤波器大小为5×5，步长为2，共包含32个滤波器.

5)S4层：子采样层/池化层，对每个2×2区块中的值取平均值，得到32组特征映射.

6)C5层：卷积层，滤波器大小为5×5，步长为2，共包含64个滤波器.

7)F6层：全连接层.

8)输出层：由PCA主轴系数构成的向量γ.

在模型训练的过程中，采用dropout以避免模型过拟合，提升模型的泛化能力^[25]，将dropout rate设定为0.5；将学习率和batch分别设置为0.01和100，添加批处理规范化，以提升收敛速度. 将着装人体数据集中70%的样本数据作为训练集，剩下的作为测试集和验证集，采用TensorFlow及Python实现网络模型，在服务器上进行训练. 服务器相关硬件为1块Intel Xeon E5 CPU和4块NVIDIA 2080Ti GPU，训练时间大约为36 h.

单视角数据往往不能全面地反映人体表面形状信息，为了提升模型的性能，使得重建结果在视觉上更加接近于真实人体，以人体模型PCA主轴系数向量及人体正、侧面形状误差为损失函数. 迭代优化模型如下.

1）人体形状参数误差，即

(6) $ {L_{{\gamma}} } = \sum\limits_{i{\rm{ = 1}}}^N {\left| {{{\gamma }}({{h }},{{{G}}_i}) - {{{\gamma }}_i}} \right|}. $

式中：N为训练样本数量，G_i为第i个着装人体的正面轮廓图像， ${{h }}$ 为模型LeNet-5的参数.

2）轮廓误差. 根据PCA主轴系数向量γ_i计算得到三维人体模型M(γ_i)，重投影得到人体正面轮廓图像 ${{Y}}_{{\rm{fro}}}^i$及侧面轮廓图像 ${{Y}}_{{\rm{lat}}}^i$. 正面和侧面轮廓误差分别可以表示为

(7) ${L_{\rm{f}}} = \sum\limits_{i{\rm{ = 1}}}^N {f\left( {{{P}}_{{\rm{fro}}}^i,{{Y}}_{{\rm{fro}}}^i} \right)}, $

(8) ${L_{\rm{s}}} = \sum\limits_{i{\rm{ = 1}}}^N {f\left( {{{P}}_{{\rm{lat}}}^i,{{Y}}_{{\rm{lat}}}^i} \right)}. $

式中：f(I₁,I₂)为图像I₁和I₂之间的差异， $f({{{I}}_{\rm{1}}},{{{I}}_{\rm{2}}}) = \displaystyle\sum {{{{I}}_{\rm{1}}}(x,y) - {{{I}}_{\rm{2}}}(x,y)}$； ${{P}}_{{\rm{fro}}}^i$和 ${{P}}_{{\rm{lat}}}^i$分别为第i个着装人体的正面、侧面投影图像（不包含服装）.

该模型结合人体形状参数误差及正、侧面轮廓误差，总体损失函数为

(9) ${L_{{\rm{total}}}} = {L_\gamma } + \varphi {L_{\rm{f}}} + \phi {L_{\rm{s}}}.$

式中： $\varphi $和 $\phi $分别为正面投影误差和侧面投影误差的权重系数.

为了客观评价该方法的有效性和泛化能力，开展了大量的实验，主要包括：模型对比，即不同损失函数下模型误差比较及与常见深度学习及非深度学习算法比较；从虚拟着装人体图像和真实人体正面图像恢复三维人体模型. 其中虚拟着装人体图像由三维着装人体模型的小孔成像投影获得，在已知三维人体体形的情况下，可以有效地测试该方法的效果；将真人着装图像的重建测试用于验证该方法的实际应用效果.

本文的主要贡献之一是将人体形状参数误差及人体正、侧面轮廓误差作为损失函数，迭代优化网络，实现了更高精度的三维人体重建. 为了验证该方法的有效性，以同样的着装人体样本数据库、网络结构、训练参数构建学习模型，仅改变损失函数，评估重建结果的形状误差. 表1中，e为平均误差. 如表1所示，若仅以PCA主轴系数向量γ_i为误差项，重建结果的总体平均误差约为1.8 cm，平均围度误差（胸围/腰围/臀围误差）超过3 cm，不足以应用在对三维人体模型精度要求较高的领域. 人体轮廓约束，尤其是侧面轮廓约束，明显提升了模型拟合能力，降低了重建人体的形状误差及围度误差.

为了客观评价本文方法的性能，表2给出部分从单张图像恢复三维人体模型方法的误差. 由于Guan等^[15]仅提供3个真实人体样本及胸围和腰围误差，在表2中仅表示误差范围；Kanazawa等^[14-16]为基于深度学习的三维人体重建方法，重建精度受数据集的影响较大，如表2所示均为在数据集Human 3.6 M下的误差. 可以看出，与常见的偏重人体姿态信息恢复的模型相比，本文方法的重建精度更高；与需要事先手动交互的传统方法^[15]相比，本文的模型用户体验更佳，重建结果不易受测试者的影响.

在实际应用中，用户通常很难保持精确的人体姿态. 为了对模型进行更加准确的评估，客观测试模型的泛化能力，该实验通过适当改变数据库中着装人体的姿态，模拟真实数据. 如图5所示，将手臂与躯干的夹角调整为15°、45°，适当调整双脚的间距，使用Marvelous Designer对形变人体进行着装，投影得到人体正面轮廓图像作为模型输入，预测人体形状. 表3中，P为手臂与躯干的夹角，L为双脚之间的距离. 可以看出，提出的模型具有较好的泛化能力，在合理的范围内，人体姿态的轻微变化不会对重建结果产生明显的影响.

为了直观展示模型在不同体型人体上的性能，手动从数据集中挑选若干具有代表性的人体进行实验. 如图6所示，四肢与头部的误差相对更大，这主要是因为不同人体之间的姿态存在细微差别. 从上述实验可以看出，无论是身材相对标准的人体还是偏胖或者偏瘦的人体，利用提出的模型都能够实现较高精度的三维重建.

三维模型的精度测试数据与样本数据之间的差异性相关. 为了证明本文方法的实际应用价值，在真实人体上开展多次实验，主要可以分为3类，分别评估目标人体本身、目标人体姿态及服装款式对重建结果的影响. 在模型训练的过程中，输入图像为背景纯净的人体正面轮廓图像，且假设相机位置固定不变. 在实际的应用环境下，背景通常多变而复杂，且相机位置难以固定；因此，需要对输入图像进行预处理，保证相机位置与训练图像中的相机位置一致，即从真实人体采集到的图像应与其对应的虚拟人体投影得到的图像相同（假设可以重建得到高精度的三维人体模型）. 如图7所示，具体步骤如下.

1）背景分割. 去除环境背景，采用Grabcut算法^[26]从原始图像中提取人体，并进行二值化. 由于背景分割不是本文研究的重点，数据采集环境均为白色背景，这在实际应用中不难实现.

2）中心点对齐. 以人体平均点为人体中心点，并将图像中心点和人体中心点对齐.

3）人体图像缩放. 结合用户提供的身高信息，计算当前图像中每个像素点的实际物理尺寸；按比例缩放人体轮廓，调整图像中每个像素点的物理尺寸至8 mm×8 mm.

为了验证模型在不同人体上的效果，邀请几位不同身高、体型的志愿者，根据样本数据采集要求，即姿态为A，着装为长衣长裤或短裙，采集正面图像，如图8、9所示. 重建结果的关键围度误差见表4. 对比表1、3可知，以真实人体正面图像为输入数据和以虚拟人体正面投影图像为输入数据，重建结果的围度误差较接近，证明了本文方法在真实应用环境中的有效性.

为了验证真实环境下人体姿态对重建结果的影响，与4.2节展示的实验类似，志愿者随机改变手臂姿态及双脚间距，采集不同姿态下人体的正面图像，预处理后进行人体重建. 如图10、表5所示，围度误差与4.2节的理论值较接近，证明了该模型具有较强的泛化能力，人体姿态在合理范围内的轻微变化不会对重建精度产生明显的影响. 为了使得重建结果在视觉上更加接近于输入图像，图10中的三维人体的姿态经过手动调整.

为了提升用户体验，验证模型的泛化能力，评估服装款式对重建结果的影响. 实验者穿着不同款式的服装，按照要求采集正面图像，如图11所示. 重建结果的围度误差如表6所示. 可以看出，在当前数据集下，当真实人体着装款式与训练集中服装相同或相近时，重建结果较理想；当服装款式发生明显变化时，重建结果精度会受到影响. 这主要是由于数据集中服装款式有限，若适当丰富数据集中的服装款式，则重建精度必然得到提升. 本文旨在从现有数据集中学习着装人体正面图像与人体表面形状之间的统计规律. 在面对某些特殊情形时，如测试人体脸部及四肢相对肥胖，躯干相对瘦小，且身着相对宽松的服装时，正面图像通常无法准确地反映表面形状，重建误差必然相对较大.

本文提出由LeNet-5从单张着装图像恢复三维人体的方法. 为了降低人体姿态、图像背景及服装款式对重建精度的影响，得到符合虚拟试衣要求的高精度三维人体模型，从公开数据集中获取了约1 500组女性真实人体数据. 采用PGA在流型空间上进行数据扩增，给虚拟人体穿上不同款式、尺寸的虚拟服装，构建着装人体数据集. 从人体正面轮廓图像中提取特征，以PCA主轴系数向量误差、正、侧面轮廓误差为损失函数，预测人体形态. 实验证明，该模型对于不同体型的人体，在不同着装下，通常都能够得到较理想的重建结果. 本文的主要贡献如下：1）将人体侧面轮廓信息作为约束，提高了模型的性能；2）基于不同服装款式及尺寸的着装人体样本数据训练模型，降低了服装款式及尺寸对三维人体重建结果的影响.