现今，由于三维（3D）成像技术能够更直观地表达出现实世界中的大量信息，该技术的应用越来越广泛，尤其是在生物医学领域^[1]和信息科学领域^[2]. 为了进行三维成像，需要获取物体的三维信息. 所谓三维信息，通常是指物体的深度或者形状信息，三维信息是包含在物体光波场之中. 三维成像在某些情况下可以看成是物体光波前的振幅和相位成像，也称为波前成像或光波场成像. 除此之外，三维成像可以看作是光线场成像^[3]. 光线和光波是不同光层面的表示，两者分别属于几何光学和波动光学范畴，Eikonal方程给出两者之间的联系^[4]. 从几何光学来看，可以将光视为光线，从而通过几何关系来描述光的传播和反射情况. 通过记录物体发出的光线及方向，可以重构出物体的三维表面形态^[5-6].

无论是光波场成像中的“相位”还是光线场成像中的“光线”，都无法被直接获取. 在光学领域内，完整的光场信息由强度和相位构成，通常用二维复振幅来描述，即振幅的平方称为强度，幅角称为相位^[7]. 根据相关研究表明，相位信息包含了物体的深度、形状等表面信息，重要程度远超于强度信息. 目前市场上主要的光传感设备只能获取物体强度信息，丢失了相位信息，因此相位恢复技术^[8-9]具有重要的研究意义.

基于强度传输方程（transport of intensity equation，TIE）的相位恢复^[10]是典型的非干涉相位恢复方法. 该方法克服了传统成像技术中系统装置复杂、实验条件要求高等缺点^[11-12]，且基于该方法所得到的相位恢复结果不存在相位缠绕问题^[13]，吸引了大量学者的研究及应用^[14-16]. TIE求解过程中存在一些近似处理，例如需要利用至少2个垂直于光轴的平面上的强度信息进行差分近似. 除此以外，在采集这些信息时会引入采样误差，因此基于TIE的相位恢复算法存在结果不够精确的缺点.

人工神经网络（artificial neural networks，ANN）是基于生物神经网络对信息进行自动优化的方法，该方法具有很高的容错性、鲁棒性及自组织性^[17]. 目前，该方法已经广泛应用于自然语言处理、人工智能等领域. Cheng等^[18]提出基于人工神经网络和Gerchberg-Saxton迭代的相位恢复算法，该方法可以明显地改善原有迭代方法的精度，但是未应用于基于TIE的相位恢复中，也未验证人工神经网络恢复相位用于三维重构的可行性.

层析重建是常用的三维重建方法，在医疗、文娱、工业等领域具有广泛的应用场景. 乘法技术（multiplicative technique，MT）^[19]作为层析重建的一种，最大的特点是方便快速且非侵入. 本文结合MT技术，提出基于强度传输方程和人工神经网络融合的三维成像技术.

为了能够在三维重构时得到足够好的结果，要求在获取深度信息时尽可能地减小误差，即减小相位恢复结果的误差. 提出基于TIE和ANN融合的三维重构算法. 该算法主要包含3个部分，分别是基于TIE的初始相位恢复、基于ANN的相位优化以及利用MT进行三维重构.

假设一相干光波沿z轴方向传播，复振幅可以表示为

(1) $U(x,y) = A(x,y)\exp \;[{\rm{j}}\phi (x,y)].$

式中： $A(x,y)$为振幅， $\phi (x,y)$为相位. 将式（1）代入亥姆霍兹方程（Helmholtz equation），可得强度传输方程：

(2) $ -k\frac{\partial I(x,y)}{\partial z}=\nabla \cdot [I(x,y)\nabla \phi (x,y)].$

式中： $k$为波数，与波长 $\lambda $的关系为 $k = {{2 {\text{π}} } / \lambda }$； $I\left( {x,y} \right)$为强度，与 $A(x,y)$的关系为 $I\left( {x,y} \right) = {A^2}\left( {x,y} \right)$； $\nabla $为拉普拉斯算子. 该方程将 $I(x,y)$、 $\phi (x,y)$及 ${{\partial I(x,y)} / {\partial z}}$紧密联系在一起.

通过获取平面波在不同成像平面上的强度信息，利用傅里叶解法^[20]求解方程，可得相位信息.

(3) $ \begin{array}{c} \phi \left( {x,y} \right)= {\Im }^{\rm{-1}}\left[-\dfrac{1}{4{{\text{π}} }^{2}\left({f}_{x}^{2}+{f}_{y}^{2}\right)} \cdot \Im \left(-\dfrac{2{\text{π}} }{\lambda I\left(x,y\right)} \cdot \dfrac{\partial I\left(x,y\right)}{\partial z}\right)\right]. \end{array} $

式中： $\Im $为傅里叶正变换， ${\Im ^{{\rm{ - 1}}}}$为傅里叶逆变换， $\left( {{f_x},{f_y}} \right)$为空间频率坐标. 该微分计算通常采用强度差分的方法进行近似替代，对应的计算原理如图1所示.

图1中，假设 $z = {z_0}$为聚焦位置， $\Delta z$为散焦步长，则 $z = {z_0} + \Delta z$和 $z = {z_0} - \Delta z$分别为过焦和欠焦位置. 此时，强度差分的计算公式为

(4) $\frac{{\partial I(x,y)}}{{\partial z}} \approx \frac{{I(x,y,{z_0} + \Delta z) - I(x,y,{z_0} - \Delta z)}}{{2\Delta z}}.$

式中： $I(x,y,{z_0} + \Delta z)$为过焦位置上的强度信息， $I(x,y, $ $ {z_0} - \Delta z)$为欠焦位置上的强度信息.

TIE与ANN的融合原理图如图2所示. TIE求解得到的相位作为初始相位输入到ANN中，进行进一步的相位优化.

神经网络由一个输入层、一个隐层和一个输出层组成，层与层之间完全连接. 将TIE求解出的恢复相位图 $\phi \left( {x,y} \right)$重构成列向量的形式 ${{{\varphi }}_{{\rm{in}}}}$，用 ${{{\varphi }}_{{\rm{in}}}}$作为训练好的网络输入，经过网络之后得到的输出可以表述为如下形式：

(5) ${{{\varphi }}_{{\rm{out}}}} = f({{{W}}_{\rm{2}}}f({{{W}}_{\rm{1}}}{{{\varphi }}_{{\rm{in}}}} + {{{b}}_{\rm{1}}}) + {{{b}}_{\rm{2}}}).$

式中： ${{{\varphi }}_{{\rm{in}}}}$和 ${{{\varphi }}_{{\rm{out}}}}$分别为输入和输出图像的列向量， ${{{W}}_1}$和 ${{{b}}_{\rm{1}}}$分别为输入层到隐层的权重矩阵和偏置向量， ${{{W}}_{\rm{2}}}$和 ${{{b}}_{\rm{2}}}$分别为隐层到输出层的权重矩阵和偏置向量， $f$为激活函数（activation function）.

当训练神经网络时，通常将 ${{{W}}_{\rm{1}}}$和 ${{{W}}_{\rm{2}}}$初始化为正态分布的随机矩阵， ${{{b}}_{\rm{1}}}$和 ${{{b}}_{\rm{2}}}$初始化为数值均为0的列向量，则初始化可以提高训练效率^[21]. 采用sigmoid函数作为激活函数. 为了衡量网络的误差，采用均方误差函数作为损失函数（loss function），如下：

(6) $L = \sum\limits_{i{\rm{ = 1}}}^M {\sum\limits_{j{\rm{ = 1}}}^N {{{\left( {\varphi _{i,j}^{{\rm{ex}}} - \varphi _{i,j}^{{\rm{out}}}} \right)}^2}} } .$

式中： ${{\varphi }}_{i,j}^{{\rm{ex}}}$为实际相位图第i行第j列的值， ${{\varphi }}_{i,j}^{{\rm{out}}}$为网络输出相位图第i行第j列的值. 通过不断地迭代修改 ${{W}}$和 ${{b}}$，可以使得 ${{L}}$的值尽可能小，但是损失函数不可能在规定的迭代次数下恰好每次都能达到最小值，因此采用梯度下降（gradient descent）^[22]的方式来优化神经网络，使得网络的损失函数尽快收敛至较小值. 参数 ${{W}}$和 ${{b}}$利用梯度下降的方法进行优化时的原理相同，以 ${{W}}$的更新为例来阐述如何优化神经网络.

对于参数 ${{W}}$，则可采用下式更新：

(7) ${{W}}_n^{i + 1} = {{W}}_n^i - \eta \frac{{\partial {{L}}}}{{\partial {{{W}}_n}}}.$

式中： ${{W}}_n^i$为第 $i$次迭代时第 $n$层隐藏层 ${{W}}$的值， $\eta $为学习速率（learning rate）. ${{\partial {{L}}}}/{{\partial {{{W}}_n}}}$可以利用反向传播算法（backpropagation）^[23]计算：

(8) $ \frac{\partial {{L}}}{\partial {{W}}_{n}^{i,j}}=\frac{\partial {{L}}}{\partial {{{z}}}_{n}^i} \frac{\partial {{z}}_n^i}{\partial {{y}}_{n}^{i}} \frac{\partial {{y}}_n^i}{\partial {{W}}_{n}^{i,j}}.$

式中： ${{W}}_n^{i,j}$为第n层权重矩阵 ${{W}}_n $中第i行第j列的值； ${{z}}_n^{i}$为第n层网络输出向量第i行的值与 ${{y}}_n^{i} $之间的关系为 ${{z}}_n^{i}=f\left( {{{y}}_n^{i} } \right)=f \left( { {{W}}_n^{i,j}{{x}}_{n-1}^{j}+{{b}}_n^{i} } \right) $，其中 ${{b}}_n^{i} $为第n层偏置向量第i行的值， ${{x}}_{n-1}^{j} $为第n层网络输入向量第j行的值. 利用梯度下降和反向传播算法，可以使得神经网络模型在训练数据上的损失函数尽可能小，于是TIE和ANN的融合算法所能达到的精度尽可能高.

MT是基于多角度获取物体图像的非侵入式方法，输入的是由前面方法获取的物体的相位信息. 不同角度的相位信息越准确，得到的重构结果越准确. 该技术的原理如下：

(9) ${{{M}}_{\rm{t}}}{\rm{ = }}\sum\limits_{i = 1}^N {{{{m}}_i}} .$

式中： ${{{m}}_i}$为在某个角度下的二维相位图的数据 ${{{\varphi }}_{{\rm{out}}}}$堆叠成对应角度的三维体数据， ${{{M}}_{\rm{t}}}$为相乘之后得到的三维体数据， $N$为不同角度相位图的数量. 为了直观地展示乘法技术的原理，选用结构简单的物体并结合图3来描述. 如图3（a）所示为物体在0°、45°、90°和135°时的相位投影图，如图3（b）所示为每张相位投影图堆叠成对应角度的三维体数据之后进行相乘的过程，如图3（c）所示为相乘得到的结果.

为了更直接地阐述所提出的算法原理，将步骤简化如下. 1）利用式（3）、（4），得到基于TIE的初始相位结果 $\phi (x,y)$. 2）利用式（5），得到提高精度后的最终相位结果 ${{{\varphi }}_{{\rm{out}}}}$. 3）将不同角度的最终相位图由二维数据堆叠成对应角度的三维数据 ${{{m}}_i}$. 4）结合式（9）将所有角度的三维数据相乘，通过形态学处理得到物体三维形状.

为了证明所提算法的可行性，根据上述相关理论进行模拟实验. 对应3个步骤，该实验分为3个部分：1）模拟生成数据集，利用TIE算法求解初始相位；2）利用恢复相位图和模拟生成的实际相位图训练人工神经网络，对网络进行分析；3）利用神经网络的输出结果，开展三维重构.

采用经典的MNIST数据集，模拟生成700个纯相位物体. 这700个纯相位物体均是不同笔迹的数字“0~9”堆叠而成，相位为 ${{0\sim 2}}{\text{π}} $. 对每个物体获取了投影角度，分别为0°、30°、60°、90°、120°、150°的相位投影图，图像大小为28×28像素. 取其中600个物体的3 600张相位投影图为训练集，用来训练神经网络，剩余100个物体的600张图片作为测试集. 图4给出训练集中的部分物体及投影图，图4（a）~（d）中的物体分别为数字“0”、数字“3”、数字“4”和数字“7”堆叠成的三维体.

假定物体为纯相位物体且在聚焦位置，将该物体进行角谱传播，传播距离分别为 $\Delta z$和 $ - \Delta z$，从而分别得到过焦强度图和欠焦强度图，称为一对散焦图. 传播波长 $\lambda = $632.8 nm，散焦距离 $\Delta z = $2.5 μm. 对每一对散焦图使用TIE求解，得到初始相位图，部分实验结果如图5所示.

将训练集中的3 600张初始相位图全部作为神经网络的输入，对应的3 600张精确相位图作为目标输出，对神经网络进行训练. 设置隐层神经元数目为1 000，最大迭代次数为5 000，学习速率 $\eta $=0.000 1. 采用均方误差法（mean squared error，MSE）衡量图像的误差，计算公式为

(10) ${\rm{MSE}} = \frac{1}{{M N}}\sum\limits_{i{\rm{ = 1}}}^M {\displaystyle\sum\limits_{j{\rm{ = 1}}}^N {{{\left( {{{\varphi }}_{i,j}^{{\rm{ex}}} - {{\varphi }}_{i,j}^{{\rm{out}}}} \right)}^{\rm{2}}}} } .$

式中： $M$和 $N$分别为图像的长和宽. 经计算可知，训练之前训练集平均每张图像误差为20.66%，经过训练之后训练集平均每张图像的误差为0.42%.

将测试集中的600张初始相位图输入到已经训练好的神经网络中，网络输出对应的600张优化相位图. 如图6所示，随机选取测试集中的某个物体，将不同角度的初始相位图通过ANN，得到不同角度的优化相位图.

以上述物体的0°图像为例，利用式（10）可以计算出由TIE得到的初始相位的误差为21.40%，利用TIE与ANN融合算法得到的优化相位的误差为5.26%. 为了更直观地表示2种算法的误差，图7给出图像对应的三维显示. 可知，与图7（b）所示的初始相位图相比，图7（c）所示优化的相位图与图7（a）所示的精确相位图之间的误差更小.

使用式（10）对测试集单纯用TIE算法和融合算法得到的误差进行计算，前者的平均误差为20.56%，后者降低到了4.06%，说明TIE与ANN融合算法的精度远比TIE算法的精度高.

表1分别给出训练集、测试集及图7所用的示例图像利用2种不同算法得到的误差. 表中， ${{{E}}_{{\rm{tr}}}}$为训练集误差， ${{{E}}_{{\rm{tes}}}}$为测试集误差， ${{{E}}_{{\rm{exa}}}}$为图7所用示例图像的误差， ${{T}}$为算法运行时间. 虽然本文所提算法耗费的时间为0.91s，比TIE算法耗费的时间略长，但是对于图7所用的示例图像，误差从21.40%降低到了5.26%.

基于以上实验得到的优化相位投影图，选取同一物体不同投影角度的6张优化优化相位投影图. 将每一张投影图堆叠成三维体，利用MT算法得到最终的三维体结果. 为了衡量三维重构结果的误差，在式（10）的基础上引出如下三维体误差的计算公式：

(11) $ e = \frac{1}{{MNL}}\sum\limits_{i{\rm{ = 1}}}^M {\sum\limits_{j{\rm{ = 1}}}^N {\sum\limits_{k{\rm{ = 1}}}^L {{{\left( {M_{{\rm{ex}}}^{i,j,k} - M_{{\rm{out}}}^{i,j,k}} \right)}^{\rm{2}}}} } } .$

式中： $M$、 $N$、 $L$分别为三维体的长、宽、高， ${{{M}}_{{\rm{ex}}}^{i,j,k}}$和 ${{{M}}_{{\rm{out}}}^{i,j,k}}$分别为模拟三维体的三维矩阵M_ex和三维重构算法输出三维体的三维矩阵M_out第k维第i行第j列的值.

为了衡量三维重构结果的相似程度，可以采用相关系数进行分析，计算公式为

(12) $ \begin{array}{c} \rho ({{{M}}_{{\rm{ex}}}},{{{M}}_{{\rm{out}}}}) = \dfrac{1}{{K - 1}}\displaystyle\sum\limits_{i = 1}^K {\left( {\dfrac{{{{M}}_i^{{\rm{ex}}} - {\mu _{{\rm{ex}}}}}}{{{\sigma _{{\rm{ex}}}}}}} \right)} \left( {\dfrac{{{{M}}_i^{{\rm{out}}} - {\mu _{{\rm{out}}}}}}{{{\sigma _{{\rm{out}}}}}}} \right). \end{array} $

式中： ${{M}}_i^{{\rm{ex}}}$和 ${{M}}_i^{{\rm{out}}}$分别为 ${{{M}}_{{\rm{ex}}}}$和 ${{{M}}_{{\rm{out}}}}$展开成列向量 ${{{M}}^{{\rm{ex}}}}$和 ${{{M}}^{{\rm{out}}}}$时的第 $i$个值， $K$为 ${{{M}}^{{\rm{ex}}}}$的长度， $\;{\mu _{{\rm{ex}}}}$和 ${\sigma _{{\rm{ex}}}}$分别为 ${{{M}}^{{\rm{ex}}}}$各元素的均值和标准差， $\;{\mu _{{\rm{out}}}}$和 ${\sigma _{{\rm{out}}}}$分别为 ${{{M}}^{{\rm{out}}}}$各元素的均值和标准差.

以图7的优化相位图为例，最终的重构结果如图8（a）所示. 对比图8（b）所示的模拟三维体，结合式（11）计算出的误差为13.56%，结合式（12）计算出的相关系数为0.56，根据表2可以说明，三维重构结果与原始三维体显著相关，可见所提算法具有正确性和可行性.

在三维重构算法中，相位恢复的结果对最终的重构结果具有重要意义. 本文提出基于TIE和ANN融合的三维重构算法. 该算法可以有效地提升单纯基于TIE求解相位结果的精度，将相位恢复结果应用到三维重构是三维技术的一个有益的探索.