白内障是导致视力损害的最常见眼科疾病之一，是致盲的主要原因^[1]. 世界卫生组织的统计数据显示全世界约有3900万盲人，而其中有51%是由白内障导致的^[2]. 人工晶状体（intraocular lens，IOL）植入手术是治疗白内障的重要手段，但白内障术后并发症仍是白内障术后视力恢复的主要障碍. 后囊膜混浊，也称后发性白内障，是最常见的白内障术后并发症^[3]，在进行白内障手术后，残留的皮质和脱落在晶状体后囊上的上皮细胞增生，在瞳孔区形成半透明的膜而形成后囊膜混浊^[4]. 其发病周期较长，术后几个月甚至几年才会发病^[5]，因此即便是成功的白内障手术，术后仍可能出现进行性视力下降，早期或不严重的后囊膜混浊通过简单的激光处理就可以根治，但时间过久程度过重，则可能引起IOL变形移位脱位而需要二次手术治疗. 因此，尤其须注意大批量白内障患者回归社区后IOL眼二次视力下降的问题^[6].

及时地诊断是否患有后囊膜混浊并发症对术后视觉质量恢复具有重要意义，以免错过早期或最佳治疗时间，造成患者的二次手术及医疗成本的增加. 传统的人工诊断方法人力成本高、主观因素大，同时受限于医生水平，偏远地区的患者难以得到准确的诊断^[7]. 随着医学图像处理和机器学习技术的发展，已有研究利用计算机辅助诊断方法对白内障术后并发症进行更加准确的早期诊断.

计算机辅助诊断后囊膜混浊并发症可利用的数据包括病历数据和后照影像，病历数据主要为结构化的眼部医学指标；后照影像通过后照法拍摄瞳孔区域得到，能反映后囊膜混浊程度. Mohammadi等^[8]利用后囊膜混浊病历数据构建决策树模型和反向传播（back propagation，BP）神经网络模型预测是否患有后囊膜混浊，最终获得了80%的准确率；章佳^[9]利用小儿白内障术后并发症的病历记录数据构建了朴素贝叶斯模型和随机森林模型，分别对患者是否患有术后并发症、是否患有后囊膜混浊以及是否患有高眼压进行预测. 上述研究都基于病历数据进行分析，此外，有研究利用后照影像分析瞳孔中混浊区域以预测后囊膜混浊，采用的方法可以分为传统图像处理和机器学习2类. Werghi等^[10]基于颜色特征将后照影像中像素聚类，通过统计区域个数来预测后囊膜混浊；Vivekanand等^[3]基于Hölder exponents量化混浊区域含量以进行分类，Vivekanand等^[11]在其基础上提出多尺度的粗糙度估计方法增加形态学细节，与临床专家分级结果的皮尔逊相关系数为84.6%. 这些研究采用的都是传统图像处理方法，最新研究大都采用机器学习方法. 刘琳^[12]结合卷积神经网络（convolutional neural networks，CNN）和卷积长短期记忆网络预测生成下一时刻的眼部红反影像，基于生成影像进行后发性白内障严重程度预测；Kronschlger等^[13]提取灰度共生矩、一阶特征、Gabor滤波特征和分形特征4种局部纹理特征，在特征选择后利用贝叶斯分类器进行分类；Jiang等^[14]构建了代价敏感深度残差卷积神经网络（cost-sensitive deep residual convolutional neural network，CS-ResCNN）解决实验数据不均衡的问题，通过Canny滤波和霍夫圆变换找到后照影像中的瞳孔，送入CS-ResCNN网络进行高阶特征提取以实现最终的检测，准确率为92.24%.

上述研究只利用了单一模态数据（病历数据或后照影像）预测后囊膜混浊并发症，考虑信息不够全面，专业医生在诊断后囊膜混浊时往往会综合考虑医学指标和后照影像，以获得患者眼部更加全面的信息，进行更准确的诊断，因此，研究利用多模态机器学习对后囊膜混浊并发症进行更精准的预测是必要的. 每一种信息的来源或者形式，都可以称为一种模态，而多模态机器学习是指利用多个模态数据进行学习的机器学习方法^[15]. 多模态学习能利用模态信息之间的互补性，提供捕获模态之间的对应关系和深入理解自然现象的可能性，已有研究利用多模态机器学习在医疗领域进行组织和器官分割^[16]、医学影像检索^[17]、医学图像配准^[18]和计算机辅助诊断^[19]等研究.

本研究利用多模态机器学习方法对后照影像和视觉质量参数进行分析，实现后囊膜混浊的计算机辅助诊断. 为了同时利用后照影像和视觉质量参数数据，并避免对后照影像数据的手工特征提取，提出异构低秩多模态融合（heterogeneous low-rank multimodal fusion，HLMF）网络，能同时输入2种模态的数据，并基于反向传播进行端到端的训练. 首先，利用图像处理方法找到瞳孔感兴趣区域（region of interest，ROI），用背景灰度填充白色反光区域；然后将处理好的数据输入HLMF进行训练，使用Focal Loss损失函数避免类别不均衡问题，采用预训练和模态腐蚀的训练技巧避免模型过拟合.

所采用的多模态后囊膜混浊数据集由上海市眼病防治中心提供，上海市眼病防治中心是上海市唯一一家三级眼病专科医院. 该数据集中包含白内障术后IOL眼的后照影像及视觉质量参数2种模态的数据，其中后照影像采用后照法拍摄得到，视觉质量参数包括光程差分析仪（optical path difference，OPD）分析区域大小、含像差的球镜值、散光值、散光轴向、Zernike函数多项式值、调制传递函数（modulation transfer function，MTF）值等共59维数据. 该数据集共包含322个样本，其中214个样本患有后囊膜混浊并发症，108个样本未患有后囊膜混浊并发症，所有样本标签均由2名具有丰富经验的专业医师进行标注后得到. 医师分析混浊位置与视轴的相对关系、增生密度对视力或对比敏感度的影响，将发生于囊袋周边部或不位于瞳孔区的混浊标记为无后囊膜混浊，将二次视力下降或对比敏感度下降标记为有后囊膜混浊.

在不同样本的后照影像中，瞳孔的尺寸、位置存在个体差异，而与视觉能力直接相关的是瞳孔区域，所以首先要提取瞳孔ROI. 另外，后照影像中白色反光区域由后照法拍摄造成，对于诊断后囊膜混浊并发症没有参考意义，为了避免对模型预测造成影响，使用瞳孔中的背景灰度对白色区域进行填充. 如图1所示为后照影像预处理流程示例，后照影像中圆形区域是瞳孔，瞳孔中灰度较深、形状不规则的区域在医学上称之为后囊膜混浊区域，当混浊区域大小和混浊程度达到一定量级，且视觉质量参数异常时，就称患有后囊膜混浊并发症. 后照影像预处理的具体步骤如下.

1）去噪. 以灰度值20为界将影像二值化，该灰度值介于瞳孔与黑色背景之间. 求二值化图像所有四连通域 $D$，令 $D^*$为 $D$中区域小于400的连通域组成的集合，即噪声点的集合，对 $D^*$用灰度值0填充：

(1) $ I'(x,y)=\left\{\begin{array}{ll}\text{0,} & (x,y)\in D^*; \\ I(x,y), & {\text{其他}}. \end{array}\right. $

式中： $I$为原始影像， $I'$为去掉噪声点后的影像， $ x $、 $ y $为像素点的横、纵坐标.

2）极坐标转化. 将 $I'$转换为极坐标形式得到 $ P $：

(2) $ P(\rho ,\phi ) = I'(\left\lfloor {\rho \cos \;\phi } \right\rfloor + {x_{\text{0}}},\; \left\lfloor {\rho \sin\; \phi } \right\rfloor + {y_{\text{0}}}). $

式中： $ {x_0} $、 $ {y_0} $为 $I'$的中心， $ \rho $、 $ \phi $为极坐标下的幅值与相位， $ \left\lfloor \cdot \right\rfloor $表示向下取整. 此时瞳孔边界近似展开成一条直线，水平方向对应原始图像的角度方向，沿水平方向从左向右扫描第1个灰度值小于20的点即瞳孔边界，以此边界将影像二值化得到 $ P' $.

3）寻找外接圆. 将 $ P' $转换回直角坐标形式得到 $ I'' $：

(3) $ I''(x,y) = P'\left({\text{ }}\left\lfloor {{{\left[ {{{(x - {x_0})}^2} + {{(y - {y_0})}^2}} \right]}^{1/2}}} \right\rfloor , \; \left\lfloor {\arctan\; \left(\frac{{y - {y_0}}}{{x - {x_0}}}\right)} \right\rfloor {\text{ }}\right). $

在 $ I'' $上找到瞳孔的最小外接圆.

4）裁剪. 依据外接圆圆心和半径将 $I$裁剪为100×100大小，得到 $I''' $.

5）填充. 后照影像灰度直方图中后2个峰值分别对应背景区域和白色区域（灰度值大于200），用背景区域灰度值 $ {G_{\text{b}}} $填充 $I''' $灰度值大于200的区域，得到处理好的后照影像 $ {I_{\text{P}}} $：

(4) $ {I}_{\text{P}}(x,y)=\left\{\begin{array}{ll}{G}_{\text{b}} ,& I'''(x,y) > 200; \\ I'''(x,y), & {\text{其他}}\text{. } \end{array}\right. $

本研究所采用的数据集样本数量较少，为了保证模型的泛化能力，对数据集进行数据增强. 视觉质量参数和后照影像之间具有相关性，不能简单对单一模态进行增强，本研究采取对后照影像成像过程进行增强，即改变成像过程中的亮度、清晰度. 通过伽马校正改变亮度：

(5) $ {I_{\text{a}}}(x,y) = ({I_{\text{P}}}{(x,y))^\gamma } .$

式中： $ {I_{\text{a}}} $为增强后的图像；γ为校正参数， $\gamma $=[0.65, 0.90]对应增加亮度，γ=[1.3, 1.8]对应降低亮度，取值服从均匀分布.

增加、降低清晰度分别通过图像四邻域像素差值、平均实现. 通过数据增强将训练集扩充为原来的3倍. 如图2所示为对同一后照影像改变亮度、清晰度后的结果示例.

为了同时利用后照影像以及视觉质量参数对后囊膜混浊并发症进行更加准确的预测，提出了能同时提取2种模态数据的特征并进行融合的异构低秩多模态融合网络（见图3）.

多模态融合常用的方法为双线性融合，而Zadeh等^[20]提出张量融合网络（tensor fusion network，TFN）是其中的代表性研究，其首先通过对多种模态的数据进行特征提取得到一维特征张量，对特征张量进行笛卡尔积得到多模态融合特征，最后对融合特征进行全连接以进行后续的输出. 本研究在其基础上针对本实验数据集异构的特点对笛卡尔积的方式进行改进提出通道积融合.

首先对后照影像数据建立卷积神经网络分支，对视觉质量参数建立全连接网络（fully connected，FC）分支，2个分支分别与图3中2个分支一致. 然后对CNN分支得到的特征图 ${{\boldsymbol{Z}}_{\text{C}}} \in {{{\bf{R}}}^{H \times W \times M}}$及FC分支得到的隐含层特征 $ {{\boldsymbol{Z}}_{\text{F}}} \in {{\bf{R}}^N} $进行异构融合，H、W、M分别为特征图的高、宽、通道数， $N$为隐含层节点个数，本研究中 $H$、 $W$、 $M$、 $N$分别取值23、23、12、100. 异构融合基于通道积进行，如图4所示为通道积的示意图，通道积的数学表示为

(6) $ {\boldsymbol{Z}} = {\boldsymbol{Z}}{}_{\text{C}}\hat \otimes {{\boldsymbol{Z}}_{\text{F}}}. $

式中： ${\boldsymbol{Z}}$为融合表达， $ {\boldsymbol{Z}} \in {{\bf{R}}^{H \times W \times (M \times N)}} $， $ \hat \otimes $表示通道积. Z的具体计算方法如下：

(7) $ {\boldsymbol{Z}}(h,w,(n - 1) M + m) = {{\boldsymbol{Z}}_{\text{C}}}(h,w,m) {{\boldsymbol{Z}}_{\text{F}}}(n). $

式中： $h$、 $w$、 $m$、 $n$分别为不大于 $H$、 $W$、 $M$、 $N$的正整数.

对融合表达 ${\boldsymbol{Z}}$依次进行卷积、池化、全连接操作进行最终的结果输出. 设对融合表达 ${\boldsymbol{Z}}$进行卷积得到通道维数为 $K$（本研究取值16）的隐含表达 $ {\boldsymbol{Z}}' $，隐含表达 $ {\boldsymbol{Z}}' $的第k个通道 ${\boldsymbol{Z}}{'_k}$的计算公式为

(8) $ {\boldsymbol{Z}}{'_k} = {{\boldsymbol{W}}_k} * {\boldsymbol{Z}}. $

式中：*表示二维卷积； $ {{\boldsymbol{W}}_k} \in {{\bf{R}}^{f \times f \times (M \times N)}} $，f为卷积核大小（本研究取值3）， $M \times N$为融合表达 ${\boldsymbol{Z}}$的通道数； $ {{\boldsymbol{W}}_k} $表示第k个卷积核，卷积核参数集 ${{W}} = \left\{ {{{\boldsymbol{W}}_k}} \right\}_{k = 1}^K$.

基于通道积进行异构融合的优点在于可以保持特征图 ${{\boldsymbol{Z}}_{\text{C}}}$的特征结构，同时对融合表达进行卷积，相对于对融合表达进行全连接可以大幅降低模型参数量、避免过拟合.

融合特征 $ {\boldsymbol{Z}} $的通道数为 $ M \times N $，即使采用卷积进行稀疏连接，卷积核参数 $ {{\boldsymbol{W}}_k} $的通道数仍为 $ M \times N $，在本研究中该值能达到10³数量级，高维的卷积核通道数也增加了过拟合的风险. Liu等^[21]基于TFN提出将融合表达的全连接参数进行低秩分解得到低秩多模态融合（low-rank multimodal fusion，LMF）网络，其分解的思想是融合表达由笛卡尔积得到，而融合表达与融合表达的全连接参数具有相同的结构，则融合表达参数也可以分解为参数向量的笛卡尔积，从而减少参数量. 受此启发，本研究将融合表达 $ {\boldsymbol{Z}} $的卷积核参数 $ {{\boldsymbol{W}}_k} $分解为通道积的形式，如图5所示为分解示意图，具体形式如下：

(9) $ {{\boldsymbol{W}}_k} = \sum\limits_{i = 1}^R {{\boldsymbol{W}}_{{\text{C}},k}^i} \hat \otimes {\boldsymbol{W}}_{{\text{F}},k}^i. $

式中： $ {\boldsymbol{W}}_{{\text{C}},k}^i \in {{\bf{R}}^{f \times f \times M}} $， $ {\boldsymbol{W}}_{{\text{F}},k}^i \in {{\bf{R}}^N} $，即 $ {{\boldsymbol{W}}_k} $可以分解为 $R$组 $ {\boldsymbol{W}}_{{\text{C}},k}^i $与 $ {\boldsymbol{W}}_{{\text{F}},k}^i $通道积结果的累加和，其中使得上式分解成立的最小的 $R$称为卷积核参数 $ {{\boldsymbol{W}}_k} $的秩.

在模型实际的构建过程中，指定卷积核参数 $ {{\boldsymbol{W}}_k} $的秩为 $r$，不同的秩 $r$可以控制 $ {{\boldsymbol{W}}_k} $的数据拟合能力. 模型拟合程度最佳时所对应的 $r$未知，因此在实际训练过程中，将秩 $r$作为模型的超参数进行调节，从而使模型达到拟合数据的最佳状态，防止欠拟合与过拟合^[21].

进行卷积核参数分解除了避免过拟合问题，还可以将计算融合表达和对融合表达卷积合并为一步进行，无须显式地计算融合表达 $ {\boldsymbol{Z}} $，从而降低模型的计算量. 利用式（6）、（8）、（9），通过推导得到从特征图 ${{\boldsymbol{Z}}_{\text{C}}}$及隐含层特征 $ {{\boldsymbol{Z}}_{\text{F}}} $直接计算隐含表达 ${\boldsymbol{Z}}{'_k}$的方法：

(10) $ \begin{split} {\boldsymbol{Z}}'_{k}=\;&{\boldsymbol{W}}_{k}\ast {\boldsymbol{Z}}=\left({\sum\limits_{i=1}^{R}{\boldsymbol{W}}_{\text{C},k}^{i}}\hat{\otimes }{\boldsymbol{W}}_{\text{F},k}^{i}\right)\ast \left({\boldsymbol{Z}}_{\text{C}}\hat{\otimes }{\boldsymbol{Z}}_{\text{F}}\right)=\\ &\text{ }{\sum\limits_{i=1}^{R}\left[\left({\boldsymbol{W}}_{\text{C},k}^{i}\hat{\otimes }{\boldsymbol{W}}_{\text{F},k}^{i}\right)\ast \left({\boldsymbol{Z}}_{\text{C}}\hat{\otimes }{\boldsymbol{Z}}_{\text{F}}\right)\right]}=\\ &\text{ }{\sum\limits_{i=1}^{R}\left[\left({\boldsymbol{W}}_{\text{C},k}^{i}\ast {\boldsymbol{Z}}_{\text{C}}\right)\text{ } \circ \text{ }\left({\boldsymbol{W}}_{\text{F},k}^{i}{}^{\text{T}} \cdot \text{ }{\boldsymbol{Z}}_{\text{F}}\right)\right]}. \end{split}$

表中： $ \circ $表示逐元素乘积，即对 $\left({\boldsymbol{W}}_{\text{C},k}^{i}\ast {\boldsymbol{Z}}_{\text{C}}\right) $中的每个元素乘上 $\left({\boldsymbol{W}}_{\text{F},k}^{i}{}^{\text{T}} \cdot \text{ }{\boldsymbol{Z}}_{\text{F}}\right)$. 则隐含表达 ${\boldsymbol{Z}}{'_k}$可以通过如下表达式得到：

(11) $ {\boldsymbol{Z}}'_{k}={\sum\limits_{i=1}^{R}\left[\left({\boldsymbol{W}}_{\text{C},k}^{i}\ast {\boldsymbol{Z}}_{\text{C}}\right)\text{ } \circ\text{ }\left({\boldsymbol{W}}_{\text{F},k}^{i}{}^{\text{T}} \cdot \text{ }{\boldsymbol{Z}}_{\text{F}}\right)\right]}. $

式（10）的推导同时利用了 $ {{\boldsymbol{W}}_k} $和 $ {\boldsymbol{Z}} $的分解，使得模型无须显式地计算融合表达 $ {\boldsymbol{Z}} $，而可以直接得到隐含表达 ${\boldsymbol{Z}}{'_k}$. 同时，观察式（11）可以发现 $ {\boldsymbol{W}}_{{\text{C}},k}^i $是对特征图 ${{\boldsymbol{Z}}_{\text{C}}}$进行卷积， $ {\boldsymbol{W}}_{{\text{F}},k}^i $是对隐含层特征 $ {{\boldsymbol{Z}}_{\text{F}}} $进行全连接，即对融合表达 $ {\boldsymbol{Z}} $卷积可以达到对 ${{\boldsymbol{Z}}_{\text{C}}}$卷积和对 $ {{\boldsymbol{Z}}_{\text{F}}} $全连接的效果，延续了卷积神经网络分支和全连接网络分支的特性，同时对特征进行了融合，这是本研究采用基于通道积的异构融合方法进行特征融合的重要原因之一，如图3所示为利用式（11）计算完整隐含表达 $ {\boldsymbol{Z}}' $的网络架构图.

所研究的数据集中正样本（患有后囊膜混浊）占比约66.5%，负样本（未患有后囊膜混浊）占比约33.5%，正负样本比例不均衡，易使模型预测结果偏向为正样本. 为了避免该问题的发生，采用Lin等^[22]提出的Focal Loss作为模型的损失函数，其专门用于解决类别不均衡的问题，Focal Loss的定义为

(12) $ {\text{FL}}\left( {{p_{\text{t}}}} \right) = - {\alpha _{\text{t}}}{\left( {1 - {p_{\text{t}}}} \right)^\beta }\log\; \left( {{p_{\text{t}}}} \right). $

式中： $\;\beta $为Focusing参数， $\;\beta \geqslant 0$，其作用是减少易分类样本的损失，使模型更关注于困难的、错分的样本，经Lin等^[22]验证， $\;\beta = 2$效果最优. $ {\alpha _{\text{t}}} $、 $ {p_{\text{t}}} $的表达式如下：

(13) $ {\alpha _{\text{t}}} = \left\{ {\begin{array}{*{20}{l}} {\alpha ,}&{t = {\text{1;}}} \\ {1 - \alpha ,}&{t = 0.} \end{array}} \right. $

(14) $ {p_{\text{t}}} = \left\{ {\begin{array}{*{20}{l}} {p,}&{{\text{ }}t = 1;} \\ {1 - p,}&{{\text{ }}t = 0.} \end{array}} \right. $

式中： $ \alpha $为样本数量较少的负样本占样本总数的比例，本研究取 $ \alpha = 108/322 $； $p$为模型预测样本的标签为1的概率； $t$为样本真实标签， $t \in \{ 0,1\} $.

对于数量较少的负样本，利用Focal Loss计算得到的损失值的加权为1−α，加权值大于0.5，因此，模型对负样本错分的情况惩罚更大，从而平衡正负样本的损失，解决类别不均衡的问题.

HLMF模型包含CNN分支和FC分支，若同时输入2种模态的数据，在基于反向传播进行端到端训练时，模态之间会交叉影响分支网络的参数更新，从而影响分支网络的特征提取. 为了使2个分支网络更好地提取2种单模态数据的特征，单独构建CNN预训练模型和FC预训练模型，分别以后照影像和视觉质量参数作为输入. 其网络结构前半部分分别与CNN分支和FC分支相同，CNN预训练模型的后半部分包括Flatten层和Softmax层，FC预训练模型后半部分仅包括Softmax层. 在完成对CNN预训练模型和FC预训练模型的训练之后，用训练好的2个预训练模型的参数去分别初始化2个分支网络，从而使分支网络能更好地提取2种模态的特征.

同时输入2种模态的数据，融合部分的神经元往往只被单一模态所激活，而较少有神经元被交叉模态信息所激活，这不利于特征融合. Ngiam等^[23]在训练多模态自编码器以获取融合特征表达的过程中，提出将某一模态的输入置零，利用单一模态重构2种模态，强制模型学习交叉模态信息，使得融合部分的神经元同时被2种模型的特征激活. 受此启发，本研究在训练模型时，将训练集复制为原来的3倍，第1份保持原有数据不变，第2份将后照影像全部置零，第3份将视觉质量参数置零，并称这种方法为模态腐蚀. 这样的训练方式能起到分别训练分支网络、并使融合部分的神经元同时利用2种模态信息的作用. 模态腐蚀使模型在只使用一种模态数据的情况下预测后囊膜混浊并发症，这与医生使用单一模态数据进行诊断是类似的.

本研究解决的是二分类的问题，因此采用准确率Acc、精准率PR、召回率RE、F1分数F₁ 4种量化指标来评价模型的性能，为了更加准确地对比不同方法和模型的性能，在本研究中，通过对增强后的数据集进行十折交叉验证，取上述指标平均值得到最终结果.

在HLMF网络架构中，对融合表达进行卷积核参数低秩分解，秩 $R$可以控制HLMF网络拟合数据的能力，因此可以将 $R$作为一个超参数进行搜索，即在构造模型时指定秩为 $r$，从而找出最优的 $r$. 在本实验中， $r$取值为1~50的整数. 如图6所示为不同秩下十折交叉验证准确率. 图中，红色折线为不同秩下HLMF模型在后囊膜混浊数据集上的十折交叉验证准确率，蓝色虚线为采用最小二乘法拟合出的二次曲线，反映了准确率随秩的变化规律. 可以看出，随着秩的增加，模型性能大致呈先上升后下降的趋势. 当秩较低时模型参数量较少，融合表达能力不强，因此模型性能表现欠佳；当秩较大时模型参数量过大，过拟合严重，相邻秩之间实验结果也逐渐不稳定，这与Liu等^[21]所得到的结论一致. 对于本实验数据集，当秩为10~20时，模型性能表现优异并且较为稳定，在本研究中取HLMF模型的秩为16，并与其他模型进行对比分析.

为了验证预训练和模态腐蚀2种训练方法的有效性，对比不同秩下HLMF模型不使用任何训练方法、使用预训练方法、使用模态腐蚀方法和2种方法都使用的结果. 如图7（a）所示为4种情况下HLMF模型在不同秩下的十折交叉验证准确率，如图7（b）所示为十折交叉验证准确率的标准差. 图中，σ为标准差.

由图7（a）可以明显看出，相较于不使用多模态训练方法，采用预训练和模态腐蚀中任意一种训练方法都可以使模型性能得到大幅提升，不同秩下十折交叉验证准确率均值整体提升了1~2个百分点，而同时使用预训练和模态腐蚀能使模型性能达到最佳. 由图7（b）可以看出，采用预训练或模态腐蚀方法，十折交叉验证标准差均有降低，表明模型具有更高的稳定性，而模态腐蚀方法效果更加明显，因为其能使融合部分神经元同时被2种模态数据所激活，融合能力更强. 采用预训练加模态腐蚀的训练方法时，HLMF模型在不同秩下的整体性能得到较好的提升，表明预训练和模态腐蚀方法的有效性.

为了验证异构融合和低秩分解方法的有效性，对比了只进行异构融合的异构张量融合网络（heterogeneous tensor fusion network，HTFN）、只进行低秩分解的LMF^[21]网络、不进行异构融合和低秩分解的TFN^[20]网络，并与同样基于TFN、LMF改进的多项式张量池化（polynomial tensor pooling，PTP）^[24]网络进行对比，在模型训练过程中均采用了预训练和模态腐蚀的训练方法，实验结果均采用十折交叉验证取平均得到. 如表1所示为具体的实验结果. 可以看出，异构融合和低秩分解均能提升模型性能，异构融合带来的性能提升更明显，表明异构融合能较好融合2种模态特征，而未采用异构融合的LMF、TFN、PTP网络精准率较高、召回率较低，表明模型并未学习并融合相应特征，导致模型预测结果偏向负样本；低秩分解能避免过拟合问题，提升模型泛化能力，采用异构融合和低秩分解方法的HLMF网络整体性能最佳，十折交叉验证准确率均值能达到95.63%，表明对于后囊膜混浊并发症这种有图像和数值数据的数据集，HLMF模型能够较好地提取数据特征并进行融合.

5种模型融合部分的模型复杂度如表2所示. TFN模型将 ${{\boldsymbol{Z}}_{\rm{C}}}$展开为一维张量，使用笛卡尔积进行融合，再对融合表达进行全连接，若得到的隐含表达有 $K'$个隐含节点，则TFN模型复杂度为 $ O\left( {W \times H \times M \times N \times K'} \right) $. LMF模型对全连接参数进行低秩分解，其模型复杂度为 $ O\left( r \times (W \times H \times M + N) \times $ $ K' \right) $， $r$远小于 $N$，因此模型复杂度降低. PTP模型在LMF基础上加入高阶多项式表示，其模型复杂度与LMF模型一样. HTFN模型采用通道积进行融合，并对融合表达进行卷积，其模型复杂度为 $ O\left( {{f^2} \times M \times N \times K} \right) $. 一般来说通道数 $ K $小于隐含节点个数 $ K' $，又因卷积的稀疏连接性质， $f^2$远小于 $W \times H$，HTFN相对于TFN模型复杂度大幅降低.

对HTFN模型的融合表达卷积核参数进行低秩分解得到HLMF模型，其目的是进一步降低模型的参数量，同时减少模型的计算量. HLMF模型的复杂度为 $ O\left( {r \times ({f^2} \times M + N) \times K} \right) $，当 $r$=16时，模型的参数量降为HTFN的1/3，从而有效避免模型过拟合. 相对LMF来说，若在相同秩 $r$下，HLMF模型复杂度也是大幅降低的.

使用SHAP（SHapley additive explanations）值^[25]来解释HLMF模型为何能利用2种模态信息之间的互补性，提高预测准确率，SHAP值基于博弈论中的Shapley值，其利用每个可能的模态组合得到的预测准确率来量化每个模态对模型所做预测的贡献. 本研究可能的模态组合包括后照影像与视觉质量参数、仅后照影像、仅视觉质量参数和无数据4种组合. 如表3所示为分别使用这4种模态组合训练HLMF模型得到的十折交叉验证准确率，其中无数据组合理论情况下准确率为50%.

根据准确率计算各模态的SHAP值并归一化为重要性（importance，IMP）百分比，视觉质量参数的重要性为26.89%，后照影像重要性为73.11%，2种模态对于预测后囊膜混浊并发症都有贡献，后照影像在预测中起到更显著作用，这与医师诊断后囊膜混浊并发症时参考信息的比重相类似，表明HLMF模型能利用2种模态信息之间的互补性进行更精准的预测.

提出异构低秩多模态融合网络用于后囊膜混浊并发症的预测，其能同时输入后照影像和视觉质量参数2种模态的数据，基于通道积对2种模态数据进行异构融合，并进行参数低秩分解解决模型过拟合问题，其特点在于异构融合能延续卷积神经网络和全连接网络的特性，更好地进行特征提取与融合. 实验结果表明，提出的异构融合方法相较于其他融合方法具有更好的异构数据融合能力，采用的多模态融合训练方法能使模型性能大幅提升. 相较于只使用单模态数据的方法，本研究所提方法能全面考虑患者信息，进行更精准的预测，与专业医师诊断后囊膜混浊并发症具有一致性. 其意义在于能方便地对后囊膜混浊并发症进行更精准的大规模筛查，使白内障术后人群在二次视力下降后，得以早期发现转诊，及时进行干预处理. 局限性在于HLMF模型只能输入图像和结构化数据的结合，模型通用性较弱，不足之处在于所使用数据集样本较少，没有公共数据集进行验证，后续研究会增加样本数量以进一步保证模型泛化能力.