阿尔茨海默病(Alzheimer’s disease，AD)是影响65岁以上个体的进行性神经退行性疾病，全球被诊断为AD的人口约有4 400万，中国60岁以上患者已达1 507万^[1-4]. AD临床诊断主要依赖神经心理测试、神经影像学和脑脊液检查，包括简易精神状态检查量表（mini-mental state examinationmse, MMSE）、全局退化量表（global deterioration scale total score，GDS） 、全局临床痴呆评定量表（clinical dementia rating，CDR）、功能活动问卷量表（functional activities questionnaire，FAQ）、简易版神经精神症问卷量表（neuropsychiatric inventory–questionnaire，NPI）、磁共振成像（MRI）和正电子发射断层扫描（PET）等检查. 综合多种检查结果有助于医生准确判断患者情况，但AD的确诊过程复杂.

随着人工智能技术的迅速进步，学者们提出许多有效的早期AD脑部检测方法. 这些方法主要分为2个类别：基于图像的传统方法和基于深度学习的方法. 在传统方法方面，Liu等^[5]从MRI和PET图像中提取ROI(region of interest)，采用基于贝叶斯框架的多重贝叶斯核化（multifold Bayesian kernelization，MBK）方法检测AD患者；Zhang等^[6]将MRI和PET的神经影像结合生物标志物数据，利用支持向量机（SVM）融合多峰特征进行特征提取，依此诊断AD. Lin等^[7]融合MRI图像、PET图像、脑脊液数据、基因数据以及年龄数据，采用线性判别分析 (linear discriminant analysis, LDA)的评分方法检测AD患者. 传统方法能够综合多种数据进行特征提取和分类诊断，存在特征提取可能忽略病症重要细节信息的问题. 在深度学习方法方面，3D图像建立深度模型虽然可以极大程度上保留脑部的空间特征，但是计算量和参数量巨大. Feng等^[8]将3D卷积网络用于特征提取，SVM分类器用于分类. Liu等^[9]将FDG-PET三维图像在矢状面、冠状面和横切面3个方向切片，使用卷积神经网络从切片中提取特征，再将特征输入递归神经网络进行分类，最后融合3个方向的分类结果进行分类预测. Kong等^[10]将MRI与PET图像融合，利用3D卷积神经网络提取特征信息，再利用全连接神经网络对提取的多模态特征进行预测. 韩坤等^[11]对MRI和PET图像进行3D卷积操作以提取各自模态的特征信息，应用模型融合方法融合模态特征信息以获得多模态特征信息，利用全连接神经网络对AD进行分类，取得了不错的分类结果. 基于3D卷积神经网络对设备要求高，不适合移动医疗器械发展. 有研究倾向于将数据转为二维，采用轻量级网络进行分类. Liang等^[12]利用PCA-Net提取二维特征，使用宽度学习系统(broad learning system, BLS)进行更低耗时的分类. Deepa等^[13]通过预处理图像的方式处理多数据集，将切片得到的二维图像输入VGG-16网络进行特征提取，再利用全连接层进行分类. 使用二维数据进行分类减少了网络参数，在特征提取中可能丢失空间和上下文信息，影响检测的准确性. 为此，张默文^[14]提出2种AD早期诊断方法：1）基于多尺度特征提取和全基因组关联分析的神经网络，2）基于感兴趣区域和基因数据特征融合的算法；采用随机森林集成器实现了比SVM更准确的AD诊断. 一些轻量级分类诊断网络，如Mehta^[15]提出的将卷积神经网络和Transformer的优势结合的方法，能够很好地处理局部信息和全局信息，而且在不同任务和数据集上也明显优于传统的卷积神经网络和Vision Transformer网络.

在AD辅助诊断领域，单一模态数据难以为医生提供患者全面的病理信息， 将3D卷积神经网络作为训练方法虽然能够获得较好的准确度，但是训练参数多且对设备的要求高. 本研究1）提出融合AD病理影像的方法，整合多模态信息使影像具备丰富的多重信息；2）设计特征提取模块，捕捉影像的局部和全局特征，在保持分类准确率的同时使网络保持轻量化；3）设计多模态轻量级AD辅助诊断网络（multimodal lightweight Alzheimer’s disease auxiliary diagnostic network, LightMoDAD），利用神经影像和认知评分信息增强网络对AD诊断的准确性和可信性.

使用数据来自AD神经影像学倡议(Alzheimer’s disease neuroimaging initiative，ADNI)数据库^[16]. 该数据库是全球性的研究项目，项目设置旨在通过使用神经影像学、生物标志物和临床评估等方法增加对AD及相关疾病的理解. 诊断AD使用单一的神经影像难以获得信息丰富的特征，将患者在临床检查中获得的认知功能评分用于诊断能够得到丰富的多模态特征. 本研究选用T1加权的MRI和FDG-PET神经影像数据以及精神认知评分数据诊断AD. 影像数据来自443名受试者，评分数据来自同一批受试者中不同阶段的随访信息. 在AD患者中，女性少于男性，年纪小的少于年纪大的，数据尽量均衡选择. 数据集中受试者的人口学和临床信息如表1所示. 表中，CN表示健康人，MCI表示轻度认知障碍患者，N_M为男性人数，N_F为女性人数，S_MMSE为简易精神状态检查分数，S_GDS为全局退化量表分数，S_CDR为全局临床痴呆评定量表分数，S_FAQ为功能活动问卷分数，S_NPI为简化版神经精神症状量表问卷分数.

医学影像数据和医学认知功能检查评分对AD诊断具有不可替代的作用. 由MRI图像可以获得AD患者脑部结构信息，由PET图像可以获得患者脑部各组织的代谢信息，由融合这2类图像的多模态图像可以同时获得脑部组织结构与代谢信息. 由医学认知功能检查评分获得的患者认知状态信息有利于AD诊断，对医学影像数据和医学认知功能检查评分数据进行预处理能够提高AD的诊断准确率.

如图1所示，图像预处理主要包含去颅骨、配准、分割以及融合4个部分. 1）利用医学影像处理软件FSL（FMRIB software library）^[17]中的BET工具分别将患者脑部MRI和PET图像进行去颅骨操作. 该技术仅保留颅内组织结构，去除了不必要的解剖器官区域. BET工具使用完全自动化的算法在神经影像中将脑部区域与周围的非脑组织（如头盖骨、头皮和脑膜）分离^[18]，通过阈值分割、曲面拟合和优化技术等方法准确地估计脑部边界. 2）利用FLIRT工具将MRI和PET图像配准到MNI152空间中. FLIRT通过计算刚体变换和仿射变换将图像与参考图像对齐. 这种线性变换可以在保持图像形态结构的前提下进行平移、旋转和缩放操作，确保2个图像的脑部组织对应. 3）使用FSL中的FAST工具对图像进行脑部灰质区域分割. FAST是基于概率模型和贝叶斯分类器的工具，能够根据MRI图像估计脑部组织类型的空间分布，包括灰质、白质和脑脊液等分割，分别获得仅包含灰质、白质的脑部. 4）融合MRI和PET图像的信息可以获得更全面、准确的大脑结构和功能表示. 为此，将MRI和PET图像在MNI152标准空间中配准，确保这2类图像在空间上对齐，分别对2类图像进行分割后可以获得灰质、白质和脑脊液图像. 海马体主要由灰质构成，本研究采用FLIRT组件将MRI图像分割得到的灰质图像与相应PET图像分割得到的白质图像进行配准，生成配准的融合图像. MRI图像分割得到的灰质图像保留了海马体的结构特征，PET图像分割得到的白质保留了脑组织中的代谢信息. 这种融合方法简单、实用，在有效地保留大脑基本信息的同时最大限度地减少了计算负担. 该方法通过集成丰富的语义信息和图像细节，提高了模型的性能和准确性. 多模态图像融合过程如图2所示.

MRI和PET图像通常以NIFTI格式保存，该格式存储MRI和PET的三维数据^[19]. 处理三维数据对计算能力的要求高，为了最大限度地减少训练参数的数量和计算复杂性，采用二维数据进行训练. 在矢状面、冠状面和轴面3个方向进行切片处理可以准确地检测和研究AD的相关变化^[20]，但不是每个切片都能完全捕捉大脑中的特征信息. 为了保留那些包含关键大脑信息的部分，研究中须过滤获得的图像. 如图3所示，通过降维切片过程得到多模态图像数据，包含来自2种类型图像的关键信息.

文本数据的质量和准确性取决于数据源，数据源可能不可靠或不完整，导致分析不准确，因此获取的文本数据须进行预处理. 选取ADNI数据库中患者的MMSE、GDS、CDR、FAQ和NPI作为文本数据. 对评分信息进行数据清洗和异常值处理操作，去除患者评分数据中的缺失数据和异常数据，将得到的数据进行归一化处理，消除不同评分之间不同的度量单位和范围，获得用于训练的数据.

如图4所示为所提网络的结构图. 该网络的目标是在确保准确率的同时降低参数量，为将来在移动设备上的拓展应用奠定基础，因此网络中的特征提取模块的设置主要考虑降低参数量. 利用倒残差结构增加网络深度并降低网络复杂度^[21]，再利用图像局部特征提取模块和全局特征提取模块对图像进行特征提取；使用可分离卷积网络对评分信息进行特征提取，将提取的文本特征与图像特征进行融合，以获得多模态特征；最后利用线性分类器进行分类诊断.

结合图像局部特征和全局特征的特征提取模块如图5所示. 从空间和通道2个维度对图像进行特征提取以获得局部静态特征，将图像特征在频域中进行提取，通过全局滤波器进行滤波以获得全局特征，将分别获得的图像局部特征和全局特征融合获得图像多模态特征.

（1）局部特征提取. 在传统卷积过程中，网络参数量往往与卷积核大小以及卷积数量相关^[22]. 为了获得更好的局部图像特征，研究者通常会选择使用多个卷积或者使用不同尺度的卷积进行特征提取. 无论是加深网络深度还是使用不同尺度卷积都会增加网络参数量. 传统卷积过程存在空间和通道冗余，因此压缩空间和通道冗余成为降低参数量的关键因素. 通过分离重构的方式压缩空间冗余，通过分离变换融合的方式抑制信道冗余^[23]. 通过这2种方式在减少大量计算负荷的同时实现了可观的性能提升. 空间重构首先使用批量标准化的方法将原特征图$ {\boldsymbol{X}} $进行标准化：

(1)$ {{\boldsymbol{X}}_{{\mathrm{out}}}} = {\boldsymbol{\gamma }}\frac{{{\boldsymbol{X}} - {\boldsymbol{\mu}} }}{{\sqrt {{{\boldsymbol{\sigma}} ^2}+\varepsilon } }}+{\boldsymbol{\beta }}. $

式中：$ {{\boldsymbol{X}}_{{\text{out}}}} $为经过标准化后的特征图，$ {\boldsymbol{\mu}} $、$ {\boldsymbol{\sigma}} $分别为$ {\boldsymbol{X}} $的平均值和标准差，$ \varepsilon $为小的正常数，$ {\boldsymbol{\gamma }} $、$ {\boldsymbol{\beta }} $均为可训练的仿射变换. 可训练参数$ {\gamma _1},{\gamma _2},{\gamma _3} $作为测量每个批次和通道的空间像素方差，丰富的空间信息反应空间像素的多种变化，导致更大的$ {\boldsymbol{\gamma }} $，使用获得的特征映射参数进行归一化处理，得到经过归一化处理后的特征权重参数$ {{\boldsymbol{W}}_\gamma } $，表示不同特征映射的重要性：

(2)$ {{{\boldsymbol{W}}}_{{{\boldsymbol{\gamma}}} }}=\frac{{\boldsymbol{\gamma}} }{{{{\boldsymbol{1}}}_{{c}}}^{{{\mathrm{T}}}}{\boldsymbol{\gamma}} }. $

式中：c为通道大小. 将经过标准化处理的原数据与通过特征映射归一化处理得到的特征权重进行拼接操作，得到包含不同特征信息的特征权重：

(3)$ {{\boldsymbol{X}}_C} = {\boldsymbol{X}} \otimes {{\boldsymbol{W}}_\gamma }. $

再将特征权重进行Sigmoid激活处理并通过阈值进行门控. 阈值以上的权重设置为1，以此获得$ {{\boldsymbol{W}}_1} $；阈值以下的权重设置为0.5，以此获得$ {{\boldsymbol{W}}_2} $；不存在等于阈值的情况：

(4)$ {\boldsymbol{W}} = {\text{Gate\;(}}{\mathrm{Sigmoid}}{\text{\;(}}{{\boldsymbol{X}}_{\text{C}}}{\text{))}}{\text{.}} $

将$ {{\boldsymbol{W}}_{\text{1}}} $、$ {{\boldsymbol{W}}_{\text{2}}} $分别与原图像相乘得到包含信息丰富和少量信息的特征图$ {\boldsymbol{X}}_1^W $、$ {\boldsymbol{X}}_2^W $. 利用交叉重构的方式减少空间冗余，将$ {\boldsymbol{X}}_1^W $和$ {\boldsymbol{X}}_2^W $按照通道数分为2个部分，获得$ {\boldsymbol{X}}_{11}^W $、$ {\boldsymbol{X}}_{12}^W $、$ {\boldsymbol{X}}_{21}^W $、$ {\boldsymbol{X}}_{22}^W $. 分别将$ {\boldsymbol{X}}_{11}^W $与$ {\boldsymbol{X}}_{21}^W $、$ {\boldsymbol{X}}_{12}^W $和$ {\boldsymbol{X}}_{22}^W $进行相加处理，得到$ {{\boldsymbol{X}}^{1W}} $和$ {{\boldsymbol{X}}^{2W}} $. 对$ {{\boldsymbol{X}}^{1W}} $和$ {{\boldsymbol{X}}^{2W}} $进行拼接操作，将信息丰富的特征与信息较少的特征相加，得到经过空间约束获得的特征图$ {{\boldsymbol{X}}^W} $：

(5)$ {{\boldsymbol{X}}^W} = {\mathrm{C}}{\text{oncat\;(}}{{\boldsymbol{X}}^{1W}},\;{{\boldsymbol{X}}^{2W}}{\text{)}}{\text{.}} $

信道重建对$ {{\boldsymbol{X}}^W} $进行通道分割，其中α为分割比，$\alpha \in (0,1) $，$ C $为输入通道数，得到αC通道和（1−α）C通道的特征图. 利用1×1的卷积压缩特征图以提高计算效率，经过分割和压缩操作将原始特征图$ {{\boldsymbol{X}}^W} $分为$ {{\boldsymbol{X}}_{{\text{up}}}} $和$ {{\boldsymbol{X}}_{{\text{low}}}} $2个部分：

(6)$ {{\boldsymbol{X}}^W} = {\mathrm{Add}}\;({{\boldsymbol{X}}_{{\text{up}}}},{{\boldsymbol{X}}_{{\text{low}}}}). $

对αC通道的特征图$ {{\boldsymbol{X}}_{{\mathrm{up}}}} $分别使用分组卷积和逐点卷积组合提取特征，得到$ {\boldsymbol{X}}_{{\mathrm{up}}}^{{\mathrm{GC}}} $和$ {\boldsymbol{X}}_{{\mathrm{up}}}^{{\mathrm{PC}}} $. 分组卷积减少了参数和计算量，逐点卷积增加了信道组之间的信息流. 对分别从2种卷积中提取的特征进行相加处理，得到特征映射$ {{\boldsymbol{Y}}_1} $：

(7)$ {{\boldsymbol{Y}}_1} = {\boldsymbol{X}}_{{\text{up}}}^{{\text{GC}}} \otimes {\boldsymbol{X}}_{{\text{up}}}^{{\text{PC}}}. $

对（1−α）C通道的特征图$ {{\boldsymbol{X}}_{{\text{low}}}} $使用经过逐点卷积的特征图$ {\boldsymbol{X}}_{{\text{low}}}^{{\text{PC}}} $与原特征图$ {{\boldsymbol{X}}_{{\text{low}}}} $进行拼接获得特征映射$ {{\boldsymbol{Y}}_2} $：

(8)$ {{\boldsymbol{Y}}_2} = {\mathrm{C}}{\text{oncat\;(}}{\boldsymbol{X}}_{{\text{low}}}^{{\text{PC}}}{\text{,}}\;{{\boldsymbol{X}}_{{\text{low}}}}{\text{)}}{\text{.}} $

分别对经过上部和下部的特征图$ {{\boldsymbol{Y}}_1} $、$ {{\boldsymbol{Y}}_2} $进行池化操作，得到全局通道描述因子$ {{\boldsymbol{S}}_1} $、$ {{\boldsymbol{S}}_2} $：

(9)$ {{\boldsymbol{S}}_{m}} = \frac{1}{{H\times W}}\sum\limits_{i = 1}^H {\sum\limits_{j = i}^W {{{\boldsymbol{Y}}_{C}}(i,j);\;m = 1,2} } . $

使用$ {{\boldsymbol{S}}_1} $、$ {{\boldsymbol{S}}_2} $生成特征重要性向量$ {{\boldsymbol{\beta }}_1} $、$ {{\boldsymbol{\beta }}_2} $：

(10)$ {{\boldsymbol{\beta }}_1} = \frac{{{{\text{exp}}\;{{{\boldsymbol{S}}_1}}}}}{{{{\text{exp}}\;{{{\boldsymbol{S}}_1}}}+{{\text{exp}}\;{{{\boldsymbol{S}}_2}}}}},\;{{\boldsymbol{\beta }}_2} = \frac{{{{\text{exp}}\;{{{\boldsymbol{S}}_2}}}}}{{{{\text{exp}}\;{{{\boldsymbol{S}}_1}}}+{{\text{exp}}\;{{{\boldsymbol{S}}_2}}}}},\;{{\boldsymbol{\beta }}_1}+{{\boldsymbol{\beta }}_2} = {\bf{1}}. $

将$ {{\boldsymbol{\beta }}_1} $、$ {{\boldsymbol{\beta }}_2} $与$ {{\boldsymbol{Y}}_1} $、$ {{\boldsymbol{Y}}_2} $合并，得到最终经过信道约束的特征$ {{\boldsymbol{Y}}_{}} $：

(11)$ {\boldsymbol{Y}} = {{\boldsymbol{\beta }}_1}{{\boldsymbol{Y}}_1}+{{\boldsymbol{\beta }}_2}{{\boldsymbol{Y}}_2}. $

空间重建和信道重建这2种方式可以最大程度地降低在特征提取过程中产生的通道和空间冗余特征，也就降低了局部特征提取的参数量.

（2）全局特征提取. 在深度学习领域中捕获数据的全局特征通常考虑Transformer架构. Transformer的自注意力机制和多层网络结构会增加整个网络的参数^[24]，通过将图像数据的特征转换到频域进行提取的方式来降低参数量^[25]. 利用快速傅里叶变换将图像数据的特征$ {\boldsymbol{X}} \in {{\bf{R}}^{H\times W\times C}} $转换到频域中，获得原始特征$ {{\boldsymbol{Y}}_{}} $：

(12)$ {\boldsymbol{Y}}(\mu ,\nu ) = \sum\limits_{h = 0}^{H - 1} {\sum\limits_{w = 0}^{W - 1} {{\boldsymbol{X}}(h,w)\;{{\mathrm{exp}}\;{( - 2{\text{π}} (\mu h,\nu w))}}} } . $

多层感知器MLP用于特征提取，得到经过提取的特征$ {{\boldsymbol{Z}}_{}} $：

(13)$ {\boldsymbol{Z}} = {{\boldsymbol{W}}_n}({{\boldsymbol{W}}_{n{{ - 1}}}}(\cdots({{\boldsymbol{W}}_1}{\boldsymbol{X}}+{{\boldsymbol{b}}_1})\cdots)+{{\boldsymbol{b}}_n}). $

由1×1卷积（相当于线性变换）从原始图像中获得包含原图像信息全局特征的掩膜张量$ {\boldsymbol{M}} $，从频域中学习到的特征通过元素乘法进行全局滤波：

(14)$ {\boldsymbol{M}}(\mu ,\nu ) = {\boldsymbol{W}}{\boldsymbol{X}}(h,w)+{\boldsymbol{b}}, $

(15)$ {\boldsymbol{N}} = {\boldsymbol{M}} \odot {\boldsymbol{Z}}. $

利用快速傅里叶逆变换将滤波后的特征$ {\boldsymbol{N}} $转换到原始域，得到最终特征$ {\boldsymbol{\hat X}} $：

(16)$ {\boldsymbol{\hat X}} = {F^{ - 1}}[{\boldsymbol{N}}]. $

快速傅里叶变换式使该特征提取方式无论是在参数量还是在计算速度上都远好于Vision Transformer. 在特征提取过程中，因为掩膜张量是通过1×1卷积得到的，可以看作全局卷积，所以经过滤波得到的特征都包含图像上下文信息，实现了与Vision Transformer相同的全局特征提取功能^[26].

利用可分离卷积提取认知评分信息特征的模块. AD评分信息数量巨大，若使用传统卷积进行特征提取往往会产生大量的参数. 对评分信息进行特征提取不涉及从3个通道进行的特征提取，为此利用可分离卷积^[27]对文本信息进行特征提取以降低网络参数量. 深度可分离卷积由2个部分组成：1）深度卷积

(17)${{{\boldsymbol{G}}}_{i,j,c}}=\sum\limits_{m=1}^{{{K}_{h}}}{\sum\limits_{n=1}^{{{K}_{w}}}{{{{\boldsymbol{A}}}_{i+m,j+n,c}}{{{\boldsymbol{K}}}_{m,n,c}}}} . $

式中：$ {{{\boldsymbol{G}}}_{i,j,c}}$为深度卷积的输出张量，$ {{{\boldsymbol{A}}}_{i+m,j+n,c}} $为输入的文本数据张量，${{{\boldsymbol{K}}}_{m,n,c}} $为卷积核在输入通道c的位置，${{K}_{h}}$、${{K}_{w}} $分别为卷积核的高度和宽度. 2）逐点卷积

(18)$ {{{\boldsymbol{Y}}}_{i,j,k}}=\sum\limits_{c=1}^{C}{{{{\boldsymbol{G}}}_{i,j,c}}{{{\boldsymbol{P}}}_{1,1,c,k}}} . $

式中：$ {{{\boldsymbol{Y}}}_{i,j,k}}$为深度可分离卷积的最终输出，k为输出通道数，$ {{{\boldsymbol{P}}}_{1,1,c,k}} $为逐点卷积的卷积核的权重. 在对文本信息进行特征提取过程中，大量实验结果表明，使用2个可分离卷积获得的特征提取效果最好.

对于二分类问题，假设模型的输出为概率值，使用Sigmoid函数映射到范围[0, 1]. 如果真实标签为1，则交叉熵损失表示为

(19)$ {L_{{\mathrm{BCE}}}}({{y}},{{\hat y}}) = - ({{y}}\lg \,{{{\hat y}}}+(1 - {{y}})\lg \;({1 - {{\hat y}}})). $

式中：$ {{y}} $为真实标签，$ {{\hat y}} $为预测标签. 对于多分类问题，假设模型有K个类别，输出由Softmax函数归一化为概率分布. 如果样本属于第i类，交叉熵损失表示为

(20)$ {L_{{\mathrm{BCE}}}} = ({{y}},{{\hat y}}) = - \sum\limits_{i = 1}^K {{{{y}}_i}\lg\,{{{{{\hat y}}}_i}}} . $

式中：$ {{{y}}_i} $为真实标签的第i个元素，$ {{{\hat y}}_i} $为模型预测的概率分布的第i个元素.

该函数用于密集目标检测，表达式为

(21)$ {\mathrm{FL}}({p_{\text{t}}}) = - {\alpha _{\text{t}}}{(1 - {p_{\text{t}}})^\gamma }\lg\,{{p_t}}. $

式中：$ {p_{\text{t}}} $为模型对样本属于正类别的预测概率；$ {\alpha _{\text{t}}} $为平衡因子，用于调整正负样本的重要性，根据实际情况设置；$ \gamma $为可调的聚焦参数，用于调整关注于难以分类的样本. 焦点损失函数通过调整损失函数的权重，将更多的关注放在难以分类的样本上. 当样本属于容易分类的类别时，$ {p_{\text{t}}} $接近1，那么$ {(1 - {p_{\text{t}}})^\gamma } $接近0，从而减小样本的权重；对于难以分类的样本，由于损失函数的权重得到增强，这些样本得到关注. 在存在类别不平衡的情况下，焦点损失函数在一些目标检测任务和一些分类任务中表现优异.

多项式损失函数^[28]为理解和改进常用的交叉熵损失和焦点损失函数提供了多项式扩展框架. Leng等^[28]通过对泰勒公式展开和求导，分析常见的交叉熵损失函数和焦点损失函数的本质，提出垂直调节损失和水平调节损失的概念. 分析了数据不均衡在损失函数上的机理，提出以简单有效的损失函数解决数据不均衡问题的方法，效果超越交叉熵损失函数和焦点损失函数. 多项式损失函数的表达式为

(22)$ \begin{split} {L_{{\text{p}}}} =& {\sum\limits_{j = 1}^\infty {{\alpha _j}(1 - {P_{\text{t}}})} ^j}. \end{split} $

使用完整的多项式损失函数会增加超参数，还会增加参数量和计算复杂度. 为了降低参数量，保留第一个多项式系数作为损失函数：

(23)$ {L_{{\text{p1}}}} = {L_{{\text{BCE}}}}+{\varepsilon _1}(1 - {P_{\text{t}}}), $

(24)$ \begin{split} &{L}_{p1}=({\varepsilon }_{1}+1)(1-{P}_{t})+\frac{1}{2}{{(1-{{P}_{t}})}^{2}}+\cdots+\frac{1}{N}{(1-{{P}_{t}})}^{N}+ \\& \frac{1}{1+N}{{(1-{{P}_{t}})}^{N+1}}+\cdots=-{\lg} ({P}_{t})+{\varepsilon }_{1}(1-{{P}_{t}}).\end{split} $

该损失函数有最大增益，须调整的代码变动和超参数最少，满足本研究对轻量化网络的要求，将作为本研究的网络损失函数.

医学数据收集的复杂性导致获得较大的医学数据集困难^[29]. 在深度学习领域，数据集小可能导致过拟合、模型不稳定、特征表示能力受限、泛化能力下降和无法处理复杂任务等问题. 迁移学习利用已经学到的知识来改善新任务的学习过程，核心思想就是通过共享源领域和目标领域之间的相似性，将源领域上学习到的模型参数、特征表示或知识应用到目标任务中.本研究利用有限的数据集获得了比较理想的诊断效果. 如图6所示，采用迁移学习中基于参数的方法，使用源数据构建模型，再将学习到的模型参数与目标域共享作为预先获得的模型，用于训练参数微调. 本研究源数据来自Imagenet 1k数据集，包含大约1 000万张图像，涵盖1 000个类别，包括动物、植物、物体和场景等各种领域. 模型参数由该数据集在与本研究所提网络结构相同的MobileViT^[15]网络上训练得到. 迁移学习能够大幅度降低学习其他数据集的训练时间，提高网络的泛化能力.

使用Python 3.7和PyTorch 1.7框架，网络在Intel Core i9-10900X CPU和NVIDIA 3090 GPU上进行训练. 使用迁移学习，通过广泛微调确定学习率为0.001，批量大小为32，训练周期为150，实验性能良好. 为了减少处理特殊信息的计算时间并在计算过程中减少参数数量，采用裁剪和采样技术处理输入数据. 输入网络的图像裁剪为128×128，确保脑组织区域不受损害，以实现更快的训练时间和更好的训练结果.

以二分类(AD与CN)和三分类(AD、CN和MCI)进行受试者分类，将准确率ACC、敏感性SEN、特异性SPE作为分类任务的评价指标. 准确性衡量模型正确分类的能力，关注所有样本的预测结果. 当数据分布不均衡、样本数量数量级差距较大时，准确率难以准确衡量模型性能. 本研究的数据集差异不大，因此准确率可以作为衡量模型的指标. 敏感性强调模型对于正样本的识别能力，敏感性高表示模型能够尽量少地错过真实的AD病例. 特异性强调模型对于负样本的识别能力，特异性高意味着模型能够尽量减少将非AD样本预测为AD样本的情况. 综合3个指标能够全面评估AD分类模型的性能，提供关于网络分类能力的不同视角.

(25)$ {\mathrm{ACC}} = \frac{{{\mathrm{TP}}+{\mathrm{TN}}}}{{{\mathrm{TP}}+{\mathrm{TN}}+{\mathrm{FP}}+{\mathrm{FN}}}}, $

(26)$ {\mathrm{SEN}} = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP}}+{\mathrm{FN}}}}, $

(27)$ {\mathrm{SPE}} = \frac{{{\mathrm{TN}}}}{{{\mathrm{TN}}+{\mathrm{FP}}}} . $

式中：TP为把正类预测为正类，FP为把负类预测为正类，TN为把负类预测为负类，FN为把正类预测为负类.

为了探究多模态数据对阿尔茨海默病的诊断效果的有效性，利用所提网络对图像数据和文本数据进行分类，结果如表2所示. 表中，$ {{\mathrm{ACC}}_{3}} $为三分类的准确率，$ {{\mathrm{ACC}}_2} $、$ {{\mathrm{SEN}}_2} $、$ {{\mathrm{SPE}}_2} $分别为二分类的准确率、敏感性、特异性. 由表可知，使用MRI、PET单一图像数据在二分类和三分类任务中的准确率都低于多模态图像数据的，验证了所提图像融合方法的可行性. 在二分类和三分类任务中，加入评分数据比仅使用评分数据的准确率均提高了0.032，比使用影像数据准确率分别提高了0.037、0.090，说明加入评分数据对AD诊断有效果，多种诊断数据的使用能够增加AD诊断的可信度.

选择不同轻量级网络对受试者进行分类识别，二分类的结果如表3所示. 由表可知，MobileViT的分类准确率较好，但是网络计算量FLOPS、网络参数量N_P以及显存占用量MAC远高于所提网络. Mobileswin的MAC与所提网络相近，但是其他指标不及所提网络. 利用所提网络在仅使用文本特征的情况下N_P和MAC都远低于使用图像特征的情况. 原因是图像数据远大于评分数据，选用更深的网络用于图像特征提取将获得更好的效果. 所提网络的FLOPS和N_P比MobileViT和Mobileswin的小，加入多模态数据保证了网络的诊断效果.

轻量级网络在训练时常出现过拟合现象，这是网络复杂度过高同时数据的分布不均衡导致的. 虽然本研究在数据搜集阶段注意数据的均衡分布，但数据差异性使得数据在预处理后仍可能面临不均衡的问题. 为了探究不同损失函数对网络训练的效果，选择不同损失函数进行训练，训练效果如表4所示. 由表可知，多项式损失函数在二分类任务上的准确率比交叉熵损失函数和焦点损失函数的分别提高了0.019，0.008，在三分类任务上分别提高了0.056，0.021. 该结果验证了在数据不均衡的训练任务中，多项式损失函数的表现效果更好.

对比不同分类网络的分类效果，结果如图7所示. 由图可知，本研究所提网络均优于其他网络. MPC^[30]、MK-SVM^[31]、SPMRM^[32]、NGF^[33]利用传统图像处理的方法进行多模态数据处理和诊断. 其中MK-SVM基于一致度量约束的多模态神经影像学特征选择方法，准确率为0.976. Vgg19^[34]、MobileViT、3D-CNN^[8]、ResNet18^[35]采用深度学习的方法进行诊断. 研究者或采用增加网络深度的方法，或选择3D卷积神经网络来提高诊断准确率. 在传统2D的深度学习方法中，最高的准确率为0.959. 所提网络比现有的传统学习方法（MK-SVM）的最高准确率提高了0.004，比现有的深度学习方法（Vgg19）最高准确率提高了0.021. 所提网络利用迁移学习方法，在保证准确率的同时减少了参数量，使用多模态数据不仅保证了分类准确率，也提高了多模态辅助诊断的可信性.

海马体损伤是AD的重要发病机制^[36]. 如图8所示，海马体位于大脑颞叶内侧，呈弯曲状，主要包括海马回、海马体和亚海马区. 为了检验所提网络训练海马体部位的准确性，对网络中的每个阶段进行可视化处理，使用梯度加权类激活映射Grad-CAM^[37]将网络的输出可视化如图9所示. 图中，第1行为融合图像，第2行为所提网络的训练可视化结果. 由图可知，所提网络能够准确关注脑部影像中的海马体区域，对影像中AD的病灶进行准确定位.

本研究提出AD辅助诊断的多模态数据融合轻量级网络. 主干网络引入去冗余卷积与全局滤波模块对融合的多模态影像数据进行局部和全局的特征提取，关注上下文信息兼顾局部偏置信息的归纳能力；利用可分离卷积对精神评分数据进行特征提取；将影像特征与文本特征融合，获得具有丰富语义和图像细节的多模态特征；利用全连接层进行对所提取特征的分类. 实验结果表明，本研究所提融合方法与AD病理的解剖具有一致表达. 所得数据同时获取了患者脑部的结构信息与代谢信息，对诊断效率有巨大提高. 在二分类，三分类的任务中所提网络能够有效提高AD的诊断准确率和效率. 所提网络使用不同模态数据诊断AD，在提高诊断准确率的同时提高了诊断的可信度. 下一步考虑与医院合作，增加临床患者数据，提高网络泛化能力. 所提网络具有轻量化的特点，后续研究计划将该网络部署到移动平台，开发便携式AD辅助诊断系统，提升临床诊断效率.