浙江大学学报(工学版), 2022, 56(11): 2232-2240 doi: 10.3785/j.issn.1008-973X.2022.11.014

计算机技术

基于显著稀疏强关联的脑功能连接分类方法

李明,, 段立娟,, 王文健, 恩擎

1. 北京工业大学 信息学部,北京 100124

2. 可信计算北京市重点实验室,北京 100124

3. 信息安全等级保护关键技术国家工程实验室,北京 100124

4. 卡尔顿大学 计算机学院,人工智能与机器学习实验室,加拿大 渥太华K1S 5B6

Brain functional connections classification method based on significant sparse strong correlation

LI Ming,, DUAN Li-juan,, WANG Wen-jian, EN Qing

1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China

2. Beijing Key Laboratory of Trusted Computing, Beijing 100124, China

3. National Engineering Laboratory for Critical Technologies of Information Security Classified Protection, Beijing 100124, China

4. Artificial Intelligence and Machine Learning (AIML) Lab, School of Computer Science, Carlton University, Ottawa K1S 5B6, Canada

通讯作者: 段立娟,女,教授. orcid.org/0000-0001-9836-482X. E-mail: ljduan@bjut.edu.cn

收稿日期: 2022-03-25  

基金资助: 国家自然科学基金资助项目(62176009, 62106065);北京市教委重点项目(KZ201910005008)

Received: 2022-03-25  

Fund supported: 国家自然科学基金资助项目(62176009,62106065);北京市教委重点项目(KZ201910005008)

作者简介 About authors

李明(1995—),男,硕士生,从事脑科学研究.orcid.org/0000-0003-4294-6614.E-mail:Liming@emails.bjut.edu.cn , E-mail:Liming@emails.bjut.edu.cn

摘要

针对脑功能连接数据维度过高、冗余特征过多影响神经网络分类准确率的问题,提出一种基于显著稀疏强关联的脑功能连接分类方法. 该方法利用显著特征稀疏模块对原始特征进行筛选增强;采用稀疏强关联特征上下文融合模块对不同感受野内的显著特征信息进行聚合;使用全连接神经网络进行分类预测. 在ABIDE以及ADHD-200数据集上的实验结果表明,所提方法相较于现有的脑功能连接分类算法在准确率上分别提升了10.41%和12.50%. 重要特征的可视化结果表明所提方法能准确定位与疾病相关的脑区,具有一定实际应用价值.

关键词: 显著特征识别 ; 特征筛选 ; 特征增强 ; 特征融合 ; 脑功能连接分类

Abstract

A brain functional connectivity classification method based on significant sparse strong correlation was proposed to solve problems that data dimension of brain functional connectivity is too high and many redundant features affect the accuracy of neural network classification. In this method, the salient features sparse module was used to filter and enhance the original features. The sparse strong correlation feature context fusion module was used to aggregate the salient feature information in different receptive fields. The fully connected neural network was used for classification prediction. The results on ABIDE and ADHD-200 datasets showed that the accuracy of brain functional connection classification algorithm was improved by 10.41% and 12.5% respectively compared with the existing brain functional connection classification algorithm. The visualization results of the important features show that the proposed method can accurately locate the brain regions related to disease, which has a certain practical value.

Keywords: significant feature identification ; feature screening ; feature fusion ; feature enhancement ; classification of brain functional connections

PDF (949KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

李明, 段立娟, 王文健, 恩擎. 基于显著稀疏强关联的脑功能连接分类方法. 浙江大学学报(工学版)[J], 2022, 56(11): 2232-2240 doi:10.3785/j.issn.1008-973X.2022.11.014

LI Ming, DUAN Li-juan, WANG Wen-jian, EN Qing. Brain functional connections classification method based on significant sparse strong correlation. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(11): 2232-2240 doi:10.3785/j.issn.1008-973X.2022.11.014

静息态磁共振功能成像(resting state functional magnetic resonance imaging, rs-fMRI)技术提供一种灵敏地捕捉和表示被试脑功能活动变化情况的非侵入检测方法,近年来被广泛应用于脑部疾病诊断. 病理状态下的脑功能活动相对于正常人存在一定的差异[1],不同脑部区域之间的相互作用蕴含着丰富的病理信息[2]. 构建脑功能连接网络对大脑不同区域之间的联系进行分析,是现阶段对于脑部疾病诊断中的常用研究手法之一[3-4].

脑功能网络由一组节点及节点之间的边进行表示,其中节点表示由相关模板预先定义的感兴趣区域(region of interest,ROI),边则表示感兴趣区域之间的相关关系. 现阶段脑功能连接的分类方法研究主要基于传统机器学习方法以及深度学习分类方法. 基于机器学习的方法通常面对的问题主要是维度灾难问题. 为了解决此问题,Wee等[5]提取脑功能连接网络的聚类系数降低特征维度,而后采用支持向量机(support vector machines, SVM[6])进行分类. Zhou等[7]基于稀疏化方法(least absolute shrinkage and selection operator, LASSO[8]),通过最小化目标函数进行特征筛选. Craddock等[9]利用递归特征消除算法(recursive feature elimination, RFE)对特征进行筛选后分类. 虽然以上方法都能取得一定的效果,但是受限于传统机器学习浅层的特征表达能力,缺少对特征中深层语义信息的理解,准确率还有一定的提升空间.

近年来,深度学习技术快速发展,在面对大规模数据时,深度神经网络具有相对于传统的机器学习更强的特征表达能力. Meszlényi等[10]和Kawahara等[11]的研究将卷积网络应用于脑功能连接分类任务,取得了比传统方法更好的分类效果. Jie等[12]采用卷积神经网络捕捉脑功能连接特征的空间信息与时间信息构建动态脑功能连接矩阵,并应用于阿尔兹海默症的分类. 最近有研究发现,使用注意力机制对特征进行加权能够有效地提升网络的学习能力,Jeon等[13]利用注意力机制结合编解码器提出了一种新的架构,对rs-fMRI数据中的空间信息以及时间信息同时进行学习,在早期阿尔兹海默症的识别上取得了优异的效果. 虽然上述深度学习模型在相关工作之中都表现了一定的合理性,但是大多数研究都将所有脑功能连接作为特征加入到分类网络中进行分类. 由于样本数量不足、数据维度过高,直接使用所有特征极易导致过拟合现象出现;并且由于存在的冗余特征过多,使分类网络的学习难度增加,导致最终的分类准确率过低. 同时,这些模型使用的标准卷积层和池化层的组合存在一些缺陷,池化层用于特征降维并帮助提取远距离区域内的特征,导致某些部分信息(例如数据结构或某些空间信息间的联系)可能会在二次采样操作中丢失.

针对上述问题,提出一种新的脑功能连接分类方法,该方法借鉴空间自注意力机制思想对疾病相关的显著特征进行提取并对非显著特征做稀疏化处理,而后结合不同显著特征的关联性解决分类过程中出现的样本维度高、冗余特征过多,以及特征关联信息利用不足等问题. 在数据的原始特征空间中,正常被试与患病被试之间存在许多相同的特征,而这些特征不具有显著的区分性,保留这些冗余特征极易对神经网络的学习造成负面影响,因此本方法利用显著特征模块对样本中的脑功能连接特征进行筛选和增强;然后利用预训练的自编码器(auto encoder, AE)对特征进行重构表达;接着利用稀疏强关联特征上下文融合模块融合不同尺度感受野区域的特征信息,最后再对融合后的特征进行分类. 为了客观评价所提出模型的有效性,在ABIDE和ADHD-200数据集上进行验证. 实验结果表明,提出的方法不仅提高了脑功能连接的分类准确率,并且能准确定位与疾病相关的脑区位置,具有一定的临床应用价值.

1. 相关工作

1.1. 基于深度学习的脑功能连接分类

近年来,得益于深度学习强大的学习能力,深度神经网络在越来越多的领域超越了传统机器学习方法. 在脑功能连接分类领域中,相较于传统机器学习技术,深度学习方法能获取到脑功能网络中的深层特征,有效地提升了脑功能连接的分类精度. kim等[14]提出一种自适应学习算法,通过L1范数控制每一个隐藏层中的权重稀疏性,利用堆叠自编码器的方法来初始化权重,在精神分裂症分类任务中取得了较好的效果,并发现来自较高隐藏层的特征对任务更具有区分性. Li等[15]利用视觉领域中的迁移学习思想提出一种针对脑功能连接分类的迁移学习框架(deep transfer learning neural network, DTL-NN)来增强对特征的学习,并在ASD分类任务的各个指标上都获得提升. Huang等[16]基于功能连接(functional connections, FC)以及结构性连通性(structure connections,SC)之间的关系,提出一种扩散-卷积双线性神经网络(DCB-NN)框架,考虑网络节点之间广泛的交互作用,从脑网络中提取多尺度特征,对疾病进行预测. 有研究人员提出利用rs-fMRI时间序列属性进行网络化脑疾病识别的方法[17-18],该方法使用重叠滑动窗口将rs-fMRI时间序列划分为一系列分段,然后构建纵向有序的功能连接网络,动态学习脑网络的结构变化,将网络特征提取和分类器训练集成到统一的框架中. 不仅可以明确地建模全脑网络随时间演化的连接模式,而且还可以捕获在不同网段定义的脑网络的独特特征.

不同于现有的深度学习方法,本研究对脑功能连接特征中的冗余部分进行考虑,并大胆假设已有特征中冗余特征占比更高. 通过自动去除冗余特征,显著地提升脑功能连接分类的准确度.

1.2. 自注意力机制

注意力机制思想来源于人类视觉的选择注意力机制,是一种能让模型对数据中的重要信息进行重点关注并充分学习吸收的技术,近年来在自然语言处理以及计算机视觉领域都取得了极佳的效果. Bahdanau等[19]首次将注意力机制应用于机器翻译领域,提出一种体系结构(soft-search)使模型从输入序列中自动寻找与目标词相关的部分,同时执行翻译任务中的翻译与对齐,达到当时最优异的翻译性能. 之后Luong等[20]在Bahdanau的工作上提出基于全局和局部的自注意力机制,进一步提升机器翻译的效果. Yin等[21]针对语句的建模任务,提出3种卷积神经网络与注意力机制结合的方法,分别是在卷积前加入注意力,扩展原有输入通道;在卷积后的池化层加入注意力,对卷积后的表达进行重新加权;以及将以上2种方法结合的加权方法. 对不同方法的效果进行探究,展现如何在卷积神经网络中添加注意力的思路. Vaswani等[22]在2017年提出一种完全基于自注意力的架构Transformer,该方法解决传统循环神经网络无法并行计算的问题,以及卷积神经网络难以获取远距离特征依赖关系的问题. Transformer不仅在自然语言处理领域取得良好的效果,而且在计算机视觉领域也被广泛地应用. 在计算机视觉相关任务中,CNN通常被视为网络的基本组件,但现有研究却表明,基于Transformer的网络结构具有取代传统CNN的能力. Chen等[23]训练一个不需要2D输入结构信息的序列化Transformer,使用来自动回归预测像素,最终在图像分类任务上取得与CNN相当的结果. Dosovitskiyet等[24]证明对于传多层CNN网络的使用是没有必要的,提出一种视觉转换模型ViT,将Transformer直接应用于图像块序列,最终在图像分类任务上表现良好. 除了图像分类任务,Transformer还被用于解决各种其他计算机视觉问题,包括目标检测、语义分割、图像处理和视频理解等领域. 对于脑功能连接分类领域,Gao 等[25]提出一个计算rs-fMRI神经嵌入框架,用于学习ADHD分类任务中基于表型属性的注意力加权机制,以增强卷积变分自动编码器潜对特征表示的建模能力. Ma等[26]提出一种水平注意引导的图神经网络(AGDGN),它运用注意力机制从脑网络中提取结构特征信息,并采用全局注意机制对图像的序列块进行进一步的处理. 最终通过2种注意机制的联合训练,从空间以及时间2个角度对阿尔兹海默病人的大脑信息进行揭示. Jeon等[13]提出一种利用自注意力机制探索脑在空间上的信息模式随时间推移而变化的方法,对rs-fMRI数据的时空信息进行丰富的表示. 所以,注意力机制能够关注到脑功能连接特征中更加重要的区域,能够减少冗余特征的对于深度学习模型学习能力的影响,从而提升模型的分类效果.

注意力机制通过对特征的不同部分设置权重参数,以此来关注特征的空间信息. 本研究借鉴空间注意力机制思想,为脑功能连接的每条边赋予不同权重,寻找显著特征,使网络具有寻找鉴别特征的能力. 同时结合不同范围内特征的空间信息,在训练过程中寻找特征间的强关联关系,降低冗余脑功能连接的特征权重,从而提升网络整体的鉴别能力.

2. 基于显著稀疏强关联的脑功能连接分类方法

2.1. 总体框架

提出的基于显著稀疏强关联(significant sparse strong correlation, SSSC)的脑功能连接分类方法的网络整体框架如图1所示. 针对数据冗余特征过多,维度过高的问题,首先采用采用显著特征稀疏模块对特征空间信息提取与增强,计算每一个特征的显著性分数(significance score),而后根据显著分数保留并增强有效特征,同时去除大量冗余特征. 其次采用自编码模块(auto-encoder)降低特征维度,而后采用稀疏强关联特征上下文融合模块(multi-scale context fusion model)对加权后的脑功能连接特征中进行表征学习,聚合特征的上下文信息,获取有效特征之间的关联关系,最后使用全连接神经网络进行分类.

图 1

图 1   基于显著稀疏强关联的脑功能连接分类方法整体框架(SSSC)

Fig.1   Overall framework of brain function connection classification method based on significant sparse strong correlation (SSSC)


2.2. 显著特征稀疏模块

在通常情况下,由于在原始数据上构建完成脑功能连接矩阵存在维度高、样本量少的特点,若直接采用原始脑功能连接特征,极易造成网络过拟合,并且由于存在大量的冗余特征,会影响网络学习效果. 为了解决上述问题,借鉴空间注意力机制的思想,提出显著特征稀疏模块,对脑功能连接特征进行选择,将具有鉴别能力的特征保留,去除干扰特征,该模块整体结构如图2所示. 为了自适应学习脑功能连接特征的不同贡献程度,定义一个核 $ \boldsymbol{H}\in {\mathbf{R}}^{L\times L} $学习不同脑功能连接之间的相关性. 首先对核参数进行随机初始化,然后在模型的训练过程当中与SSSC网络中的其他参数一起训练. 具体计算过程如下,给定输入特征 $ \boldsymbol{x}=\left\{{x}_{1},{x}_{2},\cdots ,{x}_{L}\right\} $,在经过显著特征稀疏模块后,得到对应特征的权重:

图 2

图 2   显著特征稀疏模块结构图

Fig.2   Saliency region sparse structure


$ {g}_{k}\left(\boldsymbol{x}\right)=\frac{{\boldsymbol{H}}_{k}\boldsymbol{x}+{\boldsymbol{b}}_{k}}{{\displaystyle\sum} _{l=1}^{L}{\rm{exp}}\left({\boldsymbol{H}}_{l}\boldsymbol{x}+{\boldsymbol{b}}_{l}\right)}. $

式中:x为输入特征,为核H的第k行参数,bk为偏置项,gk(x)为第k个脑功能连接系数的显著分数. 根据分数值将所有权重进行排序,保留重要权重,即排序后比较大的分数. 当gk(x)较大时,表明当前脑功能连接对于网络判别被试是否患病具有重要作用,对于网络的判别能力影响也更大,将这些脑功能连接保留,并予以适当地增强;相反,当gk(x)较小时,表明当前连接对网络的判别能力影响有限,不能增加网络的判别能力,保留反而会增加网络的计算量,所以将不重要的脑功能连接置为零. 整体保留规则如下:

$ \tilde{{{\boldsymbol{x}}}_{k}}=\left\{\begin{array}{l}{(g}_{k}\left(\boldsymbol{x}\right)+1){{\boldsymbol{x}}}_{k}, {\rm{if}} \; {g}_{k}\left(\boldsymbol{x}\right)\in [\beta ,\beta_{\rm{max}}];\\ 0, \quad \qquad \qquad {\rm{otherwise}. }\end{array}\right. $

式中: $ \tilde{{x}_{k}} $为保留的经过筛选增强的脑功能连接; $ \beta $为一个人为设定的阈值,在实验中设置为保留权重排序后的前10%.

2.3. 稀疏强关联特征上下文融合模块

为了更好地学习保留下的脑功能连接中的特征,采用预训练的自编码器对特征进行表示,自编码器训练过程如下. 假设特征空间为F,输入空间为X$ f\left(\boldsymbol{x}\right) $为输入空间到特征空间的映射函数,同时也是自编码器的编码模块; $ g\left(\boldsymbol{x}\right) $为特征空间到输入空间的映射函数,也称为自编码器的解码模块. $ f\left(\boldsymbol{x}\right) $$ g\left(\boldsymbol{x}\right) $都需要通过预训练神经网络的不断学习得到,采用的优化损失函数为均方误差为

${\rm{MSE}}= \sum _{l=1}^{L}{\left\|{\boldsymbol{x}}_{l}-g\left[f\left({\boldsymbol{x}}_{l}\right)\right]\right\|}^{2}. $

式中: $ f\left(\boldsymbol{x}\right) $为编码器函数, $ g\left(\boldsymbol{x}\right) $为解码器函数,最终网络只保留编码器部分用作编码模块.

当脑功能连接特征经过显著特征稀疏模块筛选后,由于冗余特征都被置为零,所以特征中存在大量的无意义特征,因此采用自编码器对输入特征进行降维表达,减少零元素对后续分类过程的影响. $ h\left(\boldsymbol{x}\right) $为经过自编码器后得到的特征,如式4所示.

$ h\left({\boldsymbol{x}}\right)=f\left(\tilde{\boldsymbol{x}}\right)+{\boldsymbol{p}}. $

式中: $ \tilde{\boldsymbol{x}} $为筛选后的脑功能连接特征,p为偏置项.

为了更好地学习特征空间上下文信息,使用多个专门设计的卷积模块以捕捉不同空间范围内的特征关联信息,即通过对不同尺度的空间信息进行编码,从而捕捉不同感受野之内的空间信息,如图3所示. 使用大小为 $ ({r}_{1},\cdots ,{r}_{j}) $的多个不同尺度的扩张率来学习不同大小感受野内的空间信息. Vi为不同感受野融合后的特征,具体计算公式为

图 3

图 3   稀疏强关联特征上下文特征融合模块

Fig.3   Sparse strong correlation feature context fusion module


$ {v}_{i}=\sum _{j}\left(\sum _{z}{h\left(\boldsymbol{x}\right)}_{i+{\mathrm{r}}_{j}\cdot z}{\boldsymbol{u}}_{z}^{j}\right)\boldsymbol{m}+{\boldsymbol{q}}_{j}. $

式中: $ z $为特征下标; $ u $为空洞卷积核参数; $ r $为扩张率,代表采样输入特征的步长,文中选用的扩张率大小为1、2、5; $ {\boldsymbol{q}}_{j} $为偏置项;m为一维卷积核参数

大小为1的卷积核的主要作用是将不同感受野内得到的空间信息进行融合,从而综合不同感受野内的特征信息,最后利用融合后的特征进行分类,并采用交叉熵(cross entropy)作为损失函数:

$ {\rm{cross}}=\frac{1}{N}{\sum }_{i}-\left[{y}_{i}\cdot {\rm{log}} \; \left({p}_{i}\right)+\left(1-{y}_{i}\right){\rm{log}} \; \left(1-{p}_{i}\right)\right]. $

式中: $ {y}_{i} $为样本i的标签, $ {p}_{i} $为第i个样本预测为正类的概率, $ N $为测试样本个数.

2.4. 算法具体描述

所提出的基于显著稀疏强关联的域特征融合的神经网络训练过程如算法1所示.

算法1  SSSC训练过程

input:训练集 $ D=\left\{X,Y\right\} $$ X\in {\mathbf{R}}^{L\times N} $

1)随机初始化自编码器;

2)无监督重构自编码器AE,采用式(3)进行学习;

3)保留AE中输入空间到特征空间的映射f

4)随机初始化SSSC网络参数{, };

5)while 停止条件 do;

6)以训练集 $ {\boldsymbol{x}}_{i} $,作为输入,经过式(1)、(2)得到筛选后的特征 $ \tilde{\boldsymbol{x}} $将保留后的特征经过式(4)进行编码得到h(x);

7)根据式(5)计算不同尺度 $ {r}_{j} $下的特征,然后将多尺度特征融合为 $ {v}_{i} $,得到预测为正类的概率 $ {p}_{i} $

8)根据式(6),计算 $ {y}_{i},{p}_{i} $损失值;

9)采用Adam算法更新参数{W, b};

10)end

output:{ $ {{W}}^{\mathit{*}},{{b}}^{\mathit{*}} $}

3. 实验与结果

3.1. 数据预处理

采用的数据集来自ABIDE (autism brain imaging data exchange)[27]数据集和ADHD-200 (attention deficit and hyperactivity disorder)[28]数据集. ABIDE发布于2012年8月,其中包含来自世界各地17个站点的539名患有自闭症谱系障碍(autism spectrum disorder, ASD)的患者和573名典型对照者(typical controls, TC)的rs-fMRI数据,剔除其中缺乏标签的77个人的异常数据,最终剩下505名ASD患者和530名典型对照者. ADHD数据集包含361名患有注意缺陷与多动障碍(attention deficit hyperactivity disorder, ADHD)的被试以及585名正常被试. 表1列出数据的性别以及年龄阶段分布,从表1中可以观察到ASD数据样本大多分布在儿童、青少年以及成人之间,样本的年龄阶段分布较为均衡. 在样本中被试多数为男性,这是由于自闭症患者以及多动症障碍患者中男性发病率是女性的4~5倍,所以样本中性别分布也是正常的.

表 1   不同数据的性别以及年龄阶段分布人数

Tab.1  Gender and age distribution of different data

数据集 年龄段 患者被试(男/女) 正常被试(男/女) 合计
ASD (6,12] 130/21 114/28 293
(12,17] 156/23 159/43 381
(17,64] 157/18 162/24 361
ADHD200 [7,26] 288/74 306/279 947

新窗口打开| 下载CSV


本研究采用预处理连接体项目[27](preprocessed connect-omesproject)提供的已经预处理完成的数据. PCP项目公开4种不同预处理流程处理后的数据,采用经由rs-fMRI预处理助手(data processing assistant for rs-fMRI, DPARSF)工具处理后的数据,预处理方法主要包括层间时间校正、头动校正、全局平均强度归一化、干扰信号回归和带通滤波和空间配准等. 采用研究中被广泛的使用的自动解剖标记图谱AAL模板提取感兴趣区域 (region of interest,ROI) 的时间序列,该模板将大脑皮层划分为116个位置邻近、功能相似的功能脑区,现有研究通常采用前90个脑区作为研究对象. 对前90个ROI的平均时间序列数据,采用皮尔逊相关系数(Pearson correlation coefficient, PCC)方法计算不同ROI时间序列数据之间的功能连接强度. 假设 $ {Q}_{1} $$ {Q}_{2} $为划分的2个ROI, $ {Q}_{1} $的时间序列数据为 $ {Q}_{1}=\{{a}_{1},{a}_{2},\cdots {,a}_{n}\} $$ {{Q}}_{2} $的时间序列数据为 $ {Q}_{2}=\{{b}_{1},{b}_{2},\cdots ,{b}_{n}\} $,计算公式为

$ \begin{split} &{\rho }_{({Q}_{1},{Q}_{2})}= {{\displaystyle\sum} _{i=1}^{n}\left({a}_{i}-\bar{a}\right)\left({b}_{i}-\bar{b}\right)} \\ &\left/ {{ \left( { {{\displaystyle\sum} _{i=1}^{n}{\left({a}_{i}-\bar{a}\right)^2}} } \right)^{{1}/{2}} \times { \left( { {\displaystyle\sum} _{i=1}^{n}{\left({b}_{i}-\bar{b}\right)^2} } \right)^{{1}/{2}}}}.}\right. \end{split}$

式中: $ {\rho }_{({Q}_{1},{Q}_{2})} $$ {Q}_{1} $脑区与 $ {Q}_{2} $脑区之间的相关性, $ n $为时间序列数据的长度, $ {a}_{i} $$ {b}_{i} $$ {Q}_{1} $脑区和 $ {Q}_{2} $$ i $个时间点的所有体素的平均值, $ \bar{a} $$ {Q}_{1} $所有时间序列的平均值, $ \bar{b} $$ {Q}_{2} $所有时间序列的平均值. 假设得到的相关系数矩阵为

$ {\boldsymbol{E}}=\left[\begin{array}{ccc}\begin{array}{cc}{\rho }_{({Q}_{1},{Q}_{1})}& {\rho }_{({Q}_{1},{Q}_{2})}\\ {\rho }_{({Q}_{2},{Q}_{1})}& {\rho }_{({Q}_{2},{Q}_{2})}\end{array}& \cdots & \begin{array}{c}{\rho }_{({Q}_{1},{Q}_{90})}\\ {\rho }_{({Q}_{2},{Q}_{90})}\end{array}\\ ⋮& \ddots & ⋮\\ \begin{array}{cc}{\rho }_{({Q}_{90},{Q}_{1})}& {\rho }_{({Q}_{90},{Q}_{2})}\end{array}& \cdots & {\rho }_{({Q}_{90},{Q}_{90})}\end{array}\right]. $

E也叫做脑功能连接矩阵,矩阵中的每一个元素表示每两个脑区间的功能活动变化关系,E的大小为90×90,它是一个对角线为1的对称矩阵. 最后,选取功能连接矩阵的上三角作为特征,将其展开为一维向量 $ \boldsymbol{x}=\left\{{x}_{1},{x}_{2},\cdots ,{x}_{L}\right\} $作为整个模型的输入,最终每个被试会得到长度为4 005的特征.

3.2. 实验设置

进行一个分类任务即ASD与TC以及ADHD与 TC的分类. 在本实验中,采用五折交叉验证策略,即将数据集随机划分为5个子集,每次选择1个子集作为测试集,其余的4个子集作为训练集. 总共进行5次实验,最后将所有结果的平均值作为最终的结果. 采用准确率ACC、灵敏度SEN、特异度SPE、受试者工作特征曲线下面积(area under the curve,AUC)4个指标评价模型的分类性能. 相应指标定义如下:

$ {\rm{ACC}}=\frac{\left(\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}\right)}{\left(\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}\right)},$

$ {\rm{SEN}}=\frac{{\rm{TP}}}{\left({\rm{TP}}+\mathrm{F}\mathrm{N}\right)}, $

$ {\rm{SPE}}=\frac{\mathrm{T}\mathrm{N}}{\left(\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}\right)}. $

式中:TP为真阳率,表示实际为正样本预测也为正样本的个数;TN为真阴率,表示实际为负样本预测也为负样本的个数;FP为假阳率,表示实际为负样本,预测为正样本的个数;FN为假阴率,表示实际为正样本预测为负样本的个数.

3.3. 实验结果分析

提出的模型与一些典型的脑功能连接分类方法以及近期发表的基于深度学习的脑功能分类方法进行比较. 涉及到的方法主要有独立量分析结合支持向量机(ICA-SVM)[29]、主成分分析结合支持向量机(PCA-SVM)[30]、带元素滤波器的卷积升级网络(convolutional neural network with element-wise filters,CNN-EW)[31]、全连接双向长短时记忆神经网络(fully-connected bidirectional long short-term memory,Full-BiLSTM)[32]以及稀疏策略卷积神经网络(sparse strategies convolutional neural network,SCNN)[29]. 为了保证实验的公正性,采用与其他文章相同的数据ABIDE数据集和ADHD200数据集进行实验. 实验结果如表2所示,部分实验结果来自于文献[29]. 从表2中可以看出,所提出的脑功能连接分类算法SSSC在ASD数据集上的4个指标均取得了最高值. 相比之前的研究方法,在正确率上相较于最优模型SCNN提升了10.41%,在灵敏度和AUC上分别提升了11.54%和15.95%,在特异度上相较于最优模型Full-BiLSTM提升了8.21%,在ADHD数据集的正确率、灵敏度、AUC上也取得了最高值. 虽然在特异度上小于CNN-EW,这是由于ADHD数据集正负样本不均衡,若模型分类性能不足时,分类结果往往会向样本数多的一类进行偏移,导致灵敏度或者特异度中某一个值偏高. 综合来看所提出的SSSC方法性能最优. 虽然Full-BiLSTM和SCNN方法对时间维度上的信息进行提取,由于输入特征中冗余特征过多,最终对于模型分类能力的提升帮助有限,本研究尽管只构建了静态的脑功能连接矩阵,但是在最终分类性能上所提出的SSSC方法优于SCNN方法.

表 2   衡量分类性能的评价指标结果对比

Tab.2  Comparison of evaluation index results for measuring classification performance %

数据集 模型 ACC SEN SPE AUC
ABIDE ICA-SVM 63.24 59.51 66.55 63.03
PCA-SVM 58.77 54.34 62.5 58.42
CNN-EW 64.99 62.75 66.76 64.75
Full-BiLSTM 69.29 56.65 79.67 68.16
SCNN 70.94 66.93 73.52 70.23
SSSC(ours) 81.35 78.47 87.88 86.18
ADHD200 ICA-SVM 62.23 36.18 81.7 66.02
PCA-SVM 56.08 42.58 65.84 54.21
CNN-EW 68.71 42.67 84.55 63.61
Full-BiLSTM 69.11 59.36 74.52 66.94
SCNN 69.97 65.28 73.63 69.46
SSSC(ours) 82.47 86.81 75.26 81.43

新窗口打开| 下载CSV


3.4. 保留不同的特征数对ABIDE数据集分类结果的影响

为了测试不同的空间稀疏策略对网络分类能力的影响,使用式(2)来控制保留的脑功能连接数目,SSSC-10%为保留权重排序以后产生的前10%的脑功能连接系数进入分类网络,实验中只改变保留的脑功能连接特征数目,其余均不改变. 实验结果如表3所示. 其中SSSC-all的综合结果最差,这是因为当保留所有脑功能连接时,由于样本数量不足,特征维度过高,其中包含过多的冗余特征,使得网络难以拟合到最优结果. SSSC-10%结果综合最优,ACC指标达到81.35%,在SEN、SPE以及AUC指标相较于其他策略也取得较高值. 虽然在保留20%的特征数时,取得的效果与保留10%特征时相近,但是这是由于神经网络强大学习能力,使得其中较少的冗余特征未对最终实验结果造成较大影响. 当保留特征数为5%时,由于鉴别特征数量不足,难以达到较好的分类效果. 而当保留的特征超过50%时,网络学习的有效性大大降低,出现预测结果往一类偏移的情况. 当保留大于80%的参数时,网络完全丧失学习能力,预测结果完全往一类偏移,这有效的验证了提出的基于显著稀疏特征筛选以及特征增强方法是确实有效的.

表 3   不同脑功能连接数量下的消融实验结果对比

Tab.3  Comparison of results of ablation experiments under different number of brain functional connections

ASD vs TC
Model ACC/% SEN/% SPE/% AUC/%
SSSC-5% 64.87 13.16 85.22 56.57
SSSC-10% 81.35 78.47 87.88 86.18
SSSC-20% 83.42 76.55 85.69 82.12
SSSC-50% 70.15 19.77 96.15 57.97
SSSC-80% 53.57 0 100 50.00
SSSC-all 53.57 0 100 50.00
ADHD vs TC
Model ACC/% SEN/% SPE/% AUC/%
SSSC-5% 67.76 20.31 93.61 70.16
SSSC-10% 82.47 86.81 75.26 81.43
SSSC-20% 82.55 84.55 73.12 76.12
SSSC-50% 72.11 23.55 89.11 63.22
SSSC-80% 63.15 15.26 92.33 54.22
SSSC-all 61.77 0 100 50.00

新窗口打开| 下载CSV


3.5. 融合不同尺度关联特征对分类结果的影响

在保留10%的脑功能连接作为特征时,不同尺度区域的特征融合对模型分类效果产生影响. S、M、L分别为采用小、中、大3个尺度区域的特征,是融合3个尺度区域的特征后进行的分类. 由图4可以看出,L的ACC是最低的,这是因为采用较大尺度范围的特征时,特征之间空间信息较弱,包含的空间语义信息较少. 而S-M、S-L、M-L融合不同尺度的特征后,效果均有了一定的提升. S-M-L融合了所有特征,分类性能达到最优,说明综合考虑不同尺度范围内的空间信息,有利于提升分类效果,验证强关联特征融合的有效性.

图 4

图 4   融合不同尺度关联特征的分类性能对比

Fig.4   Comparison of classification performance by fusing


3.6. 显著脑功能连接

显著稀疏模块的输出是包含所有脑功能连接的评分权重,它是一个长度为4005的向量,其中的分数越高,表示当前脑功能连接对于网络的贡献越大. 选择排序后产生的前10%评分权重对应位置的脑功能连接加入网络进行计算,而其中权重值位于排序后90%的功能连接不参与网络计算. 按照五折交叉验证的策略,重复5次实验后,统计经过显著稀疏模块后的保留特征中留存率超过80%的功能连接(如图5所示),其中线的粗细为保留的重要脑功能连接的原始功能连接强度. 本研究认为这些脑功能来接对于网络的贡献是最大的,对疾病更有区分性,在图6中线的粗细为重要脑功能连接对于网络分类的贡献程度,同时相应的脑功能连接对应的脑区为所患疾病的异常脑区. 对于ASD,本研究发现眶部额下回(ORBinf)、眶部额中回(ORBmid.L)、脑岛(INS.L)、颞上回(STG)、颞中回(MTG)、杏仁核(AMYG.L)、缘上回(SMG.L)为统计中出现最频繁的脑区,部分重要脑区在先前的研究中也有体现,其中杏仁核、颞回在Kim等的[14-15,33]的研究中被证实与ASD相关. 对于ADHD,发现中央前回(PreCG)、海马(HIP)、梭状回(FFG.R)、颞回(Temporal)、丘脑(Tha)为实验统计中出现最为频繁的脑区,其中中央前回、颞回在Chen等[34]的研究中被发现. 这些结果证明了所提出的SSSC网络提取到的重要特征确实是真实有效的,并且能够有效的定位疾病的相关脑区.

图 5

图 5   重要脑功能连接的原始功能连接强度

Fig.5   Primary functional connection strength of important brain functional connections


图 6

图 6   在不同数据集中得到的重要脑功能连接对分类任务的贡献程度

Fig.6   Important brain functional connections obtained in different datasets


4. 结 语

提出一种基于显著稀疏强关联的脑功能连接分类方法,该方法使用显著稀疏模块筛选脑功能连接特征中的冗余特征,同时增强有效特征的强度,然后利用预训练的自编码器进一步对有效特征进行表示. 最后利用特征中的强关联上下文信息对脑功能连接进行有效分类. 在ASD以及ADHD数据集上的相关实验结果表明,所提方法关注的脑功能连接特征是切实有效的,能够通过筛选冗余特征增强网络学习能力. 所提方法与现有算法相比,不仅极大地提升了分类结果,而且能够有效地定位疾病的相关脑区. 基于所提方法,可以进一步考虑时间维度上的相关信息,构建动态脑功能连接网络. 后期研究可以对相关脑区在时间维度上的变化进行深入分析,提升脑功能连接的分类精度.

参考文献

ITAHASHI T, YAMADA T, WATANABE H, et al

Altered network topologies and hub organization in adults with autism: a resting-state fMRI study

[J]. PloSone, 2014, 9 (4): e94115

DOI:10.1371/journal.pone.0094115      [本文引用: 1]

LIANG X, WANG J

Human connectome: structural and functional brain networks

[J]. Chinese Science Bulletin, 2010, 55 (16): 1565- 1583

DOI:10.1360/972009-2150      [本文引用: 1]

SPORNS O

Structure and function of complex brain networks

[J]. Dialogues in Clinical Neuroscience, 2013, 15 (3): 247- 262

DOI:10.31887/DCNS.2013.15.3/osporns      [本文引用: 1]

STAM C

Modern network science of neurological disorders

[J]. Nature Reviews Neuroscience, 2014, 15 (10): 683

DOI:10.1038/nrn3801      [本文引用: 1]

WEE C, YAP P, ZHANG D, et al

Group-constrained sparse fMRI connectivity modeling for mild cognitive impairment identification

[J]. Brain Structure and Function, 2014, 219 (2): 641- 656

DOI:10.1007/s00429-013-0524-8      [本文引用: 1]

CORTES C, VAPNIK V

Support-vector networks

[J]. Machine Learning, 1995, 20 (3): 273- 297

[本文引用: 1]

ZHOU J, LU Z, SUN J, et al. Feafiner: biomarker identification from medical data through feature generalization and selection[C]// Acm Sigkdd. Chicago: ACM, 2013: 1034-1042.

[本文引用: 1]

KHAZAEE A, EBRAHIMZADEH A, BABAJANIFEREMI A

Application of advanced machine learning methods on resting-state fMRI network for identification of mild cognitive impairment and Alzheimer's disease

[J]. Brain Imaging and Behavior, 2016, 10 (3): 799- 817

DOI:10.1007/s11682-015-9448-7      [本文引用: 1]

CRADDOCK R, HOLTZHEIMER P, HU X, et al

Disease state prediction from resting state FMRI

[J]. Neuro Image, 2009, 47 (6): S80

[本文引用: 1]

MESZLÉNYI R, BUZA K, VIDNYÁNSZKY Z

Resting state fMRI functional connectivity-based classification using a convolutional neural network architecture

[J]. Frontiers in Neuroinformatics, 2017, 11: 61

DOI:10.3389/fninf.2017.00061      [本文引用: 1]

KAWAHARA J, BROWN C, MILLER S, et al

Brainnet CNN: convolutional neural networks for brain networks towards predicting neurodevelopment

[J]. NeuroImage, 2017, 146: 1038- 1049

DOI:10.1016/j.neuroimage.2016.09.046      [本文引用: 1]

JIE B, LIU M, LIAN C, et al

Designing weighted correlation kernels in convolutional neural networks for functional connectivity based brain disease diagnosis

[J]. Medical Image Analysis, 2020, 63

[本文引用: 1]

JEON E, KANG E, LEE J, et al. Enriched representation learning in resting-state fMRI for early MCI diagnosis[C]// MICCAI. Lima: Springer, 2020: 397-406.

[本文引用: 2]

KIM J, CALHOUN V, SHIM E, et al

Deep neural network with weight sparsity control and pre-training extracts hierarchical features and enhances classification performance: evidence from whole-brain resting-state functional connectivity patterns of schizophrenia

[J]. Neuroimage, 2016, 124: 127- 146

DOI:10.1016/j.neuroimage.2015.05.018      [本文引用: 2]

LI H, PARIKH N, HE L

A novel transfer learning approach to enhance deep neural network classification of brain functional connectomes

[J]. Frontiers in Neuroscience, 2018, 12: 491

DOI:10.3389/fnins.2018.00491      [本文引用: 2]

HUANG J, ZHOU L, WANG L, et al. Integrating functional and structural connectivities via diffusion-convolution-bilinear neural network[C]// Miccai. Shenzhen: Springer, 2019: 691-699.

[本文引用: 1]

WANG M, HUANG J, LIU M, et al

Modeling dynamic characteristics of brain functional connectivity networks using resting-state functional MRI

[J]. Medical Image Analysis, 2021, 71: 102063

DOI:10.1016/j.media.2021.102063      [本文引用: 1]

SUBBARAJU V, SURESH M, SUNDARAM S, et al

Identifying differences in brain activities and an accurate detection of autism spectrum disorder using resting state functional-magnetic resonance imaging: a spatial filtering approach

[J]. Medical Image Analysis, 2017, 35: 375- 389

DOI:10.1016/j.media.2016.08.003      [本文引用: 1]

BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate [C]// Iclr. San Diego, 2015.

[本文引用: 1]

LUONG M, PHAM H, MANNING C. Effective approaches to attention-based neural machine translation [C]// Emnlp. Lisbon: the association for computational Linguistics, 2015: 1412−1421.

[本文引用: 1]

YIN W, SCHÜTZE H, XIANG B, et al

Abcnn: Attention-based convolutional neural network for modeling sentence pairs

[J]. Transactions of the Association for Computational Linguistics, 2016, 4: 259- 272

DOI:10.1162/tacl_a_00097      [本文引用: 1]

VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]// Advances in Neural Information Processing Systems. Long Beach: NIPS Poundation, 2017: 5998-6008.

[本文引用: 1]

CHEN M, RADFORD A, CHILD R, et al. Generative pretraining from pixels[C]// International Conference on Machine Learning. Virtual Event: PNVR, 2020: 1691-1703.

[本文引用: 1]

DOSOVITSKIYET A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: Transformers for image recognition at scale [C]// Iclr. Virtual Event: Open Review Net, 2021.

[本文引用: 1]

GAO M, TSAI F, LEE C. Learning a phenotypic-attribute attentional brain connectivity embedding for ADHD classification using rs-fMRI[C]// Embc. Montreal: IEEE, 2020: 5472-5475.

[本文引用: 1]

MA J, ZHU X, YANG D, et al. Attention-guided deep graph neural network for longitudinal alzheimer’s disease analysis[C]// Miccai. Lima: Springer, 2020: 387-396.

[本文引用: 1]

CRADDOCK C, BENHAJALI Y, CHU C, et al

The neuro bureau preprocessing initiative: open sharing of preprocessed neuroimaging data and derivatives

[J]. Frontiers in Neuro Informatics, 2013, 7: 27

[本文引用: 2]

BELLEC P, CHU C, CHOUINARDDECORTE F, et al

The neuro bureau ADHD-200 preprocessed repository

[J]. Neuroimage, 2017, 144: 275- 286

DOI:10.1016/j.neuroimage.2016.06.034      [本文引用: 1]

JI J, CHEN Z, YANG C

Convolutional neural network with sparse strategies to classify dynamic functional connectivity

[J]. IEEE Journal of Biomedical and Health Informatics, 2021, 26 (3): 1219- 1228

[本文引用: 3]

CUI Z, GONG G

The effect of machine learning regression algorithms and sample size on individualized behavioral prediction with functional connectivity features

[J]. Neuroimage, 2018, 178: 622- 637

DOI:10.1016/j.neuroimage.2018.06.001      [本文引用: 1]

XING X, JI J, YAO Y. Convolutional neural network with element-wise filters to extract hierarchical topological features for brain networks[C]// IEEE International Conference on Bioinformatics and Biomedicine. Modrid: IEEE, 2018: 780-783.

[本文引用: 1]

YAN W, ZHANG H, SUI J, et al. Deep chronnectome learning via full bidirectional long short-term memory networks for MCI diagnosis[C]// International Conference on Medical Image Computing and Computer-assisted Intervention. Granada: Springer, Cham, 2018: 249-257.

[本文引用: 1]

HEINSFELD A, FRANCO A, CRADDOCK R, et al

Identification of autism spectrum disorder using deep learning and the ABIDE dataset

[J]. NeuroImage: Clinical, 2018, 17: 16- 23

DOI:10.1016/j.nicl.2017.08.017      [本文引用: 1]

CHEN Y, TANG Y, WANG C, et al

ADHD classification by dual subspace learning using resting-state functional connectivity

[J]. Artificial Intelligence in Medicine, 2020, 103: 101786

[本文引用: 1]

/