浙江大学学报(工学版), 2024, 58(7): 1326-1335 doi: 10.3785/j.issn.1008-973X.2024.07.002

计算机与控制工程

融合注意力的滤波器组双视图图卷积运动想象脑电分类

吴书晗,, 王丹,, 陈远方, 贾子钰, 张越棋, 许萌

1. 北京工业大学 信息学部,北京 100124

2. 北京机械设备研究所,北京 100854

3. 中国科学院自动化研究所脑网络组研究中心,北京 100190

Attention-fused filter bank dual-view graph convolution motor imagery EEG classification

WU Shuhan,, WANG Dan,, CHEN Yuanfang, JIA Ziyu, ZHANG Yueqi, XU Meng

1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China

2. Beijing Institute of Machinery and Equipment, Beijing 100854, China

3. Brainnetome Center, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China

通讯作者: 王丹,女,教授. orcid.org/0000-0001-9876-6431. E-mail:wangdan@bjut.edu.cn

收稿日期: 2023-08-20  

基金资助: 国家自然科学基金资助项目(12275295);中国博士后科学基金面上项目(2023M740171).

Received: 2023-08-20  

Fund supported: 国家自然科学基金资助项目(12275295);中国博士后科学基金面上项目(2023M740171).

作者简介 About authors

吴书晗(1999—),男,硕士生,从事脑机接口、运动想象研究.orcid.org/0009-0005-7709-6893.E-mail:wush@emails.bjut.edu.cn , E-mail:wush@emails.bjut.edu.cn

摘要

在运动想象任务中,传统卷积神经网络难以准确表达大脑多区域协同神经活动;图卷积网络(GCN)能够在图数据中考虑节点(脑区)间的连接和关系,适于表示不同脑区的协同任务,为此提出融合注意力的滤波器组双视图GCN(AFB-DVGCN). 由滤波器组构建双分支网络,提取不同频段的时域和空域信息;采用双视图图卷积空间特征提取方法实现信息互补;利用有效通道注意力机制增强特征和捕捉不同特征图的交互信息,以提高分类准确率. 在公开数据集BCI Competition IV-2a和OpenBMI上的验证结果表明,AFB-DVGCN的分类性能良好,其分类准确率显著高于对比网络的分类准确率.

关键词: 脑机接口 ; 运动想象 ; 深度学习 ; 图卷积网络 ; 注意力机制

Abstract

In motor imagery tasks, the brain often involves simultaneous activation of multiple regions, and traditional convolutional neural networks struggle to accurately represent the coordinated neural activity across these regions. Graph convolutional network GCN is suitable for representing the collaborative tasks of different brain regions by considering the connections and relationships between nodes (brain regions) in graph data. Attention-fused filter bank dual-view GCN(AFB-DVGCN)was proposed. A dual-branch network was constructed using filter banks to extract temporal and spatial information from different frequency bands. Information complementarity was achieved by a convolutional spatial feature extraction method for dual-view graphs. In order to improve the classification accuracy, the effective channel attention mechanism was utilized to enhance features and capture the interaction information between different feature maps. Validation results in the publicly available datasets BCI Competition IV-2a and OpenBMI show that AFB-DVGCN has achieved good classification performance, and the classification accuracy is significantly higher than that of the comparison networks.

Keywords: brain-computer interface ; motor imagery ; deep learning ; graph convolutional network ; attention mechanism

PDF (2102KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

吴书晗, 王丹, 陈远方, 贾子钰, 张越棋, 许萌. 融合注意力的滤波器组双视图图卷积运动想象脑电分类. 浙江大学学报(工学版)[J], 2024, 58(7): 1326-1335 doi:10.3785/j.issn.1008-973X.2024.07.002

WU Shuhan, WANG Dan, CHEN Yuanfang, JIA Ziyu, ZHANG Yueqi, XU Meng. Attention-fused filter bank dual-view graph convolution motor imagery EEG classification. Journal of Zhejiang University(Engineering Science)[J], 2024, 58(7): 1326-1335 doi:10.3785/j.issn.1008-973X.2024.07.002

运动想象(motor imagery,MI)是大脑想象运动动作,但肌肉或肢体不执行该动作而形成的范式. MI可用来判断用户的运动意图[1]. 基于MI的脑机接口设备在智能医疗、日常娱乐和运动康复等方面有广阔的应用前景[2]. 非侵入式MI系统具有简单、成本低和无创性等优点,但是存在信噪比低、非平稳性和多分类表征能力弱等问题.

传统MI分类任务的流程通常为预处理、特征提取和特征分类. 特征提取的主要是信号滤波,包括空间域、时域、频域和多模态信号分析. 常见的空间域分析有滤波器组共空间模式方法[3](filter bank common spatial pattern,FBCSP),时域分析有自回归(autoregressive,AR)模型和Hjorth参数特征提取方法,频域分析常用的是快速傅里叶变换(fast fourier transform,FFT)和功率谱密度(power spectral density,PSD). 这些特征提取方法与传统分类器结合具有较好的分类表现,但上述特征提取算法依赖人工知识和经验,使得解码性能受到很大限制. 深度学习方法的发展使MI的解码性能大大提升,但是当深度学习网络模型参数量大时,容易出现过拟合现象[4]. ShallowConvNet[5]仅万位数量级的参数数量却取得了较好的分类表现,表明轻量级网络能够比深层网络更好地适应运动想象脑电信号(electroencephalogram,EEG)分类任务. Lawhern等[6]提出适用于EEG的轻量级卷积神经网络模型EEGNet,该模型是MobileNet的变体,在4种脑机接口(brain-computer interface,BCI)范式中均有良好表现,成为里程碑算法. 虽然传统卷积神经网络的分类准确率较高,但这些方法忽略了大脑非欧式空间的特点[7-8],认为通道之间信息是独立的,导致脑电信号的空间特征提取不充分.

本研究提出融合注意力的滤波器组双视图图卷积网络(attention-fused filter bank dual-view graph convolutional network,AFB-DVGCN). 受FBCSP启发,利用滤波器组构建多分支结构网络,充分提取不同频段的时域和空域信息,提高运动想象的分类性能;考虑到传统卷积忽略大脑非欧式空间的特点,提出双视图图卷积(DVGCN)空间特征提取方法,利用功能脑视图和距离脑视图进行空间特征聚合,实现信息互补;利用有效通道注意力机制(efficient channel attention,ECA)[9]进行特征增强,以充分考虑不同特征图间的特征信息,捕捉局部跨通道的交互信息.

1. 相关工作

1.1. 图卷积神经网络

图数据为非欧空间数据,每个节点都具有的各自的特征. 脑电信号可以看作2D图结构数据,能够将大脑不同脑电通道映射为图中的不同节点,实现脑电信号的图转换. 传统卷积神经网络卷积和池化操作依赖数据的平移不变性[10],因此传统神经网络不适用于图结构数据. 图卷积网络有2种方法:谱域和空间域. 谱域方法借助图的拉普拉斯矩阵实现图的傅里叶变换,利用卷积定理实现图上的卷积操作;空间域的方法从节点域出发,通过定义聚合函数来聚合每个中心节点和其邻近节点. Zhang等[11]利用脑电电极的空间位置构建3种距离脑视图对脑电信号进行图嵌入,在区分程度最高的时间段学习空间和时间特征. Sun等[12]提出自适应时空图卷积网络(adaptive spatiotemporal graph convolutional network,ASTGCN),利用自适应矩阵动态调节脑电电极间的关系,实现脑电信号分类. Hou等[13]将注意力机制的双向记忆长短期网络与GCN结合,从特征的内部拓扑结构方面来增强解码性能. Hou等[14]建立图卷积深度学习的框架GCNs-Net,利用功能拓扑关系解码EEG脑电信号. Ma等[15]提出多分支图自适应网络(multi-branch graph adaptive network,MBGA-Net),将每个通道中包含的时域和频域信息作为节点特征来构建连通性图,完成被试自适应匹配充分提取被试的脑电信号特征. 可以看出,利用图卷积神经网络能够增强MI中脑电信号空间特征的提取能力,提高该范式的解码性能,但上述文献未同时关注功能联系和真实空间联系.

1.2. 注意力机制

Bahdanau等[16]将注意力机制用于循环神经网络,进一步增强了RNN对全局信息的处理能力. 在计算机视觉领域,注意力能够强化特征信息中的重要部分,提升网络的分类性能. 在BCI中,注意力机制通过神经网络自主学习出权重系数,并以动态加权方式来强化脑电信号的重要信息并抑制非重要信息,可用于提高网络对于特征的表征能力. 有学者尝试将注意力模块应用到运动想象解码工作,Li等[17]利用压缩与激发(squeeze-and-exitation,SE)模块基于全局信息选择性地放大有价值的特征通道并抑制无用的特征通道. Li等[18]引入SE操作的变体挤压-激励-卷积(squeeze-excitation-convolution,SEC)单元来解决特征融合中的冗余问题并增强最具辨别力的特征,在运动想象分类任务中成果显著,证明了SE变体单元的有效性. Yu等[19]将卷积注意力模块 (convolutional block attention module,CBAM)中的通道注意力模块和空间注意力模块进行并联操作,避免了串联模式的相互影响,实现了单一模式注意力机制的较高准确率. 通道注意力模块能够增强提取特征图的特征,本研究充分考虑跨通道间的信息交互,采用ECA来提高分类性能.

2. 方 法

图1所示,在AFB-DVGCN的整体架构中,原始EEG信号利用2个频段(4~14 Hz和14~40 Hz)的滤波器组进行滤波处理,将滤波后的信号作为后续网络的输入. AFB-DVGCN包含2个分支:功能脑视图和距离脑视图;功能脑视图从脑电节点特征自适应生成;距离脑视图从真实空间出发,二者实现信息互补. 每个分支包含空间图卷积和时间卷积2个过程,输出的特征图沿着通道轴进行合并,在通道注意力模块部分特征增强,完成运动想象任务的解码.

图 1

图 1   融合注意力的滤波器组双视图图卷积网络的整体架构图

Fig.1   Overall architecture of attention-fused filter bank dual-view graph convolutional network


2.1. 脑视图表示

在运动想象期间,大脑的多个区域会被激活. 根据现有知识很难构建满足多个方面的脑视图. 为此根据脑电通道间的空间位置和不同脑电信号间的功能关系分别构建脑视图.

2.1.1. 脑电信号的图转换

完整的脑电信号定义为$ \boldsymbol{X}={[{\boldsymbol{x}}_{1},\cdots ,{\boldsymbol{x}}_{{N}_{\mathrm{e}}}]}^{\mathrm{T}}\in {\bf{R}}^{{N}_{\mathrm{e}}\times {F}_{\mathrm{t}}} $,其中$ {N}_{\mathrm{e}} $为脑电通道数,$ {F}_{\mathrm{t}} $为时间采样点数,$ {\boldsymbol{x}}_{i}\in {\bf{R}}^{{F}_{\mathrm{t}}} $为一维时间信号. 将脑电信号的每个时间节点视为1张图,每个脑电通道视为图上1个单独的节点,2个节点间的边表示2个脑电通道间相互连接,原数据的时空图表示为$ {\boldsymbol{X}}^{\mathrm{s}\mathrm{t}}=[{\boldsymbol{x}}_{1}^{\mathrm{s}\mathrm{t}},\cdots ,{\boldsymbol{x}}_{{F}_{\mathrm{t}}}^{\mathrm{s}\mathrm{t}}]\in {\bf{R}}^{{N}_{\mathrm{e}}\times {F}_{\mathrm{t}}} $$ {\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}\in {\bf{R}}^{{N}_{{\mathrm{e}}}} $. AFB-DVGCN的网络架构如表1所示,c为最大范数约束,p为丢弃率,$ {N}_{{\mathrm{c}}} $为分类数,模块1为单分支的信息,F1为卷积核数,双斜杠表示整除运算.

表 1   融合注意力的滤波器组双视图图卷积网络架构

Tab.1  Architecture of attention-fused filter bank dual-view graph convolutional network

模块网络层F1核大小层可训练参数输出尺寸激活函数备注
1输入$ \text{(}\text{1}\text{,}{{N}}_{\text{e}}\text{,}{{F}}_{\text{t}}\text{)} $
DVGCN$ {{F}}_{\text{t}}\text{+}\text{2∙}{{N}}_{\text{e}}\text{∙}{{N}}_{\text{e}} $$ \text{(1}\text{,}{{N}}_{\text{e}}\text{,}{{F}}_{\text{t}}\text{)} $
二维卷积50$ \text{(1,}\text{25}\text{)} $$ {{F}}_{\text{1}}\text{∙}{25}\text{+}{{F}}_{\text{1}} $$ ({{F}}_{\text{1}},{N}_{{\mathrm{e}}},{F}_{{\mathrm{t}}}-24) $$ c\text{=1} $
2合并$ ({2\cdot F}_{1},{N}_{{\mathrm{e}}},{{F}}_{\text{t}}-24) $
二维卷积50($ {N}_{{\mathrm{e}}} $,1)$ \text{2∙}{{F}}_{\text{1}}\text{∙}{{F}}_{\text{1}}\text{∙}{{N}}_{\text{e}} $$ ({F}_{1},1,{{F}}_{\text{t}}-24) $$c\text{=1} $
批归一化$ 2{\cdot F}_{1} $$ ({F}_{1},1,{{F}}_{\text{t}}-24) $平方激活
平均池化$ \left(\mathrm{1,75}\right) $$ ({F}_{1},1,({{F}}_{\text{t}}-99)//15+1) $
3丢弃层$ {p}\text{=0.5} $
ECA$ 3 $$ ({{F}}_{\text{1}},1,({{F}}_{\text{t}}-99)//15+1) $
分类压平$ ({{F}}_{\text{1}}\cdot (({{F}}_{\text{t}}-99)//15+1\left)\right) $
全连接层$ {{F}}_{\text{1}}\text{∙}\text{((}{{F}}_{\text{t}}-\text{99)//15+1)}\text{∙}{N}_{{\mathrm{c}}}+{N}_{{\mathrm{c}}} $$ {N}_{{\mathrm{c}}} $c=0.5

新窗口打开| 下载CSV


2.1.2. 功能脑视图表示

对不同脑电通道间信号的连接关系自适应构建邻接矩阵. 功能脑视图无需先验知识,能够充分考虑运动想象任务期间大脑的活动特点,进一步加强空间特征提取.

2.1.3. 距离脑视图表示

利用脑电电极的自然空间分布构建邻接矩阵. 距离脑视图从真实空间位置得出不同电极间的联系程度,利用导联布局得到的邻接矩阵作为先验信息放入神经网络作为输入,进而增强脑区联系,与功能脑视图实现信息互补.

2.2. 双视图图卷积神经网络
2.2.1. 模块介绍

双视图图卷积神经网络包含功能脑视图卷积、距离脑视图卷积和图的自适应调节3个模块,采用谱域图卷积网络,通过图拉普拉斯矩阵变换到谱域,利用切比雪夫多项式近似求解,简化对图拉普拉斯矩阵的特征矩阵分解,实现图结构数据上的卷积操作. 选择切比雪夫图卷积网络的原因:计算成本小且拉普拉斯的矩阵的阶数可以调节,能够调节目标脑电通道与周围通道的聚合程度.

无向图$ G=(V,E) $,其中$ {V} $$ {E} $分别为无向图中的顶点和边. 图的邻接矩阵反映图不同节点间的连接程度,假设该无向图的节点个数为N,则该无向图的邻接矩阵为${\boldsymbol{A}}=[{{A}}_{i,j}]\in {\bf{R}}^{N\times N} $

$ {{A}}_{i,j}=\left\{ \begin{array}{c}1,\;\;{{V}}_{i}{{V}}_{j}\in E;\\0,\;\;{{V}}_{i}{{V}}_{j}\notin E.\end{array}\right. $

图的拉普拉斯矩阵表示为 $ \boldsymbol{L}=\boldsymbol{D}-\boldsymbol{A}, \boldsymbol{L}\in {\bf{R}}^{N\times N} $. $ \boldsymbol{D}\in {\bf{R}}^{N\times N} $为由图节点度数组成的对角矩阵,$ {{D}}_{ii}= \sum\nolimits _{j}{{A}}_{i,j} $. 实际应用中多采用归一化的拉普拉斯矩阵:

$ {\boldsymbol{L}}^{\mathrm{s}\mathrm{y}\mathrm{m}}=\boldsymbol{I}-{\boldsymbol{D}}^{-\frac{1}{2}}\boldsymbol{A}{\boldsymbol{D}}^{-\frac{1}{2}}=\boldsymbol{U}{\boldsymbol{\varLambda }\boldsymbol{U}}^{\mathrm{T}}. $

式中:$ \boldsymbol{I} $为单位矩阵,$ \boldsymbol{\varLambda }\in {\bf{R}}^{N\times N} $$ {\boldsymbol{L}}^{\mathrm{s}\mathrm{y}\mathrm{m}} $的特征值对角矩阵,$ \boldsymbol{U}\in {\bf{R}}^{N\times N} $为矩阵$ {\boldsymbol{L}}^{\mathrm{s}\mathrm{y}\mathrm{m}} $各特征值对应的特征向量组成的矩阵. 以时刻i为例,图节点$ {\text{x}}_{\text{i}}^{\text{st}}\in{\bf{R}}^{{{N}}_{\text{e}}} $的傅里叶变换为

$ f\left({\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}\right)={\boldsymbol{U}}^{\mathrm{T}}{\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}. $

$ {\boldsymbol{x}}_{{i}}^{\text{st}} $的傅里叶逆变换为

$ {f}^{-1}\left({\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}\right)=\boldsymbol{U}{\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}. $

$ {\boldsymbol{x}}_{{i}}^{\text{st}} $与滤波器$ \boldsymbol{g}\in {\bf{R}}^{{N}_{{\mathrm{e}}}} $的卷积表示为

$ {\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}*\boldsymbol{g}=\boldsymbol{U}({\boldsymbol{U}}^{\mathrm{T}}{\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}\odot {\bf{U}}^{\mathrm{T}}\boldsymbol{g}). $

式中:$ \odot $为对应元素乘积,$ {\boldsymbol{g}}_{\mathrm{\theta }}={\boldsymbol{U}}^{\mathrm{T}}\boldsymbol{g} $为对角矩阵,$ {\boldsymbol{g}}_{\mathrm{\theta }} $中对角线参数为可学习参数. 但式(5)计算复杂度大且不具有局部性,有学者引入切比雪夫多项式进行改进[20]. 利用切比雪夫多项式的K阶截断展开式近似$ {\boldsymbol{g}}_{\mathrm{\theta }} $,得到

$ {\boldsymbol{g}}_{\mathrm{\theta }}={\boldsymbol{g}}_{\mathrm{\theta }}\left(\boldsymbol{\varLambda }\right)\approx \sum _{k=0}^{K}{\boldsymbol{\theta }}_{k}{T}_{k}\left(\tilde{\boldsymbol{\varLambda }}\right).\text{} $

式中:$ \tilde{\boldsymbol{\varLambda }}={2}{{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}^{-1}}\boldsymbol{\varLambda }-\boldsymbol{I} $, $ {\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}} $为矩阵$ {\boldsymbol{L}}^{\text{s}\text{ym}} $中的最大特征值,信号$ {\boldsymbol{x}}_{{i}}^{\text{st}} $与滤波器$ \boldsymbol{g} $的切比雪夫谱图卷积计算过程式为

$ {\boldsymbol{x}}_{{i}}^{\text{st}}*\boldsymbol{g}\approx \sum _{{k=0}}^{{K}}{\boldsymbol{\theta}} _{{k}}{{T}}_{{k}}\left({\tilde{{L}}}\right){\boldsymbol{x}}_{{i}}^{\text{st}}. $

式中:$ \tilde{\boldsymbol{L}}={2}{{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}^{-1}}\boldsymbol{L}-\boldsymbol{I}\mathrm{. } $

2.2.2. 功能脑视图卷积

基于功能性连接的脑视图可以动态学习脑电的功能图结构. 将不同的脑电通道视为图上节点,基于输入的矩阵$ \boldsymbol{X} $,自学习邻接矩阵$ {\boldsymbol{A}}_{\mathrm{f}\mathrm{n}} $的元素定义为

$ {{{A}}_{\mathrm{f}\mathrm{n}}}_{mn}=\frac{\mathrm{exp}\left(\mathrm{ReLU}\left({\boldsymbol{\omega }}^{\mathrm{T}}\left|{\boldsymbol{x}}_{m}-{\boldsymbol{x}}_{n}\right|\right)\right)}{\displaystyle\sum _{n=1}^{{N}_{\mathrm{e}}}\mathrm{exp}\left(\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left({\boldsymbol{\omega }}^{\mathrm{T}}\left|{\boldsymbol{x}}_{m}-{\boldsymbol{x}}_{n}\right|\right)\right)}. $

式中:$ \boldsymbol{\omega }={[{\omega }_{1},{\omega }_{2},\cdots,{\omega }_{{F}_{{\mathrm{t}}}}]}^{\mathrm{T}}\in {\bf{R}}^{{F}_{{\mathrm{t}}}} $为可学习的权向量,$ {{{A}}_{\text{fn}}}_{\text{mn}} $为节点m和节点n的连接关系,ReLU为激活函数,保证$ {{{A}}_{\text{fn}}}_{\text{mn}} $非负. Softmax实现邻接矩阵的行规范化.

$ {{L}}_{\mathrm{f}\mathrm{n}}=\sum _{m,n=1}^{{N}_{{\mathrm{e}}}}{{\left|\right|\boldsymbol{x}}_{m}-{\boldsymbol{x}}_{n}\left|\right|}_{2}^{2}{{{A}}_{\mathrm{f}\mathrm{n}}}_{mn}+\lambda {\left|\right|{\boldsymbol{A}}_{\mathrm{f}\mathrm{n}}\left|\right|}_{{{F}}}^{2}. $

式中:$ { \lambda } $为正则化参数,避免产生平凡解. 权向量$ \boldsymbol{\omega } $通过式(9)更新,$ {{L}}_{\text{fn}} $附加到损失函数形成最终的损失函数.

2.2.3. 距离脑视图卷积

基于距离连接的脑视图利用真实世界的3D距离形成邻接矩阵,每个脑电通道视为图上的1个节点. 考虑脑电信号实际特性,相距较近的脑电通道间的电压相互影响较大[8],相距较远的相互影响较小. 受Zhang等[11]的启发,计算每个节点与其他所有节点的距离值,取平均值作为阈值筛选节点,将平均值作为自身节点值. 定义1个节点和图上所有其他节点的距离集合为$ {D}_{{\mathrm{ds}}}=\left\{{{d}}_{ij}\right|\left({s}^{i},{s}^{j}\right)\in {{V}_{{\mathrm{ds}}}}^{2},i\ne j\} $$ {{V}}_{\text{ds}} $为节点集,$ {{s}}^{{i}} $$ {{s}}^{{j}} $$ {V}_{{\mathrm{ds}}} $中节点,$ {{d}}_{ij}=\sqrt[2]{{({x}_{i}-{x}_{j})}^{2}+{({y}_{i}-{y}_{j})}^{2}+{({z}_{i}-{z}_{j})}^{2}} $表示2个顶点的欧式距离,$ {x}_{i} $$ {y}_{i} $$ {z}_{i} $均为脑电电极的坐标. 判断一个顶点是否与其它顶点相邻的依据为该顶点到另外顶点的距离是否小于$ {D}_{{\mathrm{ds}}} $的平均值,节点与所有相邻顶点的距离的平均值视为该节点到自身的距离. 定义距离脑视图邻接矩阵${\boldsymbol{A}}_{\mathrm{ds}} $的元素为

$ {{A}}_{\mathrm{ds}_{i j}}=\left\{ \begin{array}{ll}{1}/{{d}_{i j}}, \quad {d}_{i j}<\mathrm{Mean}\left(D_{\mathrm{ds}}\right) ; \\0, \qquad\;\; {d}_{i j} \geqslant \mathrm{Mean}\left(D_{\mathrm{ds}}\right) ; \\{1}/{\mathrm{Mean}\left\{{d}_{i q} \mid {d}_{i q}<\mathrm{Mean}\left(D_{{\mathrm{ds}}}\right), q \in\left[1, N_{\mathrm{e}}\right]\right\}}, \\\qquad\quad\;\; i=j .\end{array}\right. $

式中:$ \mathrm{Mean} $为取平均函数.

2.2.4. 图的自适应调节

设置模块中切比雪夫多项式的K=3,在进行图卷积操作之前对脑视图邻接矩阵$ {\boldsymbol{A}}_{\text{f}\text{n}} $$ {\boldsymbol{A}}_{\text{ds}} $进行自适应调整:

$ {\boldsymbol{G}}_{\text{fn}}={\boldsymbol{A}}_{\text{f}\text{n}}\odot {\boldsymbol{W}}_{\text{1}},\; {\boldsymbol{G}}_{\text{ds}}={\boldsymbol{A}}_{\text{d}\text{s}}\odot {\boldsymbol{W}}_{\text{2}}.$

式中:$ {\boldsymbol{W}}_{\text{1}}\in {\mathbf{R}}^{{{N}}_{\text{e}}\text{×}{{N}}_{\text{e}}} $$ {\boldsymbol{W}}_{\text{2}}\in {\mathbf{R}}^{{{N}}_{\text{e}}\text{×}{{N}}_{\text{e}}} $分别为功能脑视图和距离脑视图的自适应调节矩阵,是可学习的参数 ,$ {\boldsymbol{G}}_{\text{fn}} $$ {\boldsymbol{G}}_{\text{ds}} $为最后进行图卷积的邻接矩阵. 以时刻i为例,利用双视图邻接矩阵分别对信号$ {\boldsymbol{x}}_{i}^{\mathrm{s}\mathrm{t}}\in {\bf{R}}^{{N}_{{\mathrm{e}}}} $进行切比雪夫图卷积. 本研究的功能脑视图卷积和距离脑视图卷积占有的权重相同,空间图卷积完成经过时间卷积后利用逐元素相加进行特征融合.

2.3. 基于有效通道注意力机制的特征增强

ECA能够降低无用特征对网络模型参数学习的影响,提高特征的表征能力利用. 如图2所示,ECA先对特征图进行全局平均池化,利用一维自适应卷积进行特征交互增强. 一维自适应卷积是卷积核形状为(1,k)的卷积,卷积核大小的计算式为

图 2

图 2   有效通道注意力的结构

Fig.2   Structure of effective channel attention


$ k={\left|\frac{{{\mathrm{lb}}}\;C}{\gamma }+\frac{b}{\gamma }\right|}_{{\mathrm{odd}}}. $

式中:$ {\left|t\right|}_{\mathrm{o}\mathrm{d}\mathrm{d}} $表示最接近t的奇数,C为特征通道数,设$ \gamma $=2,$ b $=1. 在通道维数和卷积核大小之间建立非线性映射自动调整通道间的信息交互范围. 通过跨特征通道进行交互,进一步对不同分类的时空频特征进行增强,实现最后的分类. ECA可以抑制无用特征对于解码能力影响,提高分类表现. ECA结构的参数数量较少,因此对网络模型性能影响较低.

3. 实验设计

为了评估AFB-DVGCN在运动想象任务中的分类性能,将该算法与其他运动想象范式的深度学习算法进行对比. 为了保证实验的客观性,所有方法均采用相同的预处理操作;为了验证模型中各个模块的必要性,进行消融实验. 所有实验结果均采用Wilcoxon符号秩检验方法(Bonferroni-Holm校正)评估统计学显著性.

3.1. 数据集介绍

3.1.1. BCI Competition IV-2a

数据集包含9个受试者的EEG数据[21]. 每个受试者进行4类运动想象任务,分别是左手、右手、双脚和舌头. 数据集包含2个会话,每个会话总共有288个试次,每个类别有72个试次. 脑电信号使用22个电极进行记录,并以250 Hz的采样率进行采样. 截取提示后0~4 s的数据,每个试次为1×22×1000的矩阵.

3.1.2. OpenBMI

数据集为公开数据集,包含54个受试者的脑电信号[22]. 该数据集有2类运动想象任务,分别是左手和右手. 脑电信号采集自62个电极,并以1 000 Hz的采样率进行采样. 该数据集包含2个会话,每个会话包含200个试次,每类任务有100个试次. 根据数据集发布者的设置,选取20个运动皮层区域的脑电电极进行分析,包括FC5、FC3、FC1、FC2、FC4、FC6,C5、C3、C1、Cz、C2、C4、C6和CP5、CP3、CP1、CPz、CP2、CP4、CP6. 将原数据降采样到250 Hz,截取提示后0~4 s的数据,每个试次为1×20×1000的矩阵.

3.2. 实验设置与数据处理

为了验证模型的鲁棒性,采用运动想象范式中常见的跨会话实验(hold-out)方法执行实验[23],在数据集BCI Competition IV-2a和OpenBMI中进行模型验证. 数据集中的第一个会话脑电数据进行训练,第二个会话的数据进行测试. AFB-DVGCN利用4~14 Hz和14~40 Hz的1阶的巴特沃斯滤波器对脑电信号进行滤波以构建双分支网络,对比方法利用一阶巴特沃斯滤波器在4~40 Hz的频带进行滤波. 随后对滤波后的信号进行指数移动均值标准化[5],减小数值差异的影响. 将训练数据中80%的数据作为训练集,20%数据作为验证集,划分过程随机. 在训练过程中,采用自适应矩估计Adam[24]优化器进行模型优化,学习率设置为0.001. 批大小设置为64,最大迭代次数为800. 为了防止过拟合,采用早停(early stopping)训练策略,当验证集损失函数连续迭代200次没有改善时,停止训练,选择保存训练过程中验证集损失函数最低的模型. 实验在搭载i9-13900K的CPU、RTX4090显卡和64G内存服务器上进行模型训练和测试.

3.3. 分类方法对比

对比方法均为深度学习的MI分类方法,方法描述如下. 1)ShallowConvNet[5]:轻量级的卷积神经网络,用于提取脑电信号的特征;该网络结合了时域卷积和空域卷积的操作. 2)EEGNet[6]:紧凑型的卷积神经网络,采用时域卷积和可分离卷积层来提取脑电信号的时间特征,并利用深度卷积来提取脑电信号的空间特征. 3)MSFBCNN[25]:在ShallowConvNet的基础上增加并行的多尺度滤波器组卷积,用于在多个时间尺度上提取特征. 4)FBCNet[26]:新型的滤波器组卷积网络,引入方差层来有效地聚合脑电信号的时域信息. 5)Sinc-ShallowNet[27]:通过堆叠时间sinc卷积层学习带通滤波器,同时利用深度卷积层来提取脑电信号的空间特征. 6)FB-Sinc-ShallowNet[28]:在Sinc-ShallowNet的基础上引入滤波器组结构,以实现对4个频段的时间和空间特征提取.

3.4. 实验结果
3.4.1. 跨会话实验的对比分类结果

在实验过程中,利用不同的会话数据进行训练和测试,实验结果如表2所示. 表中,acc为平均准确率,kap为卡帕值,std为标准差. 由表可知,AFB-DVGCN的准确率明显优于对比方法的准确率(Wilcoxon符号秩检验中p均小于0.05);AFB-DVGCN在卡帕值上也有较好的分类表现,表明AFB-DVGCN的分类性能良好.

表 2   跨会话实验对比分类结果

Tab.2  Hold-out comparative classification results

分类方法BCI Competition IV-2aOpenBMI
acc/%kapstdacc/%kapstd
ShallowConvNet72.8010.6370.10868.9070.3780.153
EEGNet66.1270.5480.15169.6390.3930.154
MSFBCNN73.6880.6490.11569.7130.3940.166
FBCNet71.1030.6150.14665.9630.3170.144
Sinc-ShallowNet73.3410.6450.13068.0280.3610.156
FB-Sinc-ShallowNet73.1100.6410.12668.3700.3670.156
AFB-DVGCN77.3920.6990.10372.6570.4530.142

新窗口打开| 下载CSV


3.4.2. 混淆矩阵可视结果分析

图3所示为跨会话实验结果的混淆矩阵,主对角线中的数字表示模型正确分类的样本数量,百分数表示该类样本的召回率;非主对角线分别表示每个类别错分类到其他类别的样本数量. 在BCI Competition IV-2a数据集上,舌头类别的召回率明显高于其他3个类别,这与传统的运动想象二分类任务有所不同[5-6]. 在错分的样本中,双脚更容易被分到舌头标签中,原因可能是脚对应于脑沟、脑回区域,脑电采集信号比较微弱. 在OpenBMI数据集中,左手和右手的召回率几乎相同.

图 3

图 3   所提网络在2个公开数据集上的混淆矩阵

Fig.3   Confusion matrices on two publicly available datasets for proposed network


3.4.3. t-SNE图

分别选择BCI Competition IV-2a数据集被试1和OpenBMI数据集被试36的数据特征结果进行t-SNE[29]可视化. AFB-DVGCN中不同计算模块后样本可视化结果分别如图4图5所示. 2个公开数据集上的样本均在模块1处理后有了较明显的分类;随着网络的深度增加,样本的特征可分性不断增强,模型分类效果逐渐明显,在模块2之后不同类别的区分程度更加清晰.

图 4

图 4   融合注意力的滤波器组双视图图卷积网络在数据集BCI Competition IV-2a上的可视化结果

Fig.4   Visualization results of attention-fused filter bank dual-view graph convolutional network on BCI Competition IV-2a dataset


图 5

图 5   融合注意力的滤波器组双视图图卷积网络在数据集OpenBMI上的可视化结果

Fig.5   Visualization results of attention-fused filter bank dual-view graph convolutional network on OpenBMI dataset


3.4.4. 消融实验

为了验证AFB-DVGCN中各个模块的必要性,进行消融实验,实验设置与跨会话实验相同. 设计如下4个AFB-DVGCN的变体与AFB-DVGCN进行对比实验. 1)无FB多分支:移除滤波器组多分支结构的AFB-DVGCN. 2)无距离脑视图:移除距离脑视图的AFB-DVGCN. 3)无功能脑视图:移除功能脑视图的AFB-DVGCN. 4)无ECA:移除ECA的AFB-DVGCN. 如表3所示,AFB-DVGCN的平均准确率高于4个变体的平均准确率. 经过Wilcoxon符号秩检验,p均小于0.05,具有显著性差异. 实验结果表明,缺少模块的AFB-DVGCN分类准确率会有大幅度下降,其中2种图网络和FB多分支结构对AFB-DVGCN的影响较大.

表 3   消融实验结果

Tab.3  Results of ablation experiments

变体网络acc/%
BCI Competition IV-2aOpenBMI
无FB多分支74.30668.315
无距离脑视图74.57668.935
无功能脑视图74.82669.611
无ECA76.27371.889
AFB-DVGCN 77.392* 72.657*

新窗口打开| 下载CSV


3.4.5. 脑电地形图结果

为了探究功能脑视图对空间特征自适应提取能力的情况,分别使用数据集BCI Competition IV-2a和OpenBMI中的β频段绘制脑电地形图,如图6图7所示. 可以看出,在经过β频段功能图提取特征后,左手运动想象的能量分布空间变化更加显著.

图 6

图 6   数据集BCI Competition IV-2a中被试4的左手试次的地形图

Fig.6   Topographical distribution of power during left-hand trials for subject 4 in BCI Competition IV-2a dataset


图 7

图 7   数据集OpenBMI中被试33的左手试次的地形图

Fig.7   Topographical distribution of power during left-hand trials for subject 33 in OpenBMI dataset


3.4.6. 邻接矩阵图结果

将BCI Competition IV-2a和OpenBMI中的距离矩阵和功能矩阵可视化,定义R为归一化比率,在选取通道方面,选取2个数据集共有的脑电通道. 2个数据集在不同频段下的距离矩阵可视化如图8所示;2个数据集中不同频段下所提功能邻接矩阵和传统方法得到的邻接矩阵分别如图9图10所示. 可以看出,不同数据集的侧重区域有所不同,这也证明脑电不同数据集通道信息不同. 图8中,真实空间形成的原始距离脑视图固定,但不同频段的脑电通道间的信号关系可能略微不同. 自适应是为了实现范围调整,加强区域联系,进一步提高准确率. 图9图10中,通过传统方法得到的邻接矩阵在2个频段表现一样,功能性邻接矩阵能在不同频段自适应,充分考虑不同频段间的时空特征,自适应的提取信号的空间信息. 在BCI Competition IV-2a中不同通道间的联系比OpenBMI的更为紧密,原因可能是多分类任务对于运动想象任务拥有更多的可分信息.

图 8

图 8   2个公开数据集在不同频段下的距离邻接矩阵可视化

Fig.8   Distance adjacency matrices visualization for two publicly available datasets in different frequency bands


图 9

图 9   数据集BCI Competition IV-2a的功能邻接矩阵可视化

Fig.9   Functional adjacency matrices visualization for BCI Competition IV-2a dataset


图 10

图 10   数据集OpenBMI的功能邻接矩阵可视化

Fig.10   Functional adjacency matrices visualization for OpenBMI dataset


4. 讨 论

4.1. 滤波器组结构选择

为了确定滤波器组结构的范围,利用带通滤波器的频段范围构建多分支网络,滤波范围为4~40 Hz,该范围涵盖$ \theta \mathrm{、}\alpha \mathrm{、}\beta $和低频$ \gamma $共4个运动节律. 使用不同数量的带通滤波器来评估网络性能,包括1、2、4个滤波器. 其中$ {{N}}_{\text{fb}}\text{=1} $表示1个4~40 Hz滤波器的单分支网络. $ {{N}}_{\text{fb}}\text{=2} $表示双分支网络,其中一个频段范围为4~14 Hz(涵盖$ \mathrm{\theta }\mathrm{和}\mathrm{\alpha } $节律的信号),另一个频段范围为14~40 Hz(涵盖$ \mathrm{\beta } $和低频$ \mathrm{\gamma } $节律的信号). $ {{N}}_{\text{fb}}\text{=4} $表示四分支网络,其中4个频段范围分别为4~7 Hz(对应$ \mathrm{\theta } $节律的信号)、8~13 Hz(对应$ \mathrm{\alpha } $节律的信号)、14~30 Hz(对应$ \mathrm{\beta } $节律的信号)和31~40 Hz(对应低频$ \mathrm{\gamma } $节律的信号). 如表4所示,当分支数为2时,分类准确率最高. 在统计检验中,p<0.05,说明性能差异具有显著变化. 当分支数较多时,参数过多可能导致过拟合现象,从而导致分类性能下降. 当分支数较少时,仅仅依赖单一频段范围,网络未能充分考虑不同频段间的时空特征,有效可分信息太少,也将导致分类性能下降. 综上所述,基于实验结果,双分支网络($ {{N}}_{\text{fb}}\text{=2} $)在考虑频段特征的同时,能够保持较高的分类准确率.

表 4   不同滤波器数量下融合注意力的滤波器组双视图图卷积网络的分类准确率

Tab.4  Classification accuracy of attention-fused filter bank dual-view graph convolutional network with different numbers of filters

Nfbacc/%
BCI Competition IV-2aOpenBMI
174.30668.315
2 77.392 72.658
473.07168.704

新窗口打开| 下载CSV


4.2. 不同注意力机制的影响

为了充分提取空间时间卷积后的特征信息,模型在丢弃层之后引入注意力机制模块,对选择后的特征进行增强. 如表5所示为不同注意力机制在2种数据集上的对比结果,其中NTP为可训练的参数总数. 为了避免过拟合,选择轻量级或无参的注意力机制模块,4种通道注意力方法分别为ECA、Triplet Attention[30]、NAM[31]和SimAM[32]. 1)ECA:通过跨局部特征通道进行特征交互和自适应选择一维卷积核的方法实现特征增强;2)Triplet Attention:通过3个分支对交叉维度交互进行捕捉实现注意力计算;3)NAM:通过减小较不显著特征的权重实现注意力计算;4)SimAM:通过3D注意力模块和能量计算函数来计算注意力权值. 由表可知,通过引入注意力机制模块,能够增强特征的表达能力,提高模型的分类性能. 在各种注意力方法中,ECA的性能和稳定性最佳,因此本研究在AFB-DVGCN中采用ECA来增强特征信息.

表 5   不同注意力机制在2个公开数据集上的性能对比

Tab.5  Performance comparison of different attention mechanisms in two publicly available datasets

注意力机制BCI Competition IV-2aOpenBMI
acc/%kapstdNTPacc/%kapstdNTP
Triplet Attention[30]72.9550.6550.156129 14070.0650.4010.167112 702
NAM[31]74.6530.6620.108128 94069.5830.3921.660112 502
SimAM[32]72.7620.6370.116128 84067.3430.3470.142112 402
ECA[9] 77.392*0.6990.103128 843 72.657*0.4530.142112 405

新窗口打开| 下载CSV


5. 结 语

本研究利用功能脑视图和距离脑视图进行空间特征提取,充分考虑大脑非欧式空间的特性;利用双分支网络充分考虑不同频段间的特征信息,实现了运动想象不同频域段信息的提取;利用ECA对丢弃层后的特征信息进行交互增强. 对比其他方法,AFB-DVGCN在2个公开数据集上具有更强的分类性能,准确率提高了4.29%,可为后续运动想象范式解码性能提高提供新的思路. AFB-DVGCN只在单被试实验上进行,未来计划在跨被试实验上进行验证,证明网络的泛化性,同时计划精简网络结构,减少参数.

参考文献

刘近贞, 叶方方, 熊慧

基于卷积神经网络的多类运动想象脑电信号识别

[J]. 浙江大学学报: 工学版, 2021, 55 (11): 2054- 2066

[本文引用: 1]

LIU Jinzhen, YE Fangfang, XIONG Hui

Recognition of multi-class motor imagery EEG signals based on convolutional neural network

[J]. Journal of Zhejiang University: Engineering Science, 2021, 55 (11): 2054- 2066

[本文引用: 1]

ALTAHERI H, MUHAMMAD G, ALSULAIMAN M, et al

Deep learning techniques for classification of electroencephalogram (EEG) motor imagery (MI) signals: a review

[J]. Neural Computing and Applications, 2023, 35: 14681- 14722

DOI:10.1007/s00521-021-06352-5      [本文引用: 1]

ANG K K, CHIN Z Y, ZHANG H, et al. Filter bank common spatial pattern (FBCSP) in brain-computer interface [C]// 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence) . Hong Kong: IEEE, 2008: 2390–2397.

[本文引用: 1]

SALAMI A, ANDREU-PEREZ J, GILLMEISTER H

EEG-ITNet: an explainable inception temporal convolutional network for motor imagery classification

[J]. IEEE Access, 2022, 10: 36672- 36685

DOI:10.1109/ACCESS.2022.3161489      [本文引用: 1]

SCHIRRMEISTER R T, SPRINGENBERG J T, FIEDERER L D J, et al

Deep learning with convolutional neural networks for EEG decoding and visualization

[J]. Human Brain Mapping, 2017, 38 (11): 5391- 5420

DOI:10.1002/hbm.23730      [本文引用: 4]

LAWHERN V J, SOLON A J, WAYTOWICH N R, et al

EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces

[J]. Journal of Neural Engineering, 2018, 15 (5): 056013

DOI:10.1088/1741-2552/aace8c      [本文引用: 3]

JIA Z, LIN Y, WANG J, et al. GraphSleepNet: adaptive spatial-temporal graph convolutional networks for sleep stage classification [C]// Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence . [S. l.]: ACM, 2020: 1324–1330.

[本文引用: 1]

李珍琦, 王晶, 贾子钰, 等

融合注意力的多维特征图卷积运动想象分类

[J]. 计算机科学与探索, 2022, 16 (9): 2050- 2060

DOI:10.3778/j.issn.1673-9418.2103079      [本文引用: 2]

LI Zhenqi, WANG Jing, JIA Ziyu, et al

Attention-based multi-dimensional feature graph convolutional network for motor imagery classification

[J]. Journal of Frontiers of Computer Science and Technology, 2022, 16 (9): 2050- 2060

DOI:10.3778/j.issn.1673-9418.2103079      [本文引用: 2]

WANG Q, WU B, ZHU P, et al. ECA-Net: efficient channel attention for deep convolutional neural networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle: IEEE, 2020: 11534–11542.

[本文引用: 2]

徐冰冰, 岑科廷, 黄俊杰, 等

图卷积神经网络综述

[J]. 计算机学报, 2020, 43 (5): 755- 780

DOI:10.11897/SP.J.1016.2020.00755      [本文引用: 1]

TU Bingbing, CEN Keting, HUANG Junjie, et al

A survey on graph convolutional neural network

[J]. Chinese Journal of Computers, 2020, 43 (5): 755- 780

DOI:10.11897/SP.J.1016.2020.00755      [本文引用: 1]

ZHANG D, CHEN K, JIAN D, et al

Motor imagery classification via temporal attention cues of graph embedded EEG signals

[J]. IEEE Journal of Biomedical and Health Informatics, 2020, 24 (9): 2570- 2579

DOI:10.1109/JBHI.2020.2967128      [本文引用: 2]

SUN B, ZHANG H, WU Z, et al

Adaptive spatiotemporal graph convolutional networks for motor imagery classification

[J]. IEEE Signal Processing Letters, 2021, 28: 219- 223

DOI:10.1109/LSP.2021.3049683      [本文引用: 1]

HOU Y, JIA S, LUN X, et al

Deep feature mining via the attention-based bidirectional long short term memory graph convolutional neural network for human motor imagery recognition

[J]. Frontiers in Bioengineering and Biotechnology, 2022, 9: 706229

DOI:10.3389/fbioe.2021.706229      [本文引用: 1]

HOU Y, JIA S, LUN X, et al. GCNs-Net: a graph convolutional neural network approach for decoding time-resolved EEG motor imagery signals [J]. IEEE Transactions on Neural Networks and Learning Systems , 2022: 1–12.

[本文引用: 1]

MA W, WANG C, SUN X, et al

MBGA-Net: a multi-branch graph adaptive network for individualized motor imagery EEG classification

[J]. Computer Methods and Programs in Biomedicine, 2023, 240: 107641

DOI:10.1016/j.cmpb.2023.107641      [本文引用: 1]

BAHDANAU D, CHO K H, BENGIO Y. Neural machine translation by jointly learning to align and translate [C]// 3rd International Conference on Learning Representations 2015 . San Diego: [s. n.], 2015.

[本文引用: 1]

LI D, XU J, WANG J, et al

A multi-scale fusion convolutional neural network based on attention mechanism for the visualization analysis of EEG signals decoding

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020, 28 (12): 2615- 2626

DOI:10.1109/TNSRE.2020.3037326      [本文引用: 1]

LI Y, GUO L, LIU Y, et al

A temporal-spectral-based squeeze-and-excitation feature fusion network for motor imagery EEG decoding

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 1534- 1545

DOI:10.1109/TNSRE.2021.3099908      [本文引用: 1]

YU Z, CHEN W, ZHANG T

Motor imagery EEG classification algorithm based on improved lightweight feature fusion network

[J]. Biomedical Signal Processing and Control, 2022, 75: 103618

DOI:10.1016/j.bspc.2022.103618      [本文引用: 1]

DEFFERRARD M, BRESSON X, VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering [C]// Proceedings of the 30th Information Processing Systems . Barcelona: [s. n.], 2016: 3844–3852.

[本文引用: 1]

TANGERMANN M, MÜLLER K R, AERTSEN A, et al

Review of the BCI competition IV

[J]. Frontiers in Neuroscience, 2012, 6: 55

[本文引用: 1]

LEE M H, KWON O Y, KIM Y J, et al

EEG dataset and OpenBMI toolbox for three BCI paradigms: an investigation into BCI illiteracy

[J]. GigaScience, 2019, 8 (5): giz002

DOI:10.1093/gigascience/giz002      [本文引用: 1]

LIU K, YANG M, YU Z, et al

FBMSNet: a filter-bank multi-scale convolutional neural network for EEG-based motor imagery decoding

[J]. IEEE Transactions on Biomedical Engineering, 2022, 70 (2): 436- 445

[本文引用: 1]

KINGMA D P, BA J. Adam: a method for stochastic optimization [EB/OL]. (2017-01-30)[2023-08-20]. https://arxiv.org/pdf/1412.6980.pdf.

[本文引用: 1]

WU H, NIU Y, LI F, et al

A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification

[J]. Frontiers in Neuroscience, 2019, 13: 1275

DOI:10.3389/fnins.2019.01275      [本文引用: 1]

MANE R, ROBINSON N, VINOD A P, et al. A multi-view CNN with novel variance layer for motor imagery brain computer interface [C]// 2020 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) . Montreal: IEEE, 2020.

[本文引用: 1]

BORRA D, FANTOZZI S, MAGOSSO E

Interpretable and lightweight convolutional neural network for EEG decoding: application to movement execution and imagination

[J]. Neural Networks, 2020, 129: 55- 74

DOI:10.1016/j.neunet.2020.05.032      [本文引用: 1]

CHEN J, YI W, WANG D. Filter bank Sinc-ShallowNet with EMD-based mixed noise adding data augmentation for motor imagery classification [C]// 2021 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) . Mexico: IEEE, 2021: 5837–5841.

[本文引用: 1]

VAN DER MAATEN L, HINTON G

Visualizing data using t-SNE

[J]. Journal of Machine Learning Research, 2008, 9: 2579- 2605

[本文引用: 1]

MISRA D, NALAMADA T, ARASANIPALAI A U, et al. Rotate to attend: convolutional triplet attention module [C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision . Waikoloa: IEEE, 2021: 3139–3148.

[本文引用: 2]

LIU Y, SHAO Z, TENG Y, et al. NAM: normalization-based attention module [EB/OL]. (2021-11-24)[2023-08-20]. https://arxiv.org/pdf/2111.12419.pdf.

[本文引用: 2]

YANG L, ZHANG R Y, LI L, et al. Simam: a simple, parameter-free attention module for convolutional neural networks [C]// Proceedings of the 38th International Conference on Machine Learning . [S. l.]: PMLR, 2021: 11863–11874.

[本文引用: 2]

/