浙江大学学报(工学版)

浙江大学学报(工学版), 2024, 58(5): 879-890 doi: 10.3785/j.issn.1008-973X.2024.05.001

计算机技术、通信技术

基于深度学习的EEG数据分析技术综述

钟博,, 王鹏飞, 王乙乔, 王晓玲,

华东师范大学 计算机科学与技术学院，上海 200062

Survey of deep learning based EEG data analysis technology

ZHONG Bo,, WANG Pengfei, WANG Yiqiao, WANG Xiaoling,

School of Computer Science and Technology, East China Normal University, Shanghai 200062, China

通讯作者: 王晓玲，女，教授. orcid.org/0000-0002-4594-6946. E-mail: xlwang@cs.ecnu.edu.cn

收稿日期: 2023-10-23  

基金资助: 国家自然科学基金资助项目（61972155）.

Received: 2023-10-23  

Fund supported: 国家自然科学基金资助项目（61972155）.

作者简介 About authors

钟博（1999—），男，硕士生，从事时间序列、医疗信号建模的研究.orcid.org/0009-0006-2742-1683.E-mail：bzhong@stu.ecnu.edu.cn , E-mail：bzhong@stu.ecnu.edu.cn

摘要

对近年来的相关工作进行全面分析、横向比较，梳理出基于深度学习的EEG数据分析闭环流程. 对EEG数据进行介绍，从深度学习在EEG数据预处理、特征提取以及模型泛化3个关键阶段的应用进行展开，梳理深度学习算法在相应阶段提供的研究思路和解决方案，包括各阶段所存在的难点与问题. 全方位总结出不同算法的主要贡献和局限性，讨论深度学习技术在各个阶段处理EEG数据时所面临的挑战及未来的发展方向.

关键词： 头皮脑电(EEG) ; 闭环流程 ; 深度学习 ; 预处理 ; 特征提取 ; 模型泛化

Abstract

A thorough analysis and cross-comparison of recent relevant works was provided, outlining a closed-loop process for EEG data analysis based on deep learning. EEG data were introduced, and the application of deep learning in three key stages: preprocessing, feature extraction, and model generalization was unfolded. The research ideas and solutions provided by deep learning algorithms in the respective stages were delineated, including the challenges and issues encountered at each stage. The main contributions and limitations of different algorithms were comprehensively summarized. The challenges faced and future directions of deep learning technology in handling EEG data at each stage were discussed.

Keywords： electroencephalography (EEG) ; closed-loop process ; deep learning ; preprocessing ; feature extraction ; model generalization

PDF (690KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

钟博, 王鹏飞, 王乙乔, 王晓玲. 基于深度学习的EEG数据分析技术综述. 浙江大学学报(工学版)[J], 2024, 58(5): 879-890 doi:10.3785/j.issn.1008-973X.2024.05.001

ZHONG Bo, WANG Pengfei, WANG Yiqiao, WANG Xiaoling. Survey of deep learning based EEG data analysis technology. Journal of Zhejiang University(Engineering Science)[J], 2024, 58(5): 879-890 doi:10.3785/j.issn.1008-973X.2024.05.001

脑电数据是由在大脑放置的测量电极所记录到的电生理信号，反映大脑神经元的离子电流产生的电压波动，常作为观测大脑内部自发电生理活动的研究媒介. 根据电极放置形式的不同，脑电数据可以分为非侵入式与侵入式2种类型. 其中，头皮脑电（electroencephalography，EEG）是典型的非侵入式脑电数据，通过参照不同的坐标体系，在头皮表面的固定位置放置干电极或湿电极，同步记录颅内深层信号在头皮的表现. EEG数据作为重要的时序信号，为深入理解脑功能、改善疾病诊断提供了关键的技术支持. 基于深度学习的EEG数据分析在推动脑机接口技术（brain-computer interface，BCI）、个性化医疗和脑机智能发展方面具有关键作用. 在实际中，非侵入式的头皮脑电数据具有无创、易获取的优点，因此拥有大量的相关研究及公开的数据集资源. 本文将集中于介绍基于深度学习的EEG数据相关分析工作，对其进行梳理与总结.

对于EEG相关的概念和工作，已有许多综述研究给出了全面的梳理. Hosseinu等[1]介绍了机器学习在EEG信号处理中的应用，包括传统的支持向量机、K-近邻算法、朴素贝叶斯等方法的应用，但没有兼顾到大量取得更优性能的深度学习算法的讨论. Jiang等[2]从去除EEG信号的伪影和解决EEG模型泛化性的角度进行讨论，使得该篇综述在技术细节方面更加细致，然而对于初入门的研究人员来说，这种细致的梳理可能不利于他们从完整的流程视角去了解EEG数据分析过程中需要考虑的挑战. 与之形成对比的是，Zhang等 [3]从更全面的视角介绍了脑机接口（brain-computer interface，BCI）信号的由来及应用，以及卷积神经网络(convolutional neural networks, CNN)、循环神经网络(recurrent neural network, RNN)、生成对抗网络(generative adversarial network, GAN)等主流深度学习算法与脑电任务场景的结合形式. Zhang等[3]的工作没有显式地遵循EEG信号分析所涉及的闭环工作流程进行文献梳理，而是将重点放在了不同BCI信号种类的划分及深度学习算法类别的划分上.

与以往研究不同，本文侧重于研究深度学习算法中EEG数据分析的闭环分析流程. 具体而言，本文分别对EEG数据进行介绍，从深度学习在脑电数据的预处理、特征提取及模型泛化3个关键阶段的应用进行展开，包括各阶段所存在的难点与挑战以及深度学习算法在各阶段提供的解决方案和成效. 对于每个关键阶段，对相关工作进行细分，比如将EEG数据预处理细分为去噪和生成，在生成部分进一步细化为数据增强和信号转换.

1. EEG数据分析

1.1. EEG简介

EEG作为电生理信号记录数据，能够反映颅内神经元产生的电生理活动. 通常，在采集EEG信号时，记录电极的放置会遵循约定好的数量和准则，以保证实验结果的可复现性与可比较性. 常见的电极放置准则包括10-20国际标准导联系统、10-05国际标准导联系统、BioSemi系列等. 以常用的10-20国际标准导联系统为例，该系统的基本假设如下：头皮位置与其底层大脑结构之间存在一致的相关性[4]. 标准的10-20系统总共包含19颗记录电极，每颗电极作为一个逻辑通道，记录相应位置的EEG信号数据.

EEG数据优良的特性促使科研人员从EEG的理论研究延伸出多样的应用场景，如疲劳检测、癫痫预警、情感识别等. 基于不同任务与科学实验，诞生了丰富的EEG公开数据集，包括睡眠EEG数据集Sleep-EDF[5]、动作想象数据集PhysioNet[6]、情感识别数据集SEED IV[7]、DEAP[8]等，进一步吸引了大量研究工作的更迭与创新.

1.2. EEG分析难点与挑战

如图1所示的工作流程，EEG数据分析需要面临数据获取、预处理、特征提取、模型泛化、智能设备应用几个阶段. 数据获取涉及不同脑电记录设备的设计与选择，智能设备应用涉及智能应用的设计与开发，尚不在本文的研究范围之内. 本文着手于深度学习在EEG数据预处理、特征提取、模型泛化3大环节展开讨论，分析其中存在的难点与挑战.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   EEG闭环分析流程

Fig.1   Closed-loop EEG analysis process


1.2.1. 预处理

EEG预处理阶段旨在消除信号中包含的干扰信号成分，即是“伪影”. 信号中的伪影可能来自于环境噪声、操作误差或受试者本身的其他电生理信号等. 它们往往在数据采集阶段被一并记录到原始数据中，对下游数据分析工作产生负面影响，降低了分析结果的准确率. 根据产生方式，伪影可以被划分为外部伪影和内部伪影. 外部伪影通常指外界不稳定的测量环境中产生的噪声和测量误差. 内部伪影包括多种来自受试者自身其他电生理信号的干扰. 常见的内部伪影包括眼动信号(electro-oculography, EOG)、肌电信号(electromyography, EMG)、心电信号(electrocardiogram, ECG)等. 这些电生理信号往往以一种或多种干扰同时出现，与真实的EEG信号相混合，它们的分布频段与EEG接近，难以通过固定频段的滤波进行去除，增大了消除这些干扰信号的难度.

除了伪影干扰之外，在深度学习研究背景下，预处理阶段还需要考虑数据分布不均衡的问题. 由于EEG记录过程可能存在电极缺失，会导致所得数据在空间分布上的不均衡. 另外，由于数量和位置固定，EEG电极无法采集到大脑任意方位的信号，只能通过固定的采集点来收集电极周围神经元发出的电信号的聚合信号，导致了其低空间分辨率的劣势. 针对EEG数据集的增强技术用以缓解特定场景下数据集分布不平衡带来的负面影响.

1.2.2. 特征提取

EEG特征提取旨在计算出更好的表征或提取出与下游任务最相关的成分，以提高模型的分类准确率或回归精度. 基于信号本身的特性，针对EEG特征需要从时域、频域、空间域或联合特征的角度进行考量.

作为一种时序信号，EEG记录到的大脑局部节律振幅随时间的波动反映了潜在神经元皮层网络的可变功能状态[9]，因此需要从时域的角度考虑EEG波形如何随着时间的推移而变化或波动. 为了更好地剥离EEG信号中不同的频率成分以便更细致地分析，常会利用傅里叶变换或小波变换算法将信号从时域变换至频域进行考虑. 如表1所示，EEG信号的频率波动范围一般集中在每秒1~30次，可被划分为不同波段.如何利用EEG中各波段的特性来指导下游任务分析，或挖掘不同波段间和未发现的波段间所具有的复杂特性是值得不断探索的.

表 1   EEG频段特征

Tab.1  Characteristics of EEG frequency bands

频段频率/Hz常见场景
δ<4成人慢波睡眠
θ4~7青少年或意志受挫的成人
α8~15放松、闭眼静息
β16~31警惕或激动
γ>32感知专注
μ8~12睡眠

新窗口打开| 下载CSV


从空间角度来看，位于头皮不同位置的EEG电极所记录到的颅内电生理活动存在显著的差异，如δ波常见于大脑颞叶和顶叶，γ波通常位于体感皮层. 根据不同区域所关联的独特功能，已有学者将大脑划分为不同的脑功能区. 常见的脑功能区划分方式包括默认模式网络(default mode network，DMN)、突显网络（salience network，SN）、注意网络（attention network，AN）等. 通过计算在不同功能区所记录到的信号之间的统计相关性，可以判定其是否具有功能性关联(functional connectivity，FC) [10]. 在不同的BCI任务中，特定大脑区域会产生特有的活跃现象.

随着人们对BCI应用需求的日益渐长及脑电数据本身的复杂特性，仅从某一个单独域建模信号特征往往无法满足对实验准确度的需求. 如何更好地结合时域、频域、空间特征以及与下游任务相关联的特定领域知识进行联合建模分析，以达到不同特征间的互补，进而在预期结果的表现上得到质的提升是复杂而有价值的挑战.

1.2.3. 模型泛化

由于EEG数据集的构成通常涉及不同的受试者、不同采集设备、不同测试任务等因素的影响，导致不同源数据或同源数据内部的显著差异. 对于基于数据驱动的研究方式，这一情况带来的负面影响主要体现在通过训练集优化所得的模型无法很好地适应现实场景下的多源、多分布的真实EEG数据，导致大多数基于EEG的BCI模型在实际运用中的效果无法达到在实验室中的测试精度. 如何利用先进的深度学习算法从先验角度设计更合理的模型架构，或通过在线优化模型参数的方式对未知的样本进行适应，从而跨越实验数据与真实应用场景下样本分布间的鸿沟，成为摆在研究者们面前的一大难点.

2. 基于深度学习的EEG预处理

2.1. EEG去噪

EEG数据采集过程中伴随着肌肉运动、电干扰和电极松动等不确定因素带来的噪声干扰，这些噪声使信号分类和神经系统疾病诊断成为瓶颈[2]. EEG数据去噪已成为生物医学数据处理领域的重要研究课题. Salis等[11]对经验模态分解（empirical mode decomposition, EMD）、离散小波变换（discrete wavelet transform, DWT）和卡尔曼滤波（Kalman filtering, KF）进行比较研究，从脑电图中去除不同振幅的EOG伪影，但利用这些传统方法无法充分捕捉EEG中的复杂特征. 如表2所示，深度神经网络可以捕捉EEG中神经振荡的特征，消除来自生物伪影的波动，如Zhang等[12]构造干净EEG和带有EOG和EMG伪影的数据集，使用基于深度网络的EEGdenoiseNet，通过有监督的方式进行端到端的训练，对EOG和EMG伪影进行去噪. Brophy等[13]基于GAN，生成器从有噪声的EEG训练数据中进行采样去噪，并将其与相应的干净EEG信号输入鉴别器中进行比较. 由于EEG信号的幅度没有固定的范围，传统的图像滤波方法可能无法直接应用于EEG信号去噪，因此An等[14]引入样本熵和基于能量阈值的数据归一化方法，将图像恢复的思想应用于脑电信号去噪.

表 2   基于深度学习的EEG信号去噪方法

Tab.2  EEG signal denoising method based on deep learning

名称文献主要贡献网络架构
CNNLSTMGAN
EEGdenoiseNet文献[12]通过构造干净EEG和带有EOG和EMG伪影的数据集，以端到端的方式进行训练，
对EOG和EMG伪影进行去噪.		√√—
DenoisingEEG文献[13]
基于GAN，生成器从有噪声的EEG训练数据中进行采样去噪，并将其与
相应的干净EEG信号输入鉴别器中进行比较.		√—√
Auto-Denoising文献[14]
引入样本熵和基于能量阈值的数据归一化方法，将图像恢复的思想应用于脑电信号去噪，
使GAN模型中的生成器能够生成平稳的EEG信号.		—√√
U-NET文献[15]
将EEG信号转换为图像，使用计算机视觉领域分割经典模型U-NET.√——
EEGANet文献[16]
针对EOG伪影，不需要专家进行视觉检查或额外的EOG通道，可用于各种
条件下的EEG信号（无眼动、水平眼动、垂直眼动和眨眼）去伪迹.		√—√
Novel CNN文献[17]
引入多种网络模块，下采样EEG数据减少参数量、增加特征图数量、
提高网络深度，进而提高特征维度.		√——
1D-ResCNN文献[18]
将使用不同尺度卷积核的残差块组合起来，让模型捕捉更丰富的特征，
使得降噪后 EEG 的非线性特征得到显著保持，提高了在未知噪声下的 EEG 降噪性能.		√——

新窗口打开| 下载CSV


EEG信号容易受到不同伪影的影响，这对后续的信号分析和神经系统疾病的诊断造成了干扰,因此去噪是重要的研究方向. 虽然现有的深度学习技术在处理EEG信号中的常见伪影方面表现出一定的竞争力，但随着脑机接口技术的发展，未来可能会面临更加复杂和多样化的伪影情况. 例如对可穿戴设备采集得到的连续、低信噪比的EEG信号进行快速去噪是具有挑战性但值得探索的方向. 在未来的研究中，可以考虑从以下几个方面来提高深度学习技术在处理复杂伪影方面的能力. 1) 数据集的多样性：构建更加多样化和真实的EEG数据集，包括各种类型的伪影，例如同时包含EOG伪影、EMG伪影、ECG伪影等，以便深度学习模型可以在更加复杂和真实的场景中进行训练和验证. 2) 实时性的考虑：针对BCI应用中对实时性要求高的场景，可以研究如何在短时间内进行快速去噪，例如引入在线学习和增量学习技术.

2.2. EEG数据生成

数据生成的第一个应用场景为数据增强. 在实际研究中，由于EEG数据采集的设备成本、时间成本及操作中不可避免的数据缺失等问题，能够被研究者利用的数据往往较少，不足以支撑足够有说服力的研究. 为了提升数据量及数据质量，如表3所示，近年来基于深度网络模型的EEG数据生成工作不断涌现.

表 3   基于深度学习的EEG信号生成方法

Tab.3  EEG signal generating method based on deep learning

类型文献

主要贡献
数据增强文献[19]
利用额外的可变伸缩系数，动态调节WGAN-GP中的梯度惩罚项.
文献[20]
使用WGAN从低分辨率的记录中生成高空间分辨率EEG数据.
文献[21]
在WGAN的基础上，提出时空频率-均方误差损失，有助于重构出更具判别性的信号.
数据转换文献[22]
提出基于自编码器改进的深度学习模型，实现由EEG到同步SEEG信号的生成.
文献[23]
提出两阶段匹配策略，确定一对一电极匹配关系，基于CGAN实现EEG到SEEG的生成.

新窗口打开| 下载CSV


Hartmann等[19]面对EEG数据增强及恢复已损坏的数据段需求，针对WGAN-GP训练不稳定、梯度消失这一缺陷进行改进，利用额外的可变伸缩系数来动态调节WGAN-GP中的梯度惩罚项，使得判别器的梯度惩罚权重可以根据当前分布间的差距大小改变，稳定了模型训练过程，生成更高质量的信号. 针对EEG数据增强这一应用场景，Corley等[20]采用生成对抗网络对EEG进行逐通道生成. 在临床上，高空间分辨率的大脑活动记录通常包含更多的认知活动信息，但记录更高的空间分辨率需要更多的通道，意味着更高的设备成本. 通过使用WGAN，可以从低分辨率的记录中生成高空间分辨率EEG数据.

脑电生成的另一应用场景为信号转换，即使用一种模态的脑电信号生成另一种模态的脑电信号. 比如由无创、低空间分辨率、噪声较多的头皮脑电数据生成侵入式、高空间分辨率、噪声较少的颅内脑电(stereoelectroencephalogram, SEEG)数据，使得转换后模态的脑电信号包含更多的潜在大脑活动信息，有助于医学诊疗任务. Antoniades等[22]提出基于自编码器(auto-encoder, AE)改进的深度学习模型，将EEG信号作为输入，最小化输出与真实SEEG信号间的交叉熵损失，实现由EEG到SEEG信号的生成. Hu等[23]将EEG到SEEG这一转换任务分为两大步骤. 针对头皮脑电电极与颅内立体脑电电极之间映射关系的建立，提出两阶段的匹配策略，即同时考虑2种电极所记录到的信号间的相似性及2颗电极间的物理距离，确定最合适的一对一电极匹配关系. 使用幅度谱和瞬时频率谱来表征信号，提出谱相关注意力模块和加权预测模块. 前者能够保证生成的SEEG信号与输入的EEG信号之间具有关联性，后者主要针对生成信号中的毛刺现象这一问题进行解决，有效应对了潜在的模式崩塌.

在研究资源匮乏的环境中使用深度学习技术进行EEG数据增强，能够进一步辅助数据驱动模型的下游开发. 但针对医学工作，研究者更加关心脑电信号间的模态转化，如上述的EEG到SEEG的转换，如何考虑多对一，甚至是多对多的转换映射，需要更加精细的建模技术和更多脑电领域知识的辅助.

3. 基于深度学习的EEG特征提取

3.1. EEG时域特征提取

基于1.2.2节的几种EEG信号特征角度，本节介绍如何使用深度学习算法进行建模EEG信号的特征，提升下游分类或回归任务的准确性. EEG作为时序信号，具有时序数据共有的特性，即当前时间步的状态与历史时间步存在关联. 为了捕捉这种时序数据特有的特性，如表4所示，Tsiouris等[24]采用长短时记忆网络(long short-term memory, LSTM)对EEG进行建模，实现癫痫发作的预测. El-Fiqi等[25]提出基于门控机制的自编码器结构——门控层自编码器（GLAE），以学习EEG序列内部不同变量间的内在关联，能够较好地应对EEG变量缺失或被污染的情形.

表 4   基于深度学习的EEG时域特征提取方法

Tab.4  Temporal feature extraction in EEG analysis based on deep learning

文献主要贡献网络架构
LSTMCNNAEGAN
文献[24]
提取出脑电图信号分析中最常用的各种统计特征作为深度模型LSTM的输入，证明了LSTM是预测癫痫发作的理想工具.√———
文献[25]
在AE模型的基础上引入门控机制对输入向量进行部分遮蔽，促使编码层学习变量之间的关系，挖掘EEG序列内部不同变量间的内在关联，在重建恢复损坏的EEG数据方面具有优越的性能.——√—
文献[26]
通过CNN和AE的组合，捕获维度更低、信息量比例更大的EEG信号表示，适用于带宽有限、延时容忍度低的实时数据传输场景.—√√—
文献[27]
通过CNN提取EEG中蕴含的认知领域知识，对视觉刺激隐向量进行约束，在提高图像分类性能的同时，实现了由EEG图像认知特征生成对应的视觉图像的功能.—√—√
文献[28]
介绍并比较2种专门设计的自编码器学习EEG特征的策略，通道级自编码器专注于每个通道中的特征；图像级自编码器从整个片段中学习特征.—√√—
文献[29]
将EEG数据转化为一连串连续的保留拓扑结构的多光谱图像，保留EEG的空间、光谱和时间结构，从图像序列中学习信号的鲁棒表示，在心理负荷分类任务中表现
出优势.		√√——

新窗口打开| 下载CSV


除了使用基于序列特性而设计的LSTM或RNN等序列模型之外，部分研究者选择采用CNN对EEG的局部不变的时间特性进行建模. 由于2-D的CNN卷积核具有提取二维特征的能力，采用CNN结构的研究工作往往侧重于将EEG的时序特征结合其空间或频域特征一同考虑，通过联合建模2种甚至多种特征的方式获取更好的模型性能. Al-Marridi等[26]设计基于CNN的自编码器结构，利用CNN的下采样操作对输入的多条EEG序列进行压缩，以获得维度更低、信息量比例更大的信号表示. Jiao等[27]使用CNN捕捉多通道EEG序列中与图像认知有关的隐向量特征，使其更接近于对应图像所处的隐向量空间，从而在分类阶段，利用EEG表征弥补了认知域和视觉域之间的差距，对不同视觉刺激诱发的EEG记录进行分类. 在视觉刺激生成阶段，利用视觉引导的脑电图表征来提高生成的性能. 利用改进的GAN模型，提高真实刺激的视觉表征与生成实例之间的一致性，从而提高生成图像的主观和客观质量，实现了从EEG图像认知特征生成对应视觉图像的功能. Yao等[28]从通道独立和频域特征图像2个角度展开研究，使用基于不同维度的CNN卷积核构成的自编码器，从2种角度分别对EEG的时频、空间特征进行建模.

考虑到EEG信号本质上可以建模为高度动态、非线性的时间序列数据，如表4所示，上述工作引入基于深度学习的时序处理模型来捕获EEG的时序特征和电极与电极之间的内在关联特征，辅助下游任务. 大部分工作都是将输入的EEG信号预处理为长度相等的序列，且假设EEG信号片段之间是相互独立的，这样不仅会破坏信号之间的连续性，也在一定程度上降低了模型的实用性.

3.2. EEG频域特征提取

在获取EEG信号的频域特征方面，传统工作往往通过时频变换算法将原始信号变换至频域进行研究，常用的变换包括傅里叶变换、小波变换. 基于这种频域表征，可以提取功率谱密度（power spectral density，PSD）. 基于某一频段的功率谱特征，可以计算出差分熵（differential entropy，DE）特征. 除此之外，滤波器组共空间模式（filter-bank common spatial pattern，FBCSP）、双线性判别成分分析（bilinear discriminant component analysis，BDCA）算法也被用于提取脑电信号中不同频率的成分.

如表5所示，基于脑电固有的频段特征，Yu等[30-31]将原始信号分解至δ、θ、α等子波段，在子波段依次提取特征后再进行融合. Yu等[30]提出新的分类框架，将不同波段特征向量进行拼接，输入卷积神经网络，能够客观识别强直性冷痛状态. Prasanth等[31]在癫痫检测任务上，采用CNN架构，将原始 EEG 和频率子波段作为输入特征，对不同的输入特征组合进行性能评估.

表 5   基于深度学习的EEG频域特征提取方法

Tab.5  Frequency feature extraction in EEG analysis based on deep learning

文献频域分解方式
特征提取/融合方式
文献[30]
提取$ \delta \mathrm{、}\theta \mathrm{、}\alpha \mathrm{、}\beta \mathrm{、}\gamma $波段将每个波段对应的特征向量直接连接
文献[31]
提取$ \delta \mathrm{、}\theta \mathrm{、}\alpha \mathrm{、}\beta $波段将多个子波段堆叠输入网络
文献[32]
提取$ \delta \mathrm{、}\theta \mathrm{、}\alpha \mathrm{、}\beta \mathrm{、}\gamma $波段，将相邻的波段结合形成不同尺度采用自适应的权重学习方法，对不同尺度的分类结果进行融合
文献[33]
提取$ \delta \mathrm{、}\theta \mathrm{、}\alpha \mathrm{、}\beta \mathrm{、}\gamma $波段，为每个受试者自适应地挑选最优波段将多个波段的输出直接连接
文献[34]
提取$ \theta \mathrm{、}\alpha \mathrm{、}\beta $波段将每个波段视为RGB中的一个通道，使用基于CNN的自编码器进行特征提取
文献[35]
将8~30 Hz分解至10个子波段，每个子波段宽为4 Hz，且相邻子波段之间的重叠频带为2 Hz将输入视为图像格式，沿着频率轴滑动卷积核
文献[36]
捕获频率≥2 Hz的信息为每个特定频率学习多个空间滤波器
文献[37]
—使用由小波核启发的时频滤波器
文献[38]
—将复杂网络表示扩展至频域，使用序列卷积从连续频率中学
习特征

新窗口打开| 下载CSV


在频域分解与子波段选择的角度，Shen等[32-34]进行了进一步的创新. Shen等[32]提出多尺度波段集成学习方法，实现基于EEG信号的情绪识别. Miao等[33]提出基于EEG的情绪识别框架，能够为每个受试者自适应地挑选最优波段，在每个波段，分别应用相同的3维深度残差网络架构提取特征，将不同波段的输出进行融合，输入softmax层得到最终的分类结果. Yao等[34]将短期EEG信号转化为图像，依次提取θ、α、β 3种波段，计算这些波段平方绝对值的和，得到64×3的矩阵. 将每个波段视为RGB中的一个通道，利用等距方位投影方法将64×3的矩阵转换为32×32×3的图像格式，然后使用基于CNN的自编码器进行特征提取.

Lawhern等[36-37]采用卷积核，直接提取频率特征. Lawhern等[36]提出的EEGNet 将不同尺寸的CNN卷积核看作是不同规格的信号滤波器，CNN网络沿着时间轴的卷积操作是从原始信号中提取不同频率成分的过程. EEGNet通过采用适应原始信号采样频率的卷积核尺寸来构建卷积神经网络. 假设模型输入为尺寸为(C, T)的多通道信号数据，其中C为通道数，T为序列长度. Lawhern等[36]采用尺寸为(1, 64)的2-D卷积核，旨在捕获原始信号中频率≥2 Hz的信号成分. 通过尺寸为(C, 1)的深度卷积核，让模型可以学习到各个频段内不同通道之间的关联. 为了清晰地分离所得特征图内部以及相互之间的关联性，采用尺寸为(1, 16)的2-D卷积操作，然后是尺寸为(1, 1)的逐点卷积操作. 通过结合这两种不同尺寸的卷积操作，模型能够独立地提取各个通道、各个频段中最主要的特征，并通过逐点卷积对它们进行融合，完成最终的特征提取任务. Zhao等[37]提出结合小波变换和空间滤波的卷积网络，端到端地解码EEG信号.

采用频域特征的另一优势是能够消除相位偏移对时域特征的影响，尤其是考虑在EEG信号上建立图表示时，基于频域表征建立的图比基于时域信号建立的图更具有鲁棒性. 比如，Wang等[38]为EEG的频域表征建立图表示，构建复杂网络（complex network）.

使用深度学习技术进行频域特征提取，能够避免手工设计特征的环节，自动从原始信号中学习到与任务有关的频域表示，近年来在癫痫发作检测、情绪识别下游任务上展现了良好的性能与应用前景. 目前的方法在频域分解角度在一定程度上依赖于与任务有关的先验知识；这些模型往往针对特定任务，在其他任务上的泛化性有待验证；由于深度学习模型的黑盒性质，这些方法在可解释性上存在不足. 未来可以进一步考虑提升模型的泛化性，提取出更加通用、可解释的频域表示.

3.3. EEG空间特征提取

考虑到EEG电极物理位置带来的影响，如表6所示，从空间角度捕捉不同电极之间存在的信号传播关系，能够更好地从全局角度建模多通道EEG信号的特性.

表 6   基于深度学习的EEG空间特征提取方法

Tab.6  Spatial feature extraction in EEG analysis based on deep learning

模型文献

主要贡献使用技术
注意力
机制		信道
建模		空间
信息		频域
信息		时域
信息
SPDNet RNN文献[39]
提出EEG协方差矩阵的时空融合方法，利用整个EEG信号的协方差矩阵提取时空特征，通过EEG通道之间的时空变化来研究驾驶员疲劳检测.——√—√
RACNN文献[40]
分别对不同脑功能区的频谱特征进行卷积计算学习EEG频谱-时空特征，利用注意力机制加权聚合各脑功能区特征，鼓励对最重要的区域赋予更大的注意力权重，揭示不同脑区EEG数据与任务存在的动态相关性.√——√√
RGNN文献[41]
考虑不同脑区之间的不同生物拓扑结构，捕捉EEG信道之间的局部和全局关系，采用符合生物原理的稀疏邻接矩阵捕捉局部和全局EEG通道间的关系. 实验结果表明，对于情感识别，前额叶、枕叶和顶叶可能是信息量最大的区域.—√———
IAG文献[44]
采用额外分支融合空间信息和频率信息，自适应表征不同EEG通道间的内在动态关系，为EEG情绪识别加入更多的特征.—√√√—
MD-AGCN文献[45]
纳入来自时间域、频域和脑功能连接的脑电图信息，将EEG的时域和频域与通道的拓扑结构相结合，以自适应的方式学习与情绪相关的大脑功能连接—√—√√

新窗口打开| 下载CSV


给定原始的多通道EEG信号矩阵$ \boldsymbol{X}\in {\bf{R}}^{C\times T} $. 为了建立多通道间的关联，Zhang等[39]采用黎曼网络架构，利用满秩矩阵$ {\boldsymbol{W}}_{1} $对$ \boldsymbol{X} $进行双线性插值$ {{\boldsymbol{X}}}_{1}={{{\boldsymbol{W}}}}_{1}{{\boldsymbol{X}}}{{{\boldsymbol{W}}}}_{1}^{{\mathrm{T}}} $，通过对$ {{\boldsymbol{X}}}_{1} $进行特征值分解，可得由特征向量组成的矩阵$ {{\boldsymbol{U}}}_{1} $及其对应的特征值组成的对角矩阵$ {\boldsymbol{\varLambda}}_{1} $. 使用预设阈值组成的对角矩阵$ {\boldsymbol{\zeta}} $替代$ {\boldsymbol{\varLambda}}_{1} $中较小的特征值，可得$ {{\boldsymbol{X}}}_{2}={{\boldsymbol{U}}}_{1}{\boldsymbol{{\mathrm{max}}}}\;({{{\boldsymbol{\varLambda}} }}_{1},{\boldsymbol{\zeta}} ){{\boldsymbol{U}}}_{1}^{{\mathrm{T}}} $, 从而保证了所得矩阵的正定性质. 为了将所得流形映射至更为平坦的空间，以便经典的欧式空间计算得以应用，Zhang等[39]对特征值进行对数运算后，将其作为空间特征提取的最终形式并输出.

大脑结构可以根据功能性关联，划分为不同的脑功能区. 利用这一医学依据作为切入点，Fang等[40]提出区域注意力卷积神经网络，将功能区的概念融入模型设计中，以更好地完成运动意图识别的任务.

处理含有空间特性的数据，更直观的做法是将EEG电极物理位置关系建模为图结构. EEG电极的空间布局符合图结点的构建，每颗电极所记录到的信号或由信号中所提取的特征可以作为每个结点所拥有的属性. 利用图卷积网络（graph convolutional network, GCN）在图结构上提取特征的优势，可以捕捉到这种非欧式空间结构上的信息流动. 基于这一建模思路，许多研究工作将重点放在如何为这些结点构建“边”的关系以及如何为结点赋予具有任务相关含义的属性研究上.

Zhong等[41]基于不同脑区活动间的关联性随物理距离呈现平方反比变化的假设，定义EEG通道间的图结构，设无向无环图的邻接矩阵为$ {{\boldsymbol{A}}}\in {\bf{R}}^{C\times C} $，定义结点边权重为$ {A}_{ij}={{\mathrm{min}}}\left(1,{\delta/}{{{d}}^{2}_{ij}}\right) $，其中$ {d}_{ij} $为第$ i $和$ j $个E通道间的物理距离. 通过控制非负超参$ \delta $的取值，筛去了20%关联性较小的边. 对于情感识别任务，Schmidt等[42-43]的研究表明，左、右半脑神经元的非对称性活动能够提供丰富的识别信息. 为了建模这一先验知识，研究者通过修改邻接矩阵对应边的权重，对由经验性实验结果选定的分布于左、右半脑侧向的电极对之间搭建全局连通路径$ {A}_{ij}={A}_{ij}-1 $，其中$ ij $表示选定的电极对. 采用每个通道所记录的EEG片段的差分熵作为结点的属性，利用简单图卷积网络完成对定义的图结构的特征提取.

通过预设方式构建的图结构往往是静态的. 静态图结构不依赖于输入信号的变化，而是依赖于先验知识的正确性，因此受制于静态结构的不变性. 为了适应可能来自不同受试者、不同会话情形的EEG片段，Song等[44,46]考虑动态地构建图结构. Song等[44]提出实例适应性图连接算法，通过可优化的参数矩阵学习EEG的空间关联及频域特征关联，实现动态建立邻接矩阵的目标.

结合文献[43,44]的优点，Li等[46]通过分析EEG在时域、频域及空间3种角度的特点，针对情感识别任务，采用静态及动态2种构图方式. 采用皮尔森相关系数，计算不同EEG通道记录所得信号间的时序相关性，作为建立结点边的依据.根据人为设定的阈值，筛选出与情感识别任务最相关的若干条边，构建静态的功能性脑连接图.

EEG中的空间信息通常可以反映更完整的大脑状态，如表6所示，现有的研究将来自时域、频域和大脑功能连接的EEG信息进行融合，在下游任务尤其是情绪识别上取得了很好的效果. 基于数据驱动学习到的脑功能连接拓扑结构在一定程度上能够反映功能性大脑连接与认知缺陷疾病的多种心理生理障碍有关，未来可以进一步辅助疾病的治疗，如辅助抑郁症的诊断. 已有的生物学实验表明，大脑信号的不稳定是大脑区域连接的变化所导致的，这种神经脆弱性导致癫痫发病. 基于脆弱性理论和线性动力系统，利用生成模型动态模拟癫痫发作间期每个电极通道如何影响其他电极，通过得出的每个电极的神经脆弱性，辅助癫痫的诊断和指导患者的手术治疗[47]，值得未来进一步挖掘. EEG数据并非仅仅局限于时频和空间域，其中蕴含了许多个性化信息和生物信息，如何将这些信息融入深度学习模型中，是未来可以思考的.

4. 基于深度学习的EEG模型泛化

EEG数据是由大脑产生的电信号采集得来的，它具有高度的个体差异性和时空特异性. 相较于传统的手动特征提取和机器学习方法，基于深度学习的EEG处理模型可以在充足的训练数据下获得良好的效果，减少人工分析的成本. 由于深度学习模型依赖于数据的驱动，过度依赖训练数据容易导致过拟合问题，降低模型的泛化性能. 如表7所示，近年来，许多研究采用域自适应技术，降低不同受试者、不同设备、多视图和多模态等因素对EEG数据的影响，使得模型能够更好地捕捉EEG的共性特征，提高泛化性能. 本节按照性能泛化的不同训练目标，对近年来的相关工作进行梳理.

表 7   基于深度学习的EEG模型泛化方法

Tab.7  Deep learning based EEG model generalization methods

训练目标文献
主要贡献使用技术
自监督
训练		域对抗
训练		数据
增强		多任务
学习		多视图
融合		知识
蒸馏
跨受试者文献[48]
构建片段级别的EEG特征序列，引入自监督任务，整个体系结构
都可以被微调到各种下游脑机接口和EEG分类任务.		√—————
跨受试者文献[50]
引入对抗性训练的方式，减少个体差异的影响，提取具有域
不变性的EEG信号特征.		—√————
跨任务文献[51]
通过聚合空间拼接、频率拼接多任务的学习，避免模型在单个
下游任务上的过拟合.		√——√——
跨视图文献[52]
提出EEG的多视图增强策略，在训练过程中利用多视图的互补信息.√—√—√—
跨模态文献[54]
采用跨模态的知识蒸馏策略，减小头皮EEG和基于耳朵EEG的
睡眠分级之间的性能差距.		—————√
跨数据集文献[55]
提出时频一致性策略，促使基于时间的表示和基于频率的
表示彼此接近.		√—√—√—

新窗口打开| 下载CSV


对于跨受试者，Kostas等[48]认为不同个体之间的EEG数据存在一定的差异性.受Bert[49]的启发，Kostas等[48]使用自监督训练目标来学习原始EEG信号的表示，从而有效利用大量未标记的EEG数据.

针对睡眠分类任务，为了学习与个体无关的睡眠特征，Jia等[50]将域泛化方法与时空图卷积网络集成到统一的框架中. 依赖于单任务学习，可能导致过拟合，学习到的特征缺乏泛化性. 受到多任务学习的启发，可以结合不同的自监督任务来提高模型的泛化能力以及模型对噪声标签的处理能力. 为了提高模型的泛化能力，利用EEG数据特性来提高表征学习的质量，解决噪声标签带来的问题. Li等[51]采用基于图的多任务自监督模型GMSS. 通过空间拼图任务，研究不同脑区的空间功能连接；采用频率拼图任务，捕获对下游任务较重要的频带，通过对比学习，提高同一EEG片段的不同增强数据之间的一致性.

使用相互影响的多个视图来建模有效的表示具有挑战性. Kumar等[52]提出多视图自监督学习方法mulEEG用于EEG表征学习，联合训练时间视图编码器和频谱视图编码器，该方法有效利用多视角之间的互补信息来学习更好的表征，提出diverse loss促进多视角信息互补.

基于耳部的EEG睡眠监测在舒适性和便携性方面具有明显的优势，但Mikkelsen等[53]的工作表明，基于耳朵EEG的睡眠分级的性能不如基于头皮EEG的睡眠分级. 为了解决头皮EEG和基于耳朵EEG的睡眠分级之间的性能差距，Anandakumar等[54]采用跨模态知识提取的蒸馏策略，迫使模型学习到的耳朵EEG特征表示与头皮EEG特征表示尽量相似，以提高基于耳朵EEG的睡眠分级的性能.

针对数据集间动力学的巨大差异、语义信息的不同、不规则的采样、系统因素（不同设备或受试者）等，Zhang等[55]提出时频一致性策略. 具体来说，假设$ {x}_{i} $为信号序列，F为满足TF-C的模型，则经过F后，基于时间的信号特征表示和基于频率的信号特征表示以及$ {x}_{i} $局部增强后得到的表示，在高维特征空间中应该彼此接近.

通过各种域自适应、自监督和迁移学习技术，可以将在源域EEG数据集上训练的模型转移到目标域的分析工作中. 当处理更复杂的脑电信号数据，如更具有个体特性的SEEG数据时，域之间的数据结构和动态时间结构不同，导致时间和频率表示中的特征有偏移，因此可转移性变得更具有挑战性. 源域和目标域中的EEG数据可能具有截然不同的标签分布，这使得模型泛化很难缓解标签偏移并识别仅存在于目标域的信号类别.

5. 基于深度学习的EEG分析研究挑战与未来

尽管目前基于深度学习的EEG数据分析已经有非常丰富的研究工作，但是存在许多挑战.

1）数据人工采集与标注困难. 与计算机视觉、自然语言处理领域相比，EEG数据采集的难度更大，需要专业人士使用专业工具进行收集，还要考虑采集过程中的一系列隐私和伦理问题. 有标注的EEG数据集更稀缺，导致大模型的训练样本不够，限制了大规模通用脑电模型的发展.

2）模型的通用性. 虽然许多工作都在讨论解决EEG分析的深度模型的泛化性，引入迁移学习、知识蒸馏、预训练等前沿技术，但缺少客观上的领域一致性标准，无法实现模型的通用性，尤其是在一些非常规领域的分析中.

3）模型的可解释性. 相比于下游任务上的表现性能，医学研究者更加关注大脑工作原理的挖掘与验证，而现有的深度学习模型在一定程度上都可以视为黑盒模型，即仅能完成对目标任务的判断，无法辅助医学研究者进行大脑动态活动的分析.

综上所述，基于深度学习的EEG分析的未来方向主要包括以下3个方面.

1）迁移学习和预训练. 利用迁移学习技术和预训练模型，基于现有的已标注EEG数据集或在类似任务上训练的模型，通过转移源域上的知识，可以减少对大量人工标注的需求. 将预训练模型微调或自适应到特定的EEG任务，可以提高数据标注和数据分析的效率.

2）融入多模态数据. 脑电信号数据并非仅局限于EEG，还有如SEEG、功能性磁共振成像(functional magnetic resonance imaging, fMRI)多种模态的数据都可以融合到模型中，从而优化模型的性能，提高模型的泛化性. 脑电数据的产生伴随着视觉刺激、听觉刺激、嗅觉刺激等多个方面，引入这些多模态信息，能够更好地捕获大脑在不同刺激下的反应模式，提高模型的通用性.

3）结合神经科学领域知识. 神经学理论对基于深度学习的EEG模型设计具有很强的启发性和指导性. 比如脑功能区域划分、神经脆弱性理论，可以引入这些领域知识对模型进行辅助及解释.

6. 结　语

本文按照EEG数据分析的闭环分析流程，梳理了深度学习在EEG数据的预处理、特征提取和模型泛化方面的工作，讨论每个阶段的研究挑战和未来发展方向，提供指导性意见，供未来的研究人员参考.

尽管基于深度学习的EEG数据分析取得了显著的进展，但存在一些挑战和未来的研究方向. 深度学习方法需要大量的标注数据进行训练， EEG数据的标注通常是耗时且费力的任务. 如何有效利用有限的标注数据，提高模型的性能和泛化能力是重要问题. 深度学习模型在解释性方面仍存在困难，很难解释模型的决策过程和特征提取过程，这极大限制了深度学习在临床实践和科学研究中的应用. 此外，数据隐私和安全性是深度学习在EEG数据分析技术中需要考虑的重要问题.

参考文献

HOSSEINU M P, HOSSEINI A, AHI K

A review on machine learning for EEG signal processing in bioengineering

[J]. IEEE Reviews in Biomedical Engineering, 2020, 14: 204- 218

[本文引用: 1]

JIANG X, BIAN G B, TIAN Z

Removal of artifacts from EEG signals: a review

[J]. Sensors, 2019, 19 (5): 987

DOI:10.3390/s19050987      [本文引用: 2]

ZHANG X, YAO L, WANG X, et al. A survey on deep learning based brain computer interface: recent advances and new frontiers [EB/OL]. [2019-05-10]. https://arxiv.org/pdf/1905.04149.

[本文引用: 2]

OKAMOTO M, DAN H, SAKAMOTO K, et al

Three-dimensional probabilistic anatomical cranio-cerebral correlation via the international 10–20 system oriented for transcranial functional brain mapping

[J]. Neuroimage, 2004, 21 (1): 99- 111

DOI:10.1016/j.neuroimage.2003.08.026      [本文引用: 1]

O'REILLY C, GOSSELIN N, CARRIER J, et al

Montreal archive of sleep studies: an open-access resource for instrument benchmarking and exploratory research

[J]. Journal of Sleep Research, 2014, 23 (6): 628- 635

DOI:10.1111/jsr.12169      [本文引用: 1]

GOLDBERGER A L, AMARAL L A N, GLASS L, et al

PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals

[J]. Circulation, 2000, 101 (23): e215- e220

[本文引用: 1]

ZHENG W L, LIU W, LU Y, et al

Emotionmeter: a multimodal framework for recognizing human emotions

[J]. IEEE Transactions on Cybernetics, 2019, 49 (3): 1110- 1122

DOI:10.1109/TCYB.2018.2797176      [本文引用: 1]

KOELSTRA S, MUHL C, SOLEYMANI M, et al

Deap: a database for emotion analysis; using physiological signals

[J]. IEEE Transactions on Affective Computing, 2012, 3 (1): 18- 31

DOI:10.1109/T-AFFC.2011.15      [本文引用: 1]

ZHAO Q, ZHANG L. Temporal and spatial features of single-trial EEG for brain-computer interface [EB/OL]. [2023-10-01]. https://doi.org/10.1155/2007/37695.

[本文引用: 1]

MOHANTY R, SETHARES W A, NAIR V A, et al

Rethinking measures of functional connectivity via feature extraction

[J]. Scientific Reports, 2020, 10 (1): 1298

DOI:10.1038/s41598-020-57915-w      [本文引用: 1]

SALIS C I, MALISSOYAS A E, BIZOPOULOS P A, et al. Denoising simulated EEG signals: a comparative study of EMD, wavelet transform and Kalman filter [C]// 13th IEEE International Conference on BioInformatics and BioEngineering . Los Alamitos: IEEE, 2013: 1-4.

[本文引用: 1]

ZHANG H, ZHAO M, WEI C, et al

EEGdenoisenet: a benchmark dataset for deep learning solutions of EEG denoising

[J]. Journal of Neural Engineering, 2021, 18 (5): 056057

DOI:10.1088/1741-2552/ac2bf8      [本文引用: 2]

BROPHY E, REDMOND P, FLEURY A, et al

Denoising EEG signals for real-world BCI applications using GANs

[J]. Frontiers in Neuroergonomics, 2022, 2: 44

[本文引用: 2]

AN Y, LAM H K, LING S H

Auto-denoising for EEG signals using generative adversarial network

[J]. Sensors, 2022, 22 (5): 1750

DOI:10.3390/s22051750      [本文引用: 2]

MASHHADI N, KHUZANI A Z, HEIDARI M, et al. Deep learning denoising for EOG artifacts removal from EEG signals [C]// IEEE Global Humanitarian Technology Conference . Seattle: IEEE, 2020: 1-6.

[本文引用: 1]

SAWANGJAI P, TRAKULRUANGROJ M, BOONNAG C, et al

EEGANet: removal of ocular artifacts from the EEG signal using generative adversarial networks

[J]. IEEE Journal of Biomedical and Health Informatics, 2021, 26 (10): 4913- 4924

[本文引用: 1]

ZHANG H, WEI C, ZHAO M, et al. A novel convolutional neural network model to remove muscle artifacts from EEG [C]// IEEE International Conference on Acoustics, Speech and Signal Processing . Toronto: IEEE, 2021: 1265-1269.

[本文引用: 1]

SUN W, SU Y, WU X, et al

A novel end-to-end 1D-ResCNN model to remove artifact from EEG signals

[J]. Neurocomputing, 2020, 404: 108- 121

DOI:10.1016/j.neucom.2020.04.029      [本文引用: 1]

HARTMANN K G, SCHIRRMEISTER R T, BALL T. EEG-GAN: generative adversarial networks for electroencephalograhic (EEG) brain signals [EB/OL]. (2018-06-05)[2023-10-01]. https://arxiv.org/pdf/1905.04149.

[本文引用: 2]

CORLEY I A, HUANG Y. Deep EEG super-resolution: upsampling EEG spatial resolution with generative adversarial networks [C]// IEEE EMBS International Conference on Biomedical and Health Informatics . Las Vegas: IEEE, 2018: 100-103.

[本文引用: 2]

LUO T, FAN Y, CHEN L, et al

EEG signal reconstruction using a generative adversarial network with Wasserstein distance and temporal-spatial-frequency loss

[J]. Frontiers in Neuroinformatics, 2020, 14: 15

DOI:10.3389/fninf.2020.00015      [本文引用: 1]

ANTONIADES A, SPYROU L, MARTIN-LOPEZ D, et al

Deep neural architectures for mapping scalp to intracranial EEG

[J]. International Journal of Neural Systems, 2018, 28 (8): 1850009

DOI:10.1142/S0129065718500090      [本文引用: 2]

HU M, CHEN J, JIANG S, et al

E2SGAN: EEG-to-SEEG translation with generative adversarial networks

[J]. Frontiers in Neuroscience, 2022, 16: 971829

DOI:10.3389/fnins.2022.971829      [本文引用: 2]

TSIOURIS Κ Μ, PEZOULAS V C, ZERVAKIS M, et al

A long short-term memory deep learning network for the prediction of epileptic seizures using EEG signals

[J]. Computers in Biology and Medicine, 2018, 99: 24- 37

DOI:10.1016/j.compbiomed.2018.05.019      [本文引用: 2]

EL-FIQI H, KASMARIK K, BEZERIANOS A, et al. Gate-layer autoencoders with application to incomplete EEG signal recovery [C]// International Joint Conference on Neural Networks . Budapest: IEEE, 2019: 1-8.

[本文引用: 2]

AL-MARRIDI A Z, MOHAMED A, ERBAD A. Convolutional auto-encoder approach for EEG compression and reconstruction in m-health systems [C]// 14th International Wireless Communications and Mobile Computing Conference . Chongqing: IEEE, 2018: 370-375.

[本文引用: 2]

JIAO Z, YOU H, YANG F, et al. Decoding EEG by visual guided deep neural networks [C]// International Joint Conferences on Artificial Intelligence . Macao: IEEE, 2019: 1387-1393.

[本文引用: 2]

YAO Y, PLESTED J, GEDEON T. Deep feature learning and visualization for EEG recording using autoencoders [C]// 25th International Conference on Neural Information Processing . Siem Reap: Springer, 2018: 554-566.

[本文引用: 2]

BASHIVAN P, RISH I, YEASIN M, et al. Learning representations from EEG with deep recurrent-convolutional neural networks [EB/OL]. (2016-02-29) [2023-10-01]. https://arxiv.org/pdf/1511.06448.

[本文引用: 1]

YU M, SUN Y, ZHU B, et al. Diverse frequency band-based convolutional neural networks for tonic cold pain assessment using EEG [J]. Neurocomputing , 2020, 378: 270-282.

[本文引用: 3]

PRASANTH T, THOMAS J, YUVARAJ R, et al. Deep learning for interictal epileptiform spike detection from scalp EEG frequency sub bands [C]// 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society . Montréal: IEEE, 2020: 3703-3706.

[本文引用: 3]

SHEN F, PENG Y, KONG W, et al. Multi-scale frequency bands ensemble learning for EEG-based emotion recognition [EB/OL]. (2021-02-10)[2023-10-01].https://www.mdpi.com/1424-8220/21/4/1262.

[本文引用: 3]

MIAO M, ZHENG L, XU B, et al. A multiple frequency bands parallel spatial–temporal 3D deep residual learning framework for EEG-based emotion recognition [EB/OL]. (2022-09-18) [2023-10-01]. https://www.sciencedirect.com/science/article/abs/pii/S174680942200595X.

[本文引用: 2]

YAO Y, JP A, TG A. Information-preserving feature filter for short-term EEG signals [J]. Neurocomputing , 2020, 408: 91-99.

[本文引用: 3]

MIAO M, HU W, YIN H, et al. Spatial-frequency feature learning and classification of motor imagery EEG based on deep convolution neural network [EB/OL]. (2020-07-20)[2023-10-01]. https://www.hindawi.com/journals/cmmm/2020/1981728/.

[本文引用: 1]

LAWHERN V J, SOLON A J, WAYTOWICH N R, et al

EE-GNet: a compact convolutional network for EEG-based brain-computer interfaces

[J]. Journal of Neural Engineering, 2018, 15 (5): 056013.1- 056013.17

[本文引用: 4]

ZHAO D, TANG F, SI B, et al

Learning joint space-time-frequency features for EEG decoding on small labeled data

[J]. Neural Networks, 2019, 114: 67- 77

DOI:10.1016/j.neunet.2019.02.009      [本文引用: 3]

WANG J, LIANG S, HE D, et al. A sequential graph convolutional network with frequency-domain complex network of EEG signals for epilepsy detection [C]// IEEE International Conference on Bioinformatics and Bio-medicine . Seoul: IEEE, 2020.

[本文引用: 2]

ZHANG X, LU D, SHEN J, et al. Spatial-temporal joint optimization network on covariance manifolds of electroencephalography for fatigue detection [C]// IEEE International Conference on Bioinformatics and Biomedicine . Seoul: IEEE, 2020: 893-900.

[本文引用: 3]

FANG Z, WANG W, REN S, et al. Learning regional attention convolutional neural network for motion intention recognition based on EEG data [C]// 29th International Conference on International Joint Conferences on Artificial Intelligence . Yokohama: IEEE, 2021: 1570-1576.

[本文引用: 2]

ZHONG P, WANG D, MIAO C

EEG-based emotion recognition using regularized graph neural networks

[J]. IEEE Transactions on Affective Computing, 2020, 13 (3): 1290- 1301

[本文引用: 2]

SCHMIDT L A, TRAINOR L J

Frontal brain electrical activity (EEG) distinguishes valence and intensity of musical emotions

[J]. Cognition and Emotion, 2001, 15 (4): 487- 500

DOI:10.1080/02699930126048      [本文引用: 1]

LI Y, ZHENG W, ZONG Y, et al

A bi-hemisphere domain adversarial neural network model for EEG emotion recognition

[J]. IEEE Transactions on Affective Computing, 2018, 12 (2): 494- 504

[本文引用: 2]

SONG T, LIU S, ZHENG W, et al. Instance-adaptive graph for EEG emotion recognition [C]// AAAI Conference on Artificial Intelligence . New York: AAAI, 2020: 2701-2708.

[本文引用: 4]

LI R, WANG Y, LU B L. A multi-domain adaptive graph convolutional network for EEG-based emotion recognition [C]// 29th ACM International Conference on Multimedia . Chengdu: ACM, 2021: 5565-5573.

[本文引用: 1]

LI A, HUYNH C, FITZGERALD Z, et al

Neural fragility as an EEG marker of the seizure onset zone

[J]. Nature Neuroscience, 2021, 24 (10): 1465- 1474

DOI:10.1038/s41593-021-00901-w      [本文引用: 2]

GUNNARSDOTTIR K M, LI A, SMITH R J, et al

Source-sink connectivity: a novel interictal EEG marker for seizure localization

[J]. Brain, 2022, 145 (11): 3901- 3915

DOI:10.1093/brain/awac300      [本文引用: 1]

KOSTAS D, AROCA-OUELLETTE S, RUDZICZ F

BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data

[J]. Frontiers in Human Neuroscience, 2021, 15: 653659

DOI:10.3389/fnhum.2021.653659      [本文引用: 3]

DEVLIN J, CHANG M W, LEE K, et al. Bert: pre-training of deep bidirectional transformers for language understanding [EB/OL].(2019-05-24)[2023-10-01].https://arxiv.org/pdf/1810.04805.

[本文引用: 1]

JIA Z, LIM Y, WANG J, et al

Multi-view spatial-temporal graph convolutional networks with domain generalization for sleep stage classification

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 1977- 1986

DOI:10.1109/TNSRE.2021.3110665      [本文引用: 2]

LI Y, CHEN J, LI F, et al. Gmss: graph-based multi-task self-supervised learning for EEG emotion recognition [J]. IEEE Transactions on Affective Computing , 2022, 14(3): 2512-2525.

[本文引用: 2]

KUMAR V, REDDY L, SHARMA S K, et al. mulEEG: a multi-view representation learning on EEG signals [C]// Medical Image Computing and Computer Assisted Intervention. Singapore: Springer, 2022: 398-407.

[本文引用: 2]

MIKKELSEN K B, KIDMOSE P, HANSEN L K

On the key hole hypothesis: high mutual information between ear and scalp EEG

[J]. Frontiers in Human Neuroscience, 2017, 11 (341): 115

[本文引用: 1]

ANANDAKUMAR M, PRADEEPKUMAR J, KAPPEL S L, et al. A knowledge distillation framework for enhancing ear-EEG based sleep staging with scalp-EEG data [EB/OL]. (2022-10-27) [2023-10-01]. https://arxiv.org/pdf/2211.02638.

[本文引用: 2]

ZHANG X, ZHAO Z, TSILIGKARIDIS T, et al. Self-supervised contrastive pre-training for time series via time-frequency consistency [EB/OL]. (2022-10-15)[2023-10-01]. https://arxiv.org/pdf/2206.08496.

[本文引用: 2]

/

〈 〉