<img src="https://www.zjujournals.com/eng/images/1008-973X/images/logo.png" class="img-responsive">

图 1 EEG数据的采集和处理流程

Fig.1 EEG data collection and processing flow

通过传感器采集到的多通道EEG信号可以表示为

(1) $ {\boldsymbol{S}}_T^C = \left[ {\begin{array}{*{20}{c}} {{{s}}_1^1}&{{{s}}_2^1}& \cdots &{{{s}}_{P} ^1} \\ {{{s}}_1^2}&{{{s}}_2^2}& \cdots &{{{s}}_{P} ^2} \\ \vdots & \vdots & {} & \vdots \\ {{{s}}_1^C}&{{{s}}_2^{C} }& \cdots &{{{s}}_P^C} \end{array}} \right]. $

式中： $ {\boldsymbol{S}}_T^C $为将采集到的脑电信号按照通道并列排放时的二维矩阵，T为总采样时间，C为通道数；P为采样点数.

由图1电极分布图可以看出，大多数电极与周围多个电极相邻，而在二维排列方式中每个通道只和2个电极相邻，通道位置调换，信号中的空间关系也发生变化. 与将脑电信号按照电极的3D位置映射为2D网格图像不同，本研究提出了一种新的排列方式，将多个通道的脑电信号串联放置，连接成一维信号. 这种排列方式无须考虑各个电极与其他电极相邻关系对分类的影响.

信号 $ {\boldsymbol{S}}_T^C $中包含从实验开始到结束采集的连续时间内的多通道脑电信号，其中既有运动想象状态下的脑电信号，也包含休息状态的脑电信号，这是分类过程中的冗余信息. 在对信号分类前须利用固定长度的时间窗分割出与运动想象有关的信号片段，剔除无关信号序列. 当信号按照通道并列放置时，同时提取同一时间窗口内多个通道的信号，将包含多个通道的片段作为一个样本，每个运动想象事件片段可以表示为

(2) $ {\boldsymbol{S}}_t^C = \left[ {\begin{array}{*{20}{c}} {s_{\rm{1}}^{\rm{1}}}&{s_{\rm{2}}^{\rm{1}}}& \cdots &{s_{P'}^{\rm{1}}} \\ {s_{\rm{1}}^{\rm{2}}}&{s_{\rm{2}}^{\rm{2}}}& \cdots &{s_{P'}^{\rm{2}}} \\ \vdots & \vdots & {} & \vdots \\ {s_{\rm{1}}^C}&{s_{\rm{2}}^C}& \cdots &{s_{P'}^C} \end{array}} \right]. $

式中： $ {\boldsymbol{S}}_{{t}}^{{C}} $为二维形式的一个样本，t为时间窗口的时间长度；P'为t时间内的采样点数.

总共获得了N个运动想象事件片段，每个片段可以表示为（C，P'），其中，N为实验次数，按照上述方法最终获得的样本数量为N. 每个样本是随时间变化的多通道序列信号，并且所有样本中通道之间的关系是固定的，通道位置发生改变，样本中隐藏的信息就会有所改变，难以确定哪种排列方式最有利于分类. 在将脑电信号串联排列后每个通道可以提取出N个运动想象片段，将来自C个通道的所有事件片段合并在一起后，共获得C×N个运动想象样本. 每个样本为如下所示的时间序列：

(3) $ {\boldsymbol{s}}_t^i = {\rm{[}} {{s_{\rm{1}}}},\;\;{s_{\rm{2}}^{}},\;\; \cdots ,\;\;{s_{P'}^{}} {\rm{]}}{\rm{.}} $

式中： $ {\boldsymbol{s}}_{{t}}^{{i}} $为通道i（i=1，2 $,\cdots, $ C）中的一个运动想象事件样本，每个样本包含P'个采样点.

串联排列方式实现多通道数据到单通道样本的转化，所得样本数量是二维排列形式的C倍. 该方法不仅可以显著增加样本数量，而且还有助于神经网络从打乱后的数据中学习到与运动想象有关的时-频特征，无须考虑电极放置位置对分类的影响.

1.2. 卷积神经网络模型

在足够的数据条件下，根据输入样本的特点选择合适的神经网络模型进行训练和学习也是分类中的关键工作. 本研究选择利用卷积神经网络对构造的EEG数据集进行分类. CNN是经典的前馈神经网络，在计算机视觉中得到广泛使用，并且取得了优异的表现^[26]. CNN具有学习输入数据表示的能力，因此它被用于学习信号中的时频变化. 该网络结构主要包括卷积层、池化层以及全连接层.

1）卷积层. 卷积层是由卷积核对输入信号进行卷积操作组成，通过控制卷积核的移动步长完成对整个输入信号的卷积操作，卷积的输出称为特征图. 其中涉及到的参数为卷积核尺寸、滑动步长以及填充的形式. 本研究的输入数据为一维的时间序列信号，为了使输入数据更适合之后提出的CNN模型，本研究没有使用在图像识别中表现优异的二维卷积，而是选择更适合一维时间序列信号的一维卷积. 一维卷积运算能够提取特征向量相邻元素之间的重要局部特征. 一维卷积操作如下：

(4) $ {{{f}}_{{k}}} = \sum\limits_{{{n}} = 0}^{{{M}} - 1} {{x_{{n}}}} {h_{{{k - n}}}}_{}. $

式中：x为信号，x_n为向量的第n个元素；h为卷积核；M为信号的采样点；f为特征.

选择卷积核的滑动步长为1，填充方式设置为“same”，因此输出特征的尺寸为

(5) $ {{O}} = {{{L}}}/{{{S}}}. $

式中：O为卷积输出特征的尺寸，L为输入尺寸，S为滑动步长. 经过卷积层，输入特征的尺寸不变.

利用卷积核对输入层进行滑动点乘运算完成卷积操作，可以获得浅层输出表示. 其中长卷积核适合学习长时间和低频的多样性表示，而短卷积核适合提取短时间和高频表示^[27].

2) 池化层. 池化层具有下采样的功能，因此也可以被称为下采样层. 在每个卷积层之后，加入带有内核的池化层可以降低特征矩阵的大小，减小网络训练过程中的参数计算量.

池化层的类型有最大池化和平均池化，即采用接受区域内的最大值或平均值. 卷积层主要提取轮廓和边缘之类的低级特征，而池化层主要提取高级特征. 其中平均池化也可以看作是对特征进行平均滤波，而最大池化能够突出利于分辨的信号特征. 两者各有特点，本研究经过实验发现两者对分类结果影响不大，最大池化的结果略优于平均池化，因此本研究选择的池化类型为最大池化.

3）全连接层. 在神经网络模型中，增加全连接层能够增强网络的非线性映射能力，并对网络规模进行限制^[28]. 将卷积层提取到的局部特征合并在一起形成全局特征，然后利用具有4个神经元的全连接层输出最终的多分类任务.

网络中主要使用了Relu和Softmax这2种类型的激活函数.

1）Relu. 通常在卷积操作结束后，须利用激活函数将输出映射为另外一种输入，提升网络的非线性. Relu激活函数的表达式为

(6) $ f(x) = \max\; (0,x). $

2）Softmax. 此函数计算k个输出类的概率分布. 因此，最后一层使用Softmax函数来预测输入EEG信号属于哪一个想象动作：

(7) $ {P_{{j}}} = {{{{\rm{e}}^{{{{x}}_{{j}}}}}}}\left/{{{\displaystyle \sum\nolimits_{k=1}^K {{{\rm{e}}^{{x_k}}}} }}}\right.. $

式中：P_j为输出第j类的概率，j=1 $,\cdots,$ K，K为输出节点的个数，即分类的类别数；x_j为第j个节点的输出值. 神经元输出0~1.0的数值，同时他们的和为1.0.

与其他机器学习模型相比，CNN的优点是可以不进行特征提取和选择工作. 因此，它特别适合使用原始数据进行端到端学习. CNN可以学习EEG信号的抽象表达，这是手动特征提取方法无法实现的. 但是，CNN模型中参数的确定是一项复杂的工作，如果参数不合适，最终的分类效果将不符合预期. 为了减少参数设置对分类结果的影响，本研究经过不断的实验调整后最终确定了卷积神经网络结构参数.

如表1所示为本研究采用的CNN网络结构的具体信息. 其中具体参数的设置是通过不断的尝试实验决定的.

表 1 CNN结构的详细信息

Tab.1 Details of CNN structure

层数	类型	输出特征尺寸	核尺寸
0	输入	750×1	−
1	卷积	750×32	9
2	池化	375×32	2
3	卷积	375×32	9
4	池化	187×32	2
5	卷积	187×32	9
6	池化	93×32	2
8	全连接	64	−
9	全连接层	4	−

如图2所示为输入样本长度为750的CNN结构的图形表示. 图中，蓝色斜条纹、黄色横条纹和红色圆圈部分分别表示卷积核、池化内核以及全连接层的神经元. 最终提出的CNN包括3层卷积、3层池化以及2层全连接层（一共8层）. 其中卷积和池化的移动步长都设置为1.

图 2

图 2 用于运动想象脑电信号分类的一维卷积神经网络模型

Fig.2 1D-CNN model for MI EEG data classification

本研究设计的样本输入长度为750个采样点（3 s时间窗口），利用32个大小为9的卷积核对输入层进行卷积生成第1层输出特征，然后将大小为2的池化应用于上一层的输出，特征图尺寸从750×32降低到375×32. 同样，利用大小为9的卷积核对第2层的特征图进行卷积生成第3层特征图，利用大小为2的池化将特征图尺寸降低到187×32. 再一次利用卷积核进行卷积以及用池化降低输出特征图尺寸，最终得到的特征图尺寸为93×32. 将所有的局部特征图连接一起得到尺寸为2976的特征向量，将连接起来的局部特征图连接在一起后输入到全连接层中获取全局特征模式. 最后利用只有4个神经元（分别代表左手、右手、双脚和舌头）的全连接层输出分类结果.

2. 实验与结果

为了验证算法的有效性，将本研究方法与多种运动想象脑电信号的四分类算法在公共数据集上进行对比. 并应用于实际采集的数据集上完成分类工作.

2.1. 公共数据集

2.1.1. 数据集描述

选择在BCI Competition IV 2a^[29]数据集（BCI IV 2a数据集）上将所提方法与前沿优秀算法进行对比. 该数据集在MI领域得到学者们的认可，并且已经在许多类似研究中使用. 该数据集使用国际10-20系统记录EEG信号，将25个电极放在头皮上采集脑电信号，其中包括3个用于状态判断但不参与算法训练和测试的EOG电极，将Fz设置为参考电极，采样率为250 Hz. 该数据集由9个健康受试者的运动想象EEG信号组成，共包含4种类型的运动：左手、右手、舌头和脚（分别对应类0、1、2、3）. 数据集共包括9个被试者2轮实验的数据，被试者在每轮实验中进行6组实验，每组实验进行48次运动想象，共进行288次想象试验. 其中单次运动想象实验范式如图3所示. 在试验开始时，出现了固定交叉在黑屏上，此外，还给出了简短的声音警告. 在2 s后，以箭头形式显示任务提示，出现在左、右、下或上（对应左手、右手、脚或舌头）并停留在屏幕上1.25 s，这促使受试者进行所需的运动成像任务. 数据集已经对采集的数据进行0.5~100.0 Hz之间的带通滤波器，以及50 Hz的陷波滤波消除工频干扰. 后续在此数据集上无须进行额外的数据预处理工作.

图 3

图 3 BCI Competition IV 2a数据集的实验范式

Fig.3 Paradigm of BCI Competition IV 2a

2.1.2. 模型训练

通过优化交叉熵损失函数来进行网络训练，训练迭代次数设为100. 使用Adam算法训练CNN网络，学习率为1×10⁻⁴，它可以代替经典的随机梯度下降（stochastic gradient descent, SGD）过程，以更有效地更新网络权重，并加速神经网络的收敛. 在第1个全连接层中设置0.5的丢失率来防止过拟合问题. 在训练过程中，每次输入神经网络的样本批量大小会影响网络的性能和收敛速度. 大批量可以加速收敛，但是达到与小批量相同精度所需的时间大大增加了. 为了保证这2个条件之间的平衡，经过在多个被试者数据集上多次的实验尝试后选择了28的批量大小，实验结果表明28的批量大小可以实现较好的分类精度.

2.1.3. 实验结果

1）输入形式对比. 首先基于公共数据集对比一维与二维2种输入形式的分类结果. 利用时间窗口滑动提取二维信号中运动想象事件片段增加数据量，窗口滑动步长为0.5 s，一维序列信号则无滑动. 鉴于本研究神经网络结构是针对一维输入设计的，二维输入使用相同结构的二维卷积神经网络，卷积核尺寸为9×9，训练迭代次数增加为200，其他参数两者保持一致. 如图4所示为在2种输入形式下，对被试者1数据集进行分类的准确率变化曲线. 图中，D为迭代轮次，A为准确率. 可以看出，当二维信号作为输入时，出现了过拟合现象，测试集在迭代50次之后准确率趋于平稳. 而在一维输入条件下训练集和测试集准确率一直处于上升趋势，在迭代次数为40时就已经收敛.

图 4

图 4 不同输入形式下CNN训练过程中的准确率曲线

Fig.4 Accuracy curve during CNN training under different input forms

2）与前沿算法对比. 将提出的算法对BCI IV 2a公共数据集中的9名被试者进行多分类实验，并与其他前沿算法进行比较. 如表2所示，将对比方法进行简单描述. 通过在测试集上获得的准确率和Kappa值来评估所提出方法的性能，并计算9个被试者数据集上分类结果的均方差来衡量算法克服个体差异性的能力. 本研究算法与对比算法在9个被试者数据集上的分类准确率结果如表3所示. 对比结果均来自于参考文献，本研究结果取5倍交叉验证的平均值. 可以看出，本研究算法在单个被试者数据集上的准确率以及全部被试者数据集上的平均准确率都是最高的，分类效果优于对比算法.

表 2 对比文献使用方法和模型的介绍

Tab.2 Introduction of methods and models used in comparative references

对比方法	输入设计	分类器	网络特点
DFFN^[30]	CSP	CNN	考虑相邻层和跨层特征之间的相关性，减少卷积运算过程中的信息丢失
HC-CNN^[31]	相同标签样本进行分割后交换重组，然后按照频率带划分，同一频率带的不同片段进行交换重组	CNN	对不同频率带的脑电信号设计不同的卷积核尺度，利用一维卷积核在时间和空间维度进行卷积操作
PSO-CNN^[32]	滤波后的信号输入到CSP滤波器，同时计算不同频率带的PSD，引入粒子群优化算法进行特征优化	CNN	只有1层卷积层，紧跟着2层全连接层
CNN-LSTM^[33]	FBCSP	CNN+LSTM	混合网络提取多模态特征
DWT-CNN^[34]	滑动窗口进行数据增强，计算最优频率带的PSD	CNN	结构与VGGNet相似，3 × 3卷积核分解为4 × 1或者2 × 1
SS-MEMDBF^[35]	多元经验模式分解(MEMD)	黎曼几何	−
RBM-SVM^[36]	分别提取时-频-空域特征，利用参数t分布随机邻居嵌入进行参数降维	SVM	−
ETRCNN^[37]	脑电图地形表征能量	CNN	网络能够从结合了时频特征和脑功能连通性的输入特征中学习到多模态信息
C2CM^[38]	FBCSP	CNN	分别在时间和空间维度进行卷积，但须针对不同的对象更改参数
3D-CNN^[39]	根据电极的3D分布将脑电信号映射为2D图像表示	CNN	构造3路不同卷积核尺寸的卷积网络，最后将3路网络获取的特征融合
FBCSP^[40]	FBCSP	SVM	−

表 3 所提方法与对比文献的分类准确率对比

Tab.3 Comparison of classification accuracy between proposed method and comparative references

被试者	A/%
被试者	本研究方法	DFFN^[30]	HC-CNN^[31]	PSO-CNN^[32]	CNN-LSTM^[33]	SS-MEMDBF^[35]	RBM-SVM^[36]	ETRCNN^[37]
1	99.14	85.40	90.07	93.30	98.82	91.49	86.61	85.88
2	99.49	69.30	80.28	84.59	98.64	60.56	61.26	75.41
3	99.68	90.29	97.08	91.68	96.92	94.16	87.27	91.32
4	99.01	71.07	89.66	84.55	96.50	76.72	75.20	83.45
5	99.61	65.41	97.04	86.54	92.75	58.52	64.55	72.11
6	98.86	69.45	87.04	76.92	91.84	68.52	65.91	91.72
7	98.58	88.18	92.14	94.03	95.07	78.67	83.78	85.71
8	99.82	86.46	98.51	93.20	95.25	97.01	89.91	91.32
9	98.98	93.54	92.31	92.24	99.23	93.85	92.08	93.23
平均值	99.24	79.90	91.57	85.56	96.13	79.94	78.51	85.57
均方差	0.3998	10.25	5.41	5.46	2.486	14.13	11.29	7.08

除了准确率，还计算了所提算法分类结果的Kappa值，并与其他算法进行对比. Kappa值主要用于一致性测试，可以用于测量分类准确性及消除随机分类的影响^[41]. Kappa值为−1.0~1.0，数值越大表明算法分类性能越好. Kappa值表达式如下：

(8) $ {\rm{Kappa}} = \frac{{{{{P}}_{\rm{0}}} - {{{P}}_{\rm{e}}}}}{{1 - {{{P}}_{\rm{e}}}}}. $

式中：P₀为总样本的分类准确度，P_e为每个类别的实际数目和预测数目的和除以样本总数平方得到的结果.

将本研究方法分类得到的Kappa值与最新算法进行比较，如表4所示为不同算法在9名被试者数据集上分类的Kappa值. 可以看出，本研究算法分类得到的Kappa值高于对比算法，说明所提出的方法具有较好的分类能力，这与从分类准确率结果得到的结论一致.

表 4 所提方法与对比文献分类Kappa值对比

Tab.4 Comparison of classification Kappa value between proposed method and comparative references

被试者	Kappa值
被试者	所提方法	CNN-LSTM^[33]	RBM-SVM^[36]	ETRCNN^[37]	C2CM^[38]	3D-CNN^[39]	FBCSP^[40]
1	0.9885	0.8500	0.8214	0.8420	0.8750	0.6990	0.6800
2	0.9933	0.5400	0.4838	0.6630	0.6528	0.4590	0.4200
3	0.9957	0.8700	0.7696	0.8770	0.9028	0.7880	0.7500
4	0.9863	0.7800	0.6664	0.7610	0.6667	0.5940	0.4800
5	0.9948	0.7700	0.5024	0.5710	0.6250	0.6470	0.4000
6	0.9848	0.6600	0.5301	0.8910	0.4549	0.5380	0.2700
7	0.9810	0.9500	0.7837	0.8090	0.8959	0.6530	0.7700
8	0.9976	0.8300	0.8655	0.8900	0.8333	0.7020	0.7600
9	0.9864	0.9000	0.8942	0.9070	0.7951	0.7130	0.6100
平均值	0.9898	0.7944	0.7019	0.8012	0.7446	0.6437	0.5711
均方差	0.0053	0.1197	0.1518	0.1097	0.1446	0.0942	0.1737

为了进一步探索所提算法对每个类别进行分类的能力，本研究对其他分类指标进行计算，包括分类的混淆矩阵、分类精度、召回率、F-score和接受者操作特性曲线（receiver operating characteristic curve, ROC）. 被试者分类结果的混淆矩阵如图5所示. 图中，y为预测类别，Y为真实类别. 混淆矩阵显示不同MI任务的分类结果，主对角线和非对角线分别表示每个类别的正确分类和错分到其他类别的概率. 4种类别的精度（precision, PR），召回率（recall, RE）和F-score如表5所示. 精度、召回率、F-score表达式如下：

图 5

图 5 被试者1和7分类的混淆矩阵结果

Fig.5 Classification confusion matrix results of subjects 1 and 7

表 5 被试者2和8分类的精度、召回率和F-score结果

Tab.5 Classification precision, recall and F-score results of subjects 2 and 8

想象类别	被试者2			被试者8
想象类别	PR	RE	F-score	PR	RE	F-score
0	1.00	1.00	1.00	1.00	1.00	1.00
1	1.00	1.00	1.00	1.00	1.00	1.00
2	1.00	0.99	1.00	1.00	1.00	1.00
3	1.00	1.00	1.00	1.00	1.00	1.00

(9) $ {\rm{PR}} = \frac{{{\rm{TP}}}}{{{\rm{TP + FP}}}}, $

(10) $ {\rm{RE = }}\frac{{{\rm{TP}}}}{{{\rm{TP + FN}}}}, $

(11) $ {\rm{F }}\text{-} {\rm{score}} = \frac{{{\rm{2PR}} \times {\rm{RE}}}}{{{\rm{PR + RE}}}}{\rm{.}} $

式中：TP为阳性样本正确分类为阳性的数量，TN为阴性样本正确分类为阴性的数量，FP为阴性样本被归类为阳性样本的数量，FN为阳性样本被分类为阴性样本的数量.

ROC曲线的横坐标为假阳性率，纵坐标为真阳性率. 曲线下方的面积称为AUC（area under ROC curve），表示阳性样本置信度大于阴性样本置信度的概率. AUC是另外一种度量分类模型好坏的指标，可以用于衡量模型的泛化性能. AUC越大，预测的性能越好. 如表6所示为算法识别不同想象动作时的AUC. 本研究分别计算被试者1和7分类结果的混淆矩阵，被试者2和8的精确度、召回率和F-score，被试者3和9的AUC曲线，不同指标条件下的被试者都是随机选择的.

表 6 被试者3和9分类的AUC结果

Tab.6 Classification AUC results of subjects 3 and 9

运动想象类别	AUC
运动想象类别	被试者9	被试者3
0	1.00	0.99
1	1.00	1.00
2	1.00	1.00
3	1.00	1.00

2.2. 实际采集数据集

2.2.1. 实验描述

设计了实际的运动想象实验，并采集6名志愿者在4种运动想象状态下的脑电信号，其中男生4名、女生2名. 使用Neuracle公司64导的NeusenW系列脑电设备完成信号的采集，采样频率选择500 Hz. 本研究采集了Fz、F1、F2、F3、F4、FCz、FC1、FC2、FC3、FC4、Cz、C1、C2、C3、C4、CP1、CP2、CP3、CP4、Pz、P3、P4共22个电极通道的数据. 每个被试者根据要求佩戴注入脑电膏的脑电帽坐在电脑屏幕前，调整坐姿和状态后根据屏幕上出现的动作提示完成300次动作想象任务，主要包括左手握拳、右手握拳、双脚抓地和吐舌头的运动想象. 在实际实验中采用的运动想象任务的实验范式如图6所示. 在被试者准备好后，屏幕上会随机出现运动想象任务提示，并且在前1 s进行语音提示，帮助被试者集中注意力，运动想象状态持续到5 s结束. 为了减少被试者视觉疲劳对实验的影响，在单次任务结束后给被试者5 s的休息时间. 实验现场图如图7所示，被试者在进行运动想象任务时尽量避免头部、眼睛以及身体的移动.

图 6

图 6 实际运动想象实验范式

Fig.6 Paradigm of actual MI experiment

图 7

图 7 运动想象实验现场图

Fig.7 Scene figure of MI experiment

2.2.2. 数据处理

由于实际采集实验不是在完全屏蔽的环境进行的，受试者所处的环境复杂，容易受到多种外界干扰. 因此，在对数据集进行分类之前，须对采集的数据进行8~40 Hz的带通滤波保留与运动想象有关的频率带. 分别设计1、2、3 s的时间窗来提取脑电信号中的运动想象事件，对比不同时间长度（输入长度）的信号对分类结果的影响. 另外，为了保持实际数据与公共数据集数据在相同时间长度内采用的采样点保持一致，对3 s的数据下采样到250 Hz. 利用本研究算法对这4种不同长度的脑电信号进行分类实验.

2.2.3. 分类结果

本研究算法在实际采集数据集上的分类结果如图8和表7所示. 表中， $\overline A $为平均准确度，MSE为均方差. 可以看出，当输入信号长度为1 s时分类准确率最差，另外3种输入长度下分类结果相近.

图 8

图 8 不同被试者在不同输入长度下分类的准确率

Fig.8 Classification accuracy of different subjects under different input lengths

表 7 实际采集数据集的分类准确率统计表

Tab.7 Classification accuracy statistics table of actual collected dataset

时间长度	$\overline {A}$/%	MSE
1 s	83.29	1.7882
2 s	88.90	0.8894
3 s（无下采样）	89.87	1.6286
3 s（下采样）	89.10	1.6587

3. 讨论与分析

本研究的最终目的是利用深度学习来完成MI信号的端到端学习，并利用神经网络可以从原始数据中学习复杂的非线性关系的特性来自动完成高精度的四分类工作. 脑电信号作为复杂的非线性信号，具有不稳定的特性，分析较困难. 深度学习是数据驱动的方法，由于各种原因MI信号数据量受到限制，导致深度学习在MI信号分类中的表现没有在图像处理领域表现优异. 本研究根据多通道脑电数据采集的特点，探索了一种新的信号排列形式构造数据集作为网络的输入. 还构建了1D-CNN网络模型，使其适合于新设计的输入样本形式，该网络模型能够高效地自动完成特征提取和分类工作. 在分类过程中无须对采集到的脑电信号进行复杂的预处理步骤，在公共数据集上未进行额外的预处理，实际采集的数据只做了带通滤波来保留运动想象相关的频率带. 所提方法能够从复杂的脑电信号中学习到不同运动想象状态. 与其他先进算法相比，所提方法在分类准确率和个体差异性结果上有所提升.

在本研究提出的神经网络基础上将提出的数据排列方式与二维排列方式在公共数据集的被试者1数据集上进行对比. 根据图4准确率变化曲线可以看出，当采用二维原始信号作为输入时，发生过拟合现象，测试集准确率最高约为50%. 在一维输入条件下，测试集和训练集准确率上升曲线保持一致，最终都稳定在接近100%处. 结果证明本研究提出的神经网络具备从单通道原始序列信号中学习到时-频特征的能力，而且将多通道脑电信号串联放置减少了数据处理工作，省去了多余的预处理工作以及复杂的特征提取步骤.

将本研究方法与其他最新方法在公共数据集进行了比较，如表3、4所示为不同算法^[30-40]对BCI IV 2a数据集中9个被试者运动想象数据分类的准确率和Kappa值结果. 根据表中准确率平均值可知，整体上本研究方法分类得到的准确率和Kappa值优于对比算法，而且在9个被试者数据集上分别获得了最高结果. 值得一提的是，各被试者之间的分类表现没有明显差异. 说明本研究方法克服了个体脑电信号差异性的影响，能够自动学习到不同被试者4种想象状态下的独特的脑电信号活动模式. 本研究方法在所有对比算法中获得了最高的分类平均准确度和平均Kappa值，分别为99.24%和0.9898. 并获得最低的均方差，分别为0.3998和0.0053. 该结果表明本研究方法具有较好的鲁棒性和更好的分类性能. 由表3、4中均方差结果可以看出，本研究算法能够在模型无须进行参数调整的条件下，克服个体差异实现无差别分类，这有助于BCI应用的进展. 传统机器学习方法在用于运动想象脑电信号分类任务时，需要繁琐的特征提取和选择工作. 利用单一方法提取到的特征不足以表征运动想象信号模式，而多种方法结合提取多模态特征会造成获得的特征维度大、特征选择工作困难，这种方法依赖专业经验而且灵活度低，造成分类准确率低以及多个被试者分类结果差异明显. 对比文献中深度学习方法都选择利用CNN网络进行深层次的特征提取以及分类工作. 如DFFN中加入密集连接层有利于特征的融合，C2CM将二维卷积分解为在时间和空间维度上的分布一维卷积^[38]，CNN-LSTM则选择用混合网络分别提取空间信息以及时间相关信息^[33]. 这些算法都获取了比传统机器学习算法更好的结果，但是仍然使用了人工设计的特征作为网络输入，神经网络从特征输入中再次学习到的信息有限. 3D-CNN提出了一种新的数据表示形式，将采集到的多通道脑电信号按照电极3D分布映射为图像，并设计多分支3D-CNN网络框架以充分利用脑电信号各维度特征. 但深度学习方法性能受数据驱动，需要充分的训练样本进行学习. 滑动窗口是进行数据增强的有效方法，相邻窗口之间大部分片段重叠，最终得到的样本信息丰富度较差. 与参考文献^[30-40]相比，本研究利用深度学习基于原始信号进行端到端学习，并提出将多通道脑电信号串联放置形成一维序列信号的方法，该方法能够明显提升样本数量. 而且样本中富含与运动想象活动有关的信息，来自相同通道的样本来自不同时间，而来自相同时间段的样本来自不同通道. 本研究设计的1D-CNN网络框架更加适合接收原始一维序列信号作为输入，通过多次迭代训练学习脑电信号中不同运动想象模式. 与对比算法选择将二维卷积拆分为2个方向上的一维卷积不同，本研究设计的1D-CNN网络始终只在时间方向进行卷积操作. 多层网络结构能够随着网络的加深提取到更加抽象的特征. 该网络能够灵活地从不同被试者的原始信号中提取到与不同运动想象模式相关的信息，整体分类准确率以及被试者间方差都优于对比算法中的模型，而且1D卷积使得模型的计算量也较低.

考虑到准确率和Kappa值这2项指标体现的是算法整体分类的性能，为了进一步揭示所提出的算法具有从样本中充分学习不同种类运动想象脑电信号模式的能力，还计算了分类结果的混淆矩阵、分类精度、召回率、F-score和ROC曲线面积指标来验证算法对每个类别的分类情况. 结果分别如图5、表5、6所示，每个指标下不同类别的表现都较均衡，差异较接近在可接受范围内，这表明该算法可以学习到不同类别想象动作时脑电活动的独特特征.

最后，设计了实际运动想象脑电信号采集实验，采集了多名被试者在4种不同运动想象状态下的脑电信号. 实际的实验环境相比公共数据集采集实验的环境复杂，采集到的信号更容易受到污染. 而且参与采集实验的被试者都是第1次进行运动想象实验，只进行了短时间的训练. 本研究在验证算法分类实际采集数据集性能的同时，还对比了算法在不同样本长度条件下的分类效果. 根据图8和表7的分类结果可以看出，算法对1 s长度的信号分类效果最差，一方面原因是被试者进行想象的时间较短，信号中包含的运动想象信息较少不利于识别，另一方面被试者刚进入运动想象状态，此时激活的脑电信号模式不明显. 2 s时间长度相比1 s长度分类精度有较明显的提升，在此期间被试者已经集中注意力进入想象状态，激发的脑电信号活动较明显易于识别. 但是随着进一步增加输入长度，平均分类准确率提升幅度减小，为1%. 随着想象时间的增加，被试者须长时间盯着电脑屏幕进行想象，造成大脑以及眼睛产生疲劳，注意力有所下降，执行运动想象任务的能力也有所下降，以至于3 s时间长度的信号相比2 s时间并无多余的有利于分类特征的信息. 另外还对比了将3 s时间内信号进行下采样和无下采样处理时的分类结果，相同时间不同输入长度条件下的分类结果均大于89%，说明所提算法能够适应不同长度的输入信号. 当输入长度为2 s时，算法在6个被试者数据集上的表现最稳定，分类的平均精接近90%，均方差为0.8894. 自制数据集上的分类结果表明所提算法具备出色的识别多类运动想象脑电信号的能力，这为其在脑机接口中的应用打下了基础.

4. 结　语

基于深度学习提出能够进一步提高MI信号分类准确率的方法. 一方面，基于多通道脑电信号，采取新的处理方法将网络的输入转化为单通道序列信号. 实现了数据内容无增加改变但用于训练网络的样本数量明显提升，这种串联排列方式无须考虑通道放置位置对信号的影响，简单有效. 另一方面，构造了1D-CNN网络模型，该网络适用于一维序列信号且能够从生成的样本数据中学习到多模式态信息. 所提出的方法能够基于原始的MI数据实现端到端的自动分类，不仅具有分类精度高的优点，而且能够有效避免不同被试者脑电信号之间的差异性. 实验结果表明，该方法在公共数据集上的性能优于比较算法，并且适用于实际采集的运动想象数据集. 本研究所提方法能适应不同的输入长度以及较少的预处理步骤，更适合实时应用，并为基于单通道的MI信号分类提供改进思路，促进了运动想象脑机接口的发展.

考虑到该算法存在的不足，未来工作将进一步研究脑电信号中存在的空间信息，并减少采集过程中使用的通道数，简化脑电信号采集过程，将其应用于在线运动想象系统.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

GRAIMANN B, ALLISON B, PFURTSCHELLER G. Brain-computer interface: a gentle introduction [M]. The frontiers collection. Berlin, Heidelberg: Springer, 2009: 1-27.

[2]

ADAMS M, BEN-SALEM S, ISLAM Z, et al. Towards an SSVEP-BCI controlled smart home [C]// 2019 IEEE International Conference on Systems Man and Cybernetics (SMC). Bari: IEEE, 2019: 2737-2742.

[3]

CHEN L, WANG Z P, HE F, et al. An online hybrid brain-computer interface combining multiple physiological signals for webpage browse [C]// 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan: IEEE, 2015: 1152-1155.

[4]

WONG C M, TANG Q, WAN F, et al. A multi-channel SSVEP-based BCI for computer games with analogue control [C]// Proceedings of the 2015 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Application (CIVEMSA). Shenzhen: IEEE, 2015: 1-6.

DOI:10.1016/S1388-2457(99)00141-8 [本文引用: 1]

[5]

PFURTSCHELLER G, LOPES DA SILVA F H

Event-related EEG/MEG synchronization and desynchronization: basic principles

[J]. Clinical Neurophysiology, 1999, 110 (11): 1842- 1857

[6]

巫嘉陵, 高忠科

脑机接口技术及其在神经科学中的应用

[J]. 中国现代神经疾病杂志, 2021, 21 (1): 3- 8

DOI:10.3969/j.issn.1672-6731.2021.01.002 [本文引用: 1]

WU Jia-ling, GAO Zhong-ke

Brain-computer interface technology and its applications in neuroscience

[J]. Chinese Journal of Modern Neurological Diseases, 2021, 21 (1): 3- 8

DOI:10.3969/j.issn.1672-6731.2021.01.002 [本文引用: 1]

[7]

BAIG M Z, ASLAML N, SHUM H P H

Filtering techniques for channel selection in motor imagery EEG applications: a survey

[J]. Artificial Intelligence Review, 2020, 53 (3): 1207- 1232

[8]

霍首君, 郝琰, 石慧宇, 等

基于深度卷积网络的运动想象脑电信号模式识别

[J]. 计算机应用, 2020, 41 (4): 1042- 1048

HUO Shou-jun, HAO Yan, SHI Hui-yu, et al

Pattern recognition of motor imagery EEG based on deep convolutional networks

[J]. Computer Applications, 2020, 41 (4): 1042- 1048

[9]

CHATTERJEE R, BANDYOPADHYAY T, SANYAL D K, et al. Comparative analysis of feature extraction techniques in motor imagery EEG signal classification [C]// Proceedings of First International Conference on Smart System, Innovations and Computing. Smart Innovation, Systems and Technologies. Jaipur: Springer, 2018, 79: 73-83.

[10]

WANG Y J, GAO S K, GAO X R, et al. Common spatial pattern method for channel selection in motor imagery based brain-computer interface [C]// International Conference of the Engineering in Medicine and Biology Society. Shanghai: IEEE, 2005: 5392-5395.

[11]

ANG K K, CHINY C, ZHANG H H, et al. Filter bank common spatial pattern (FBCSP) in brain-computer interface [C]// Proceedings of the IEEE International Joint Conference on Neural Networks. Hong Kong: IEEE, 2008: 2391–2398.

DOI:10.3785/j.issn.1008-973X.2012.02.025 [本文引用: 1]

[12]

施锦河, 沈继忠, 王攀

四类运动想象脑电信号特征提取与分类算法

[J]. 浙江大学学报:工学版, 2012, 46 (2): 338- 344

SHI Jin-he, SHEN Ji-zhong, WANG Pan

Feature extraction and classification of four-class motor imagery EEG data

[J]. Journal of Zhejiang University: Engineering Science, 2012, 46 (2): 338- 344

DOI:10.3785/j.issn.1008-973X.2012.02.025 [本文引用: 1]

[13]

TYAGI A, NEHRA V. Time frequency analysis of non-stationary motor imagery EEG signal [C]// 2017 International Conference on Computing and Communication Technologies for Smart Nation (IC3TSN). Gurgaon: IEEE, 2017: 44-50.

[14]

LIU J, CHENG Y, ZHANG W. Deep learning EEG response representation for brain computer interface [C]// 34th Chinese Control Conference. Hangzhou: IEEE, 2015: 3518-3523.

[15]

KUMAR S, SHARMA A, MAMUN K, et al. A deep learning approach for motor imagery EEG signal classification [C]// 2016 3rd Asia-Pacific World Congress on Computer Science and Engineering (APWC on CSE). Nadi: IEEE, 2016: 34-39.

[16]

LEE H K, CHOI Y. A convolutional neural networks scheme for classification of motor imagery EEG based on wavelet time-frequency image [C]// 2018 International Conference on Information Networking (ICOIN). Chiang Mai: IEEE, 2018: 906-909.

[17]

ZHU X Y, LI P Y, LI C B, et al

Separated channel convolutional neural network to realize the training free motor imagery BCI systems

[J]. Biomedical Signal Processing and Control, 2019, 49: 396- 403

DOI:10.1016/j.bspc.2018.12.027 [本文引用: 1]

[18]

YANG T, PHUA K S, YU J H, et al. Image-based motor imagery EEG classification using convolutional neural network [C]// 2019 IEEE EMBS International Conference on Biomedical and Health Informatics (BHI). Chicago: IEEE, 2019: 1-4.

[19]

LI Y, ZHANG X R, LEI M Y, et al

A channel-projection mixed-scale convolutional neural network for motor imagery EEG decoding

[J]. IEEE Transaction on Neural Systems and Rehabilitation Engineering, 2019, 27 (6): 1170- 1180

DOI:10.1109/TNSRE.2019.2915621 [本文引用: 1]

[20]

WU H, NIU Y, LI F, et al

A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification

[J]. Frontiers in Neuroscience, 2019, 26 (13): 1275

[21]

ROY S, MCCREADIE K, PRASAD G. Can a single model deep learning approach enhance classification accuracy of an EEG-based brain-computer interface? [C]// 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC). Bari: IEEE, 2019: 1317-1321.

[22]

TANG X B, ZHAO J C, FU W L, et al. A novel classification algorithm for MI-EEG based on deep learning [C]// 2019 IEEE 8th Joint International Information Technology and Artificial Intelligence Conference (ITAIC). Chongqing: IEEE, 2019: 606-611.

[23]

SHEN Y R, LU H T, JIA J. Classification of motor imagery EEG signal with deep learning models [C]// International Conference on Intelligent Science and Big Data Engineering. Dalian: Springer, 2017: 181-190.

DOI:10.1016/j.jneumeth.2020.108885 [本文引用: 1]

[24]

LASHGARI E, LIANG D, MAOZ U

Data augmentation for deep-learning-based electroencephalography

[J]. Journal of Neuroscience Methods, 2020, 346: 108885

[25]

BASHIVAN P, RISH I, YEASIN M, et al. Learning representations from EEG with deep recurrent-convolutional neural networks [EB/OL]. (2015-11-19) [2020-12-28]. https://arxiv.org/abs/1511.06448v3.

[26]

CHANG L, DENG X M, ZHOU M Q, et al

Convolutional neural networks in image understanding

[J]. Acta Automatica Sinica, 2016, 42 (9): 1300- 1312

[27]

DING Y, ROBINSON N, ZENG Q H, et al. TSception: a deep learning framework for emotion detection using EEG [EB/OL]. (2020-04-02) [2020-12-28]. https://arxiv.org/abs/2004.02965.

[28]

王卫星, 孙守迁, 李超, 等

基于卷积神经网络的脑电信号上肢运动意图识别

[J]. 浙江大学学报:工学版, 2017, 51 (7): 1381- 1389

WANG Wei-xing, SUN Shou-qian, LI Chao, et al

Recognition of upper limb motion intention of EEG signal based on convolutional neural network

[J]. Journal of Zhejiang University: Engineering Science, 2017, 51 (7): 1381- 1389

[29]

TANGERMANN M, MÜLLER K R, AERTSEN A, et al

Review of the BCI competition IV

[J]. Frontiers Neuroscience, 2012, 6: 55