2. 贵州大学 机械工程学院, 贵州 贵阳 550025
2. College of Mechanical Engineering, Guizhou University, Guiyang 550025, China
脑机交互中对运动意图的预测是让设备能够预判人的行为动作, 更自然地匹配执行动作.脑电(electroencephalogram, EEG)信号已被成功引入人机交互系统, 实际运动前的运动想象会产生大脑活动, 这可以用于意图预测[1].与非生物信号相比, 它不但能够反映使用者的运动过程, 还能够提前预知用户的动作种类, 很好地提前解读用户意图[2].本文主要通过EEG信号预测手部动作分类, 达到感知运动意图的目的. EEG信号的脑节律是由多个频率分量混合组成的时间序列.解码不同的EEG节律可以区分特定行为和认知处理功能相关联的神经元活动模式. Pfurtscheller等[3]认为重点关注与运动行为密切相关的频带：α/μ频带(8~13 Hz), β频带(13~30 Hz).大脑对信息的加工将导致脑电波α/μ节律和β节律频谱振荡的幅度减少或阻滞, 这一电生理现象称为事件相关去同步(event-related desynchronization, ERD).与之相反, 称为事件相关同步(event-related synchronization, ERS).使用EEG信号的ERD完成对运动意图的解码已经实现在一些功能性运动中, 比如到达任务和轨迹预测任务[4-5].但以往对运动EEG信号的研究大多数是用来区分左、右手的运动意图, 而针对单手运动意图的研究较少.相比于区分左、右手动作, 检测同侧肢体不同运动, 特别是同一关节不同运动的主要困难在于它们激活大致相同区域的运动皮层[6].Vuckovic等[7-8]已经成功采用EEG信号区别两种不同的腕部运动, 表明在α/μ和β频带中携带与单手动作相关的可辨信息.目前为止, 由于识别精度不高, 基本是对二元任务进行分类, 很少有研究对手的多个关节运动进行多元分类, 比如手肘和手腕多个自由度运动.
以往对EEG信号的研究大多是基于传统的生物信号模式识别模型, 这需要从预处理后的信号中手动地提取特征.由于人脑思维模式和大脑信号非常复杂, 很多采集的信号没有找到明确的意义, 手动提取特征会造成信息的损失.随着深度学习的兴起, 卷积神经网络(convolutional neural network, CNN)受到研究者的广泛关注, 并在图像、语音、视频等诸多领域都取得了一定的应用成果[9].对于生物电信号的分类, 目前很少有人使用CNN去替代传统分类方法.CNN的权值共享网络结构使之更类似于生物神经网络, 降低了网络模型的复杂度, 减少了权值的数量.对网络进行设计, 能够避免人工设计的特征抽取器, 依靠反向传播学习算法将不同层变为合适的特征抽取器.CNN是比较适合于像EEG一样随着时间变化很大的信号.
使用EEG信号进行上肢运动意图识别, 双手和单手关节的运动分类是本文考察的对象.尽管从EEG数据对运动意图预测的鲁棒性和准确性是一个挑战, 但适当的特征提取方法和分类器可以更好地解码EEG数据的信息.特别地, 非常需要一种能够可靠并自动地从EEG信号中提取和选择最佳辨识特征的方法.在本研究中, CNN被引入基于EEG信号的动作意图识别中, 并和目前广泛使用的传统分类方法进行对比.对左、右手2分类动作和单手3分类动作, 比较了两种模式识别方法, 包括深度学习的CNN和传统EEG信号处理中的BP神经网络(back propagation neural network, BPNN).结果显示, CNN在两个实验中都提高了动作识别的可靠性和预测的准确率.该研究的目的是通过讨论上肢运动意图识别, 以更好地适应脑机交互控制, 进一步加深对中枢神经信号与手部动作关系的理解.
1 实验原型使用荷兰BioSemi公司的ActiveTwo64通道脑电系统进行实验数据的采集.按照国际10-20标准电极安放法定义的位置, 采集了FC5、FC3、FC1、FCz、FC2、FC4、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP3、CP1、CPz、CP2、CP4和CP6, 一共21个通道.采样频率为1 024 Hz.右耳垂作为参考电极, 接地电极由CMS和DRL两个独立电极替代. 5位神经健康的志愿者(平均为(26.3±7.2) 岁)参与了这项研究.在实验期间, 被试者身体健康状况良好, 实验前24 h内未进行任何形式的剧烈身体运动.在开始实际测量之前, 被试者对所有运动过程进行完整的训练, 并且被试者接受该研究的书面说明和签署知情同意书.要求被试者从准备运动到执行运动结束, 限制头部运动, 避免吞咽和眼睛闪烁, 并进行慢眼球运动和面部肌肉运动.在实验的不同阶段, 在屏幕上存在视觉提示和蜂鸣器听觉提示作为指导.通过E-Prime软件[10]设计实验范式, 实验一共包括以下2个部分.
1) 左右手动作2分类：被试者上身直立保持坐姿, 手臂垂直于地面, 分别进行左、右手的屈肘运动.
2) 右手动作3分类：被试者分别执行3种类型的上肢运动, 包括屈肘(EF)、屈腕(WF)和腕外旋(WP).
在单手动作的选择上, Edelman等[11]观察到在物理行为最相似的2分类任务之间存在较高的错误分类率, 比如屈腕(向内弯曲)和腕内旋(向内扭曲)、伸腕(向外弯曲)和腕外旋(向外扭曲).选择物理行为差异较大的3种肘关节和腕关节运动.整个实验范式如图 1所示, 单个动作的实验的时间为10 s, 前2 s为休息阶段, 要求被试者思想尽量放松, 不作过多的思考.然后, 根据语音提示从第3 s开始有2 s的准备想象阶段.从第5 s开始进行3 s的运动想象, 即准备运动阶段.这一阶段要求被试者集中注意力, 想象自己即将执行的动作.最后, 根据语音提示在第8~10 s执行运动.在这2 s的运动过程中, 被试者尽量匀速地转动关节至任意角度.语音提示单次实验结束.每位被试者一共执行250次实验, 分别为左、右手2个动作各50次；右手3个动作各50次.整个实验以动作起始点为分界, 总体包括了运动想象和运动执行两个阶段.虽然运动想象和运动执行都可以在初级感觉和运动中枢区域产生相似的脑电波形[12], 但运动想象仍然是意图识别的研究重点.在运动执行阶段, 对实验数据只取0.5 s进行分析, 主要考虑了被试者的反应延迟时间.截取用于分析的原始数据段为运动前2 s至运动后0.5 s.
|
图 1 手部动作分类实验原型 Fig. 1 Experimental protocol of hand movement classification |
对记录的数据进行96 Hz低通滤波和50 Hz陷波滤波, 以除去线路频率.对EEG原始数据进行空间滤波, 空间滤波是通过去除所有电极的共同噪声来改善EEG数据的信噪声比.对所选电极通道的数据进行共平均参考(common average reference, CAR).选择CAR主要是由于其优异的信噪比选择特性, 如McFarland等[13]比较了几种空间滤波技术以改善EEG信号的信噪比, 得出CAR具有最佳的信噪比. CAR的计算是从选择的通道数据中减去所有21个电极数据的平均值.计算公式为
| $V_i^{{\rm{CAR}}} = V_i^{{\rm{RAW}}} - \frac{1}{{21}}\sum\limits_{j = 1}^{21} {V_j^{{\rm{RAW}}}} .$ | (1) |
式中：ViCAR为滤波后的电位, ViRAW为第i个电极的电位.
ERD是指由动作行为而发生的大脑信号去同步化, 它与信息处理时在大脑皮层中增加的兴奋性细胞密切相关[14].对ERD现象进行数据分析可知, 它的节律信号具有稳定的频域特征, 可以将EEG信号的能量值作为量化指标.为了隔离α/μ和β频率分量, 对空间滤波后的EEG数据进行带通滤波, 使用Matlab的滤波器工具箱的10阶Butterworth滤波器实现.在研究中, 只需取脑电信号8~30 Hz频段内的信号进行分析, 可以包含运动意图识别的主要特征.ERD的计算公式如下：
| ${A_j} = \frac{1}{N}\sum\limits_{i = 1}^N {{x^2}\left( {i,j} \right)} ,$ | (2) |
| $R = \frac{1}{k}\sum\limits_{j = {n_0}}^{{n_0} + k} {{A_j}} ,$ | (3) |
| ${\rm{ERD}} = \frac{{R - {A_j}}}{R} \times 100\% .$ | (4) |
式中：i为实验序号, j为每个实验中的数据序号, N为重复次数, R为参考时间段k个数据的平均功率.通过对EEG数据加一个长度为128 ms、间隔为1个采样点的滑动时间窗, 得到能量百分比的ERD时程变化. ERD实际上是计算当前EEG数据和其所在实验序列功率的平均值, 得到两者的差值[15].
2.2 卷积神经网络与其他常规机器学习算法相比, CNN采用多层结构来提高泛化和抽象性能. CNN的主要特点是能够自动学习复杂的模型, 利用一系列卷积滤波、局部归一化、非线性函数、局部降采样等操作从信号中提取特征, 并基于反向传播的训练过程以及梯度下降等优化算法.网络的第一层通常表示低级的特征, 最终层能够组合低级特征, 以识别复杂的目标概念[16].
2.2.1 卷积层卷积处理是通过局部连接和权值共享的方法, 模拟具有局部感受野的简单细胞, 提取一些初级信号特征.局部连接指卷积层上的每个神经元与前一层特征中固定区域的神经元建立连接.权值共享指同一特征中的神经元用一组相同的连接强度与前一层局部连接, 可以减少网络训练参数.卷积层每个神经元的输入来自前一层特征图中固定区域的神经元, 区域的大小由卷积核大小决定.卷积层由输入数据与m个可学习的卷积核卷积并加上偏置, 通过激活函数作用得到m张特征图.卷积层2的n张特征图, 由卷积层l的m张特征图分别跟n×m个卷积核卷积, 每m个卷积结果结合, 再加上偏置, 通过激活函数作用得到.卷积层的数学表达式[17]为
| ${y_{mn}} = f\left( {\sum\limits_{j = 0}^{J - 1} {\sum\limits_{i = 0}^{I - 1} {{x_{m + i,n + j}}{w_{ij}} + b} } } \right).$ | (5) |
式中：x为输入二维数据；y为M×N的输出；0≤m＜M, 0≤n＜N；w为大小为J×I的卷积核；b为偏置；f为激活函数.
2.2.2 降采样处理卷积后得到的特征向量维数大, 若直接用这些特征进行分类, 则会导致计算量大、复杂度高等后果.在利用所提取的特征训练分类器之前, 需要进行降维处理.降采样模拟复杂细胞将初级的特征筛选, 并结合成更高级和抽象特征的过程, 在网络中通过采样实现.经过降采样层的采样后, 输出特征图的数量不变, 但是可以急剧减小网络的计算量, 并且可以使得网络对物体平移、缩放有一定的不变性, 从而使得网络更加鲁棒.降采样操作公式为
| ${y_{mn}} = \frac{1}{{{S_1}{S_2}}}\sum\limits_{j = 0}^{{S_2} - 1} {\sum\limits_{i = 0}^{{S_1} - 1} {{x_{m \times {S_1} + i,n \times {S_2} + j}}} } .$ | (6) |
式中：x为卷积处理后的输入向量, y为采样后的输出，S1和S2为降采样尺度.
2.2.3 全连接层为了增强网络的非线性映射能力, 同时限制网络规模的大小, 网络在特征提取层提取特征后, 接入一个全连接层.与卷积层不同, 全连接层感知全局信息, 将卷积层学习到的局部特征聚集起来形成全局特征, 用于特定的目标任务.该层的每一个神经元与前一层的所有神经元互相连接, 同层神经元之间不连接.全连接层的数学表达式为
| $o_j^{(l)} = f\left( {\sum\limits_{i = 1}^n {x_i^{(l - 1)} \times w_{ji}^{(l)} + {b^{(l)}}} } \right).$ | (7) |
式中：n为前一层的神经元个数, l为当前层数, wji(l)为该层神经元j与前一层神经元i的连接强度, b(l)为该层神经元j的偏置, f为激活函数.
2.2.4 CNN网络构建构建的网络一共包含5层(见图 2), 包括输入层、卷积层1、卷积层2(降采样)、全连接层和输出层.在把数据导入CNN之前, 将每个受试者的EEG信号标准化.CNN的输入矩阵采用以下形式：N×T.其中, N为电极通道数, T为每个通道的时间采样点.本文中, N=21.所取的采样时间为2.5 s, 采样率为1 024 Hz, 定义的数据段窗口长度为32；因此, T=80.输入矩阵为21×80.在EEG信号处理中, 卷积层的意义与图像识别中的意义一样, 是将局部矩阵视野中的信号值进行线性运算；然后加上一个非线性激活函数, 可以拟合复杂的问题.EEG比较特殊的是它的卷积核大小, 考虑通道数的卷积核(21×1) 可以把每个通道的信号关联起来；当卷积核移动的时候, 可以把时序上的80个帧关联起来.本文使用一维卷积运算, 这有助于提取特征向量相邻元素值之间的重要局部特征, 也使得卷积运算后的特征中不会有混杂的两种信息, 只包含空间特征.在卷积层1中, 卷积核大小为21×1, 采用了7种卷积滤波, 得到特征图的个数为7, 每个特征图的大小为1×80.卷积层2的卷积核大小为1×8, 采用了5种卷积滤波, 得到特征图的个数为35, 每个特征图的大小为1×10.本文的降采样处理采用最大值采样, 对卷积操作后的每一个特征图进行尺度为2的降采样, 输出特征图的长度是输入特征图的一半.本文定义降采样处理中的神经元不具备学习功能, 所以该运算不包含可学习的权值和阈值.全连接层设置有120个神经元, 全连接到上一层.最后, 输出层是由一些径向基函数(RBF)单元组成, 每一个对应一类.每一个RBF单元的输出yi根据下式计算：
|
图 2 CNN拓扑示意图 Fig. 2 CNN topology diagram |
| ${y_i} = {\sum\limits_j {\left( {{x_j} - {w_{ij}}} \right)} ^2}.$ | (8) |
网络的所有激活函数采用拉伸的双曲正切函数：
| $f\left( a \right) = {\rm{Atanh}}\left( {Sa} \right).$ | (9) |
式中：A设置为1.715 9, S设置为2/3[18].
该实验采用5折交叉验证法, 把所采集的样本数据随机分为5组.轮流选4组作为训练集, 1组作为测试集, 再平均5次的结果作为识别率.首先将训练集和测试集均进行归一化处理, 然后送入网络运行.
2.3 经典分类算法 2.3.1 基于经典分类算法的特征提取目前, 已经有许多特征提取方法应用到BCI中, 常用的有小波变换(wavelet transform, WT)、小波包变换(wavelet package transform, WPT)和公共空间模式(common spatial pattern, CSP)等.选择2种方法进行特征提取, 使之与CNN方法进行对比.首先, CSP被认为是提取时间相关去同步信号的有效方法之一[19], 许多研究都证明了它在两类问题中可以得到较好的分类效果, 但主要针对两种任务的特征提取.选择CSP方法, 对左、右手2分类动作进行特征提取, 具体求解算法参照文献[20].其次, 使用小波变换进行特征提取可以用于多分类问题, 所以在左、右手2分类和单手3分类动作中都适用.优点是时频定位, 并在时域和频域中均具有良好的分辨率, 适用于EEG这种微弱的非平稳信号.Hsu等[21]认为小波变换特征提取对获取的运动想象数据具有良好的适应性.Ghaemi等[22]使用小波变换检测左、右手分类, 取得了不错的效果.小波变换作为一种谱估计方法, 与仅使用正弦波作为基函数的傅里叶变换不同, 使用“母小波”函数来构造小波.由于连续小波变换的尺度因子、平移因子和时间量都是连续的, 这些会给计算带来困难.采用离散小波变换(discrete wavelet transform, CWT)对尺度因子和平移因子进行离散化. CWT的核心思想可以理解为对空间的剖分, 将滤波后的信号进行有限层分解, 得到相应的逼近系数和细节系数.CWT的表达式[23]如下：
| $\begin{array}{l} {C_{j,k}}\left( {f,{\psi _{j,k}}} \right) = \left\langle {f\left( t \right),{\psi _{j,k}}\left( t \right)} \right\rangle = \\ \quad \quad {2^{\frac{{ - j}}{2}}}\smallint _{ - \infty }^\infty f\left( t \right){\psi ^*}\left( {{2^{ - j}}t - k} \right){\rm{d}}t. \end{array}$ | (10) |
式中：ψ(t)为满足一定条件的小波基函数, ψ*(t)为复共轭函数, j、k 分别为频率分辨率和平移量, t为时间, fj(t)为信号在某一尺度下的2j分量.
选择DB10小波函数, 并使用Mallat快速算法将信号(分析的窗口大小为256点)分解到第3层.分解后的信号为Dl(频率为32~64 Hz)、D2(频率为16~32 Hz)、D3(频率为8~16 Hz)、A3(频率为0~8 Hz).选择位于脑电信号α和β波段的D2和D3进行分析.选择每个通道2个子频带的统计信息(能量均值、方差、相关系数)作为特征, 标准化后输入到分类器.
2.3.2 BP神经网络分类使用BP神经网络(back propagation neural network, BPNN)来进行分类. BPNN是一种按误差逆传播算法训练的多层前馈网络, 是经典的分类算法之一.BPNN可以逼近任意非线性映射关系, 它属于全局逼近方法, 因此具有良好的泛化能力和容错能力[24].BPNN模型的拓扑结构包括输入层、隐含层和输出层.输入层包含16个节点, 代表从EEG信号的时间序列；将隐藏层节点数设置为20, 运用Levenberg-Marquardt算法来训练数据；输出层对应的动作种类分别为2个或3个节点.实验数据训练集和测试集的划分及交叉验证方法与CNN相同.
2.4 数据分析方法使用测试样本, 对左、右手2分类和单手3分类实验的CNN和BPNN分类结果进行精度评价, 分别统计总体分类精度以及Kappa值.首先计算所有实验分类结果的混淆矩阵, 它们能够清楚地表达每个动作正确分类的个数以及被错分的类别和个数.然后计算2种方法下的总体分类精度, 表征了正确分类的类别数与总的类别数的比值.最后计算Kappa统计量, 它代表了分类与完全随机的分类产生错误减少的比例.Kappa值是比较多个被试者对同一动作的多次实验结果是否一致为评价基础的统计指标, 能够给出反映一致性大小的“量”值[25].
3 结果和讨论首先提取C3和C4通道的ERD信息, 这两个位置对应手部感知运动功能区, 是采集手部动作运动EEG信号的最佳放置点[26].如图 3所示, 将被试者在所有试验中的C3和C4通道的脑电信号计算ERD后, 进行叠加平均.被试者在想象右手运动任务时, C3电极即大脑对侧脑电信号的能量出现明显减少(对应ERD)的时间段都在-2~-0.5 s处.在左手运动时, C4电极出现同样的现象.该结果符合运动想象脑电信号的ERD特征, 即单边的肢体运动或想象运动, 大脑对侧产生事件相关去同步电位.
|
图 3 所有动作C3和C4通道的ERD时序图和脑地形图 Fig. 3 ERD timing and brain topography for all C3 and C4 channels |
EEG信号节律成分的空间位置和时变行为通常可以区分来自皮层表面不同的激活模式.α/μ和β频带的ERD, 已经被证明直接反映了肢体的运动[27-28].为了确定在同侧手臂3个动作中包含哪些频域成分, 构建了与运动任务相关的小波时频图.首先在整个时间序列计算小波的中心频率, 利用中心频率得到各个尺度, 并使转换得到的频率序列为等差序列.然后计算小波系数, 将尺度转换为频率.最后通过时间、频率和小波系数画出时频图.经过Morlet小波变换后的频谱图, 可以方便地分辨出每个动作在各频率段的分量和存在时间的大概范围, 并且能够更直观地反映信号的特征以及信号变化的总体趋势.因为能量分布是以平方的方式来表示, 叠加后不会正负抵消, 这避免了直接对时间信号平均叠加所带来的不足[29].如图 4所示, 在运动想象阶段, 屈肘动作能量最大处集中在10 Hz附近.在手腕的两个动作中, 运动想象时距(2 s)过程引发的20~28 Hz的频率成分更明显, 在一定时间范围内移到了相对的高频区域.这表明在EEG信号频域特征上, 3个动作是具有区分度的, 即使被试者还没有执行运动, 从运动想象产生的信号可以代表不同的动作.随着运动的执行, 3个动作都会出现能量增大的现象.
|
图 4 右手3个动作的Morlet小波变换时频图 Fig. 4 Time-frequency diagram of Morlet wavelet transform for three right-hand motion |
在两种分类实验中, 对所有被试的训练集和检验集数据进行CNN模型训练, 均能够得到收敛的网络模型.如图 5所示为绘制的损失函数曲线.图中，Loss为损失，ni为迭代次数.从图 5可以看出, 双手动作在进行到1 645次迭代以后, Loss达到最低点的2.254 1%；单手动作在3 254次迭代后, 达到最低点的3.162 9%.然后曲线保持基本稳定, 达到模型最佳的训练效果.
|
图 5 CNN训练过程中的损失函数曲线 Fig. 5 Loss curve in CNN training |
如图 6所示, 混淆矩阵比较了各个动作检验数据集的CNN和BPNN分类器的识别效果, 可以计算出总体识别精度和Kappa值.在所讨论的单手3类动作分类结果的混淆矩阵中, CNN方法在腕外旋动作上具有单个任务分类精度最大的改变(24.66%).笔者认为这种变化可能是因为腕外旋动作在日常活动中不常见, 所以想象这类动态任务有一定困难, 手动提取特征不能完全解码信号信息而需要网络内部更优化的特征.相比之下, 曲肘和曲腕两个动作在执行上更加自然, 普适性更强.如表 1所示, 与传统分类方法相比, 2个实验的分类精度在使用深度学习方法时都有所增加.在分类左、右手动作的任务中, CNN方法比使用手动提取特征的BPNN分类方法高约4%.对比两种传统特征提取方法的分类结果可知, CSP略高于WT, 但总体变化不明显.另外, 以前大多数研究只涉及2元分类, 而在本项研究中, 3个任务被分类.随着任务数量的增加, 这种改进更加明显, 比传统方法高出约8%.另外, 左、右手2分类动作的Kappa系数为0.6~0.8, 表明具有高度的一致性；单手3分类动作仅为一般或中等的一致性.
|
图 6 所有动作2种分类方法的平均混淆矩阵 Fig. 6 Average confusion matrix of two classificationmethods |
|
表 1 分类精度 Table 1 Classification accuracy |
通过研究可以发现, EEG信号可以用于在运动执行之前预测运动意图, 将上肢不同部分的运动分配给不同的输出类别.讨论同侧肢体运动的多类识别问题, 理论上可以组合以产生用于外部设备更大数量的命令.观察两种实验结果可知, 基于CNN方法的平均分类精度相差19.17%, 同时Kappa值相差了0.229, 得出不同肢体2分类动作比同侧肢体多分类动作识别更可靠.与同侧肢体的运动分类相比, 不同肢体的运动分类具有较高的分类精度, 这可能归因于以下2个因素.1) 左、右手动作从分类的观点来看更简单, 因为它们利用了EEG信号的不同空间定位.2) 左、右手肘关节的屈和伸两个动作与单手动作分类相比, 因为同一肢体肘关节的屈和伸被视为一个类别, 存在两倍的训练数据.对于同侧肢体的动作, 以往研究者使用电脑皮层造影术[30]和功能磁共振成像[31]的记录中观察到, 在神经回路活动中有一定的重叠现象.这种重叠的原因被认为是来自大脑皮层的手功能区内的水平连接, 该功能区具有不同的细胞群体, 负责移动手的某些部分[32].同侧肢体运动EEG信号的低空间分辨率限制了分类模式的数量.使用深度学习的CNN分类方法可以自适应地提取出EEG信号中有显著空间差异的特征, 算法的神经元能够增加来自同一大脑区域的不同动作的可分性, 这在很大程度上提高了分类精度.与CNN方法相比, 传统特征提取BPNN分类方法具有以下2个特点.1) 采用该方法能够提高模式识别的性能.因为有限的预处理步骤减少了人为操作.CNN的输入层只考虑分类信号本身, 不考虑信号的高级特征.2) 采用该方法可以进行更深入的脑活动分析.在模型训练期间, 可以发现特定的特征.网络中的权重语义可以执行神经科学仍然未知的相关信息.CNN可以在其学习期间提取所有需要的信息, 而大多数传统分类技术分离了信号的不同部分(特征选择、空间滤波器等).
4 结语在脑机交互控制中, 对EEG信号的分类是当前的挑战之一.相比于区分左、右手动作, 对单手不同动作的识别由于其复杂性, 要求具有自适应的分类方法.许多传统的分类器虽然已被广泛应用于EEG信号分类, 如线性判别分析、支持向量机、神经网络和隐马尔可夫模型等[33-34], 但它们对高级特征的提取过程容易导致信息的丢失.本文的研究结果表明, 深度学习的CNN分类器能够产生令人满意的分类精度, 比BPNN的分类结果有很大程度的提高.与传统分类器手动的提取特征相比, CNN自适应学习更优的共同特征.但是, 对于单手动作的意图识别, 仍然存在很大的不确定性, 呈现出了较多的异常值.下一步的研究方向是使用更优化的深度学习算法去优化EEG数据的模式识别精度.
| [1] | ANG K K, CHUA K S G, PHUA K S, et al. A randomized controlled trial of EEG-based motor imagery brain-computer interface robotic rehabilitation for stroke[J]. Clinical EEG and Neuroscience, 2015, 46(4): 310–320. DOI:10.1177/1550059414522229 |
| [2] | KIGUCHI K, HAYASHI Y. Motion estimation based on EMG and EEG signals to control wearable robots [C]//IEEE International Conference on Systems, Man and Cybernetics (SMC). [S. l.]: IEEE, 2013:4213-4218. |
| [3] | PFURTSCHELLER G, NEUPER C. Movement and ERD/ERS[M]. The Bereitschaftspotential, US: Springer, 2003: 191-206. |
| [4] | LEW E, CHAVARRIAGA R, SILVONI S, et al. Detection of self-paced reaching movement intention from EEG signals[J]. Frontiers in Neuroengineering, 2012, 5(13): 13–18. |
| [5] | KORIK A, SOSNIK R, SIDDIQUE N, et al. 3D hand motion trajectory prediction from EEG mu and beta bandpower[J]. Progress in Brain Research, 2016, 22(8): 71–105. |
| [6] | PLOW E B, ARORA P, PLINE M A, et al. Within-limb somatotopy in primary motor cortex-revealed using fMRI[J]. Cortex, 2009, 46(3): 310–321. |
| [7] | VUCKOVIC A, SEPULVEDA F. Delta band contribution in cue based single trial classification of real and imaginary wrist movements[J]. Medical Biological Engineering Computing, 2008, 46(6): 529–539. DOI:10.1007/s11517-008-0345-8 |
| [8] | GHANI F, SULTAN H, ANWAR D, et al. Classification of wrist movements using EEG signals[J]. Journal of Next Generation Information Technology, 2013, 4(8): 29–39. |
| [9] | KRAHENBUHL P, DOERSCH C, DONAHUE J, et al. Data-dependent initializations of convolutional neural networks[J]. Computer Science, 2015, 11(1): 1–12. DOI:10.3844/jcssp.2015.1.6 |
| [10] | 曾祥炎, 陈军. E-Prime实验设计技术[M]. 广州: 暨南大学出版社, 2009: 45-47. |
| [11] | EDELMAN B J, BSXTER B, HE B. EEG Source imaging enhances the decoding of complex right hand motor imagery tasks[J]. IEEE Transactions on Biomedical Engineering, 2015, 63(1): 4–14. |
| [12] | FORMAGGIO E, STORTI S F, GALAZZO I B, et al. Modulation of event-related desynchronization in robot-assisted hand performance: brain oscillatory changes in active, passive and imagined movements[J]. Journal of Neuroengineering and Rehabilitation, 2013, 10(1): 1–10. |
| [13] | MCFARLAND D J, MCCANE L M, DAVID S V, et al. Spatial filter selection for EEG-based communication[J]. Electroencephalography and Clinical Neurophysiology, 1997, 103(3): 386–394. DOI:10.1016/S0013-4694(97)00022-2 |
| [14] | SHEEHY N. Electroencephalography: basic principles, clinical applications, and related fields[J]. The Quarterly Review of Biology, 1983, 58(2): 3108–3113. |
| [15] | PFURTSCHELLER G, FH L D S. Event-related EEG/MEG synchronization and desynchronization: basic principles[J]. Clinical Neurophysiology, 1999, 110(11): 1842–1857. DOI:10.1016/S1388-2457(99)00141-8 |
| [16] | TOME D, MONTI F, BAROFFIO L, et al. Deep convolutional neural networks for pedestrian detection[J]. Signal Processing Image Communication, 2015, 47(3): 482–489. |
| [17] | TANG Z, LI C, SUN S. Single-trial EEG classification of motor imagery using deep convolutional neural networks[J]. Optik-International Journal for Light andElectron Optics, 2016, 130(1): 11–18. |
| [18] | GENEVIEVE B O, MULLER K R. Neural networks: tricks of the trade[M]. Berlin: Springer, 2012: 658-659. |
| [19] | ROBINSON N, VINOD A P, ANG K K, et al. EEG based classification of fast and slow hand movements using wavelet-CSP algorithm[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(8): 2123–2132. DOI:10.1109/TBME.2013.2248153 |
| [20] |
李晓欧. 基于独立分量分析和共同空间模式的脑电特征提取方法[J].
生物医学工程学杂志, 2010, 27(6): 1370–1374.
LI Xiao-ou. EEG feature extraction method based on independent component analysis and common space model[J]. Journal of Biomedical Engineering, 2010, 27(6): 1370–1374. |
| [21] | HSU W Y, LIN C C, JU M S, et al. Wavelet-based fractal features with active segment selection: application to single-trial EEG data[J]. Journal of Neuroscience Methods, 2007, 163(1): 145–160. DOI:10.1016/j.jneumeth.2007.02.004 |
| [22] | GHAEMI A, RASHEDI E, POURRAHIMI A M, et al. Automatic channel selection in EEG signals for classification of left or right hand movement in brain computer interfaces using improved binary gravitation search algorithm[J]. Biomedical Signal Processing and Control, 2017, 33(1): 109–118. |
| [23] | SUBASI A. EEG signal classification using wavelet feature extraction and a mixture of expert model[J]. Expert System with Application, 2007, 32(4): 1084–1093. DOI:10.1016/j.eswa.2006.02.005 |
| [24] |
杨新亮, 罗志增. 基于表面肌电信号的时频组合特征融合识别[J].
华中科技大学学报:自然科学版, 2011, 39(2): 153–156.
YANG Xin-liang, LUO Zhi-zeng. A recognition method of multi-channel SEMG based on the fusion of time-frequency combination characteristics[J]. Journal of Huazhong University of Science and Technology: Nature Science, 2011, 39(2): 153–156. |
| [25] |
王洁贞, 韩兢, 刘言训, 等. Kappa统计量在一致性和重现性检验中的应用[J].
山东大学学报:医学版, 1996(3): 209–212.
WANG Jie-zhen, HAN Jing, LIU Yan-xun, et al. Application of Kappa statistic in consistency and reproducibility test[J]. Journal of Shandong University: Health Sciences, 1996(3): 209–212. |
| [26] | WANG B, JUN L, BAI J, et al. EEG recognition based on multiple types of information by using wavelet packet transform and neural networks [C]//International Conference of the IEEE Engineering in Medicine and Biology Society. Shanghai: IEEE, 2005:5377-5380. |
| [27] | PFURTSCHELLER G, FH L D S. Event-related EEG/MEG synchronization and desynchronization: basic principles[J]. Clinical Neurophysiology, 1999, 110(11): 1842–1857. DOI:10.1016/S1388-2457(99)00141-8 |
| [28] | PFURTSCHELLER G, BRUNNER C, SCHLOGL A, et al. Mu rhythm (de) synchronization and EEG single-trial classification of different motor imagery tasks[J]. Neuroimage, 2006, 31(1): 153–159. DOI:10.1016/j.neuroimage.2005.12.003 |
| [29] |
张志杰, 刘强, 黄希庭. 时间知觉的神经机制-EEG时频分析的探索[J].
西南大学学报:自然科学版, 2007, 29(10): 152–155.
ZHANG Zhi-jie, LIU Qiang, HUANG Xi-ting. Mechanisms of time perception time-frequency analysis based on EEG data[J]. Journal of Southwest University: Natural Science Edition, 2007, 29(10): 152–155. |
| [30] | PISTOHL T, SCHULZEBONHAGE A, AERTSEN A, et al. Decoding natural grasp types from human EcoG[J]. Neuroimage, 2011, 59(1): 248–260. |
| [31] | MEIER J D, AFLALO T N, KASTNER S, et al. Complex organization of human primary motor cortex: a high-resolution fMRI study[J]. Journal of Neurophysiology, 2008, 100(4): 1800–1812. DOI:10.1152/jn.90531.2008 |
| [32] | SCHIEBER M H, HIBBARD L S. How somatotopic is the motor cortex hand area?[J]. Science, 1993, 261(5120): 489–492. DOI:10.1126/science.8332915 |
| [33] | LEMM S, BLANKERTZ B, CURIO G, et al. Spatio-spectral filters for improving the classification of single trial EEG[J]. IEEE Transactions on Bio-medical Engineering, 2005, 52(9): 1541–1548. DOI:10.1109/TBME.2005.851521 |
| [34] | SIVASANKARI K, THANUSHKODI K. An improved EEG signal classification using neural network with the consequence of ICA and STFT[J]. Journal of Electrical Engineering and Technology, 2014, 9(9): 1060–1071. |