脑-机接口是不依赖于正常的由外周神经和肌肉组成的输出通路的通信系统^[1-2]，为瘫痪患者提供了全新的交流方式. 语言想象是最新出现的范式^[3]，它表示在不发出声音或清晰地做出面部动作的情况下想象单词发音的心理过程，相比于其他类型的脑电信号，如运动想象^[4]、稳态视觉诱发电位（SSVEP）^[5]和P300^[6]，想象语言最接近自然的沟通通路.

基于语言想象的脑-机接口（BCI）系统可以根据大脑活动信号采集技术的不同分为2类，分别是侵入式 BCI系统和非侵入式BCI系统^[7]. 侵入式BCI系统采用的信号采集技术为皮层脑电图，非侵入式BCI系统采用的信号采集技术有脑电图（EEG）、功能性近红外光谱技术、功能性磁共振成像、脑磁图等. 其中EEG设备具有便携、性价比高的优点，在脑-机接口研究中得到广泛的应用.

Wester^[8]开展基于脑电信号的语言想象研究，运用隐马尔可夫模型对脑电信号进行分类. Torres等^[9]提出基于模糊推理系统的通道选择方法，使用7个通道时的分类平均精度为68.18%，使用所有通道时的分类平均精度为70%. Qureshi等^[10]使用极限学习机对脑电信号进行分类，五分类平均准确率最高为40.30%. Hashim等^[11]利用14通道的EEG装置进行实验，运用梅尔倒频谱参数和KNN算法对EEG信号进行分类，二分类平均准确率为58%. Lee等^[12]利用64通道EEG设备进行实验，采用随机森林算法进行13个类别的分类，分类平均准确率为20.7%.

BCI系统由信号预处理、特征提取和特征分类组成，其中特征提取和特征分类是2个关键步骤. 近年来，诸多学者对EEG信号分解与特征提取方法进行研究，如特征值分解^[13]、傅里叶分解方法^[14]、离散小波变换（discrete wavelet transform，DWT）^[15]和经验模态分解（empirical mode decomposition，EMD）^[16]算法. 其中，EMD和DWT被广泛应用于非线性和非平稳信号的分解和特征提取，在脑电信号^[17]分析中具有广阔的应用前景，如癫痫脑电信号检测^[18]和运动想象BCI分类问题^[19]，但其在语言想象BCI中的应用很少. DWT能够在频域和时域对脑电信号进行局部定位，EMD对于去除肌电伪迹的适用性更好. 目前针对语言想象BCI的大多数研究分别采用DWT或EMD进行分析，但2种分解具有一定的互补性，融合2种方法可以得到更好的性能. 为了提高语言想象脑电信号分类的准确率，本文提出融合DWT与EMD的语言想象脑电信号特征提取与分类方法，对该方法的分类性能进行评估与分析.

提出基于离散小波变换和经验模态分解的语言想象脑电信号特征提取与分类方法，如图1所示. 针对语言想象脑电信号数据集，该方法利用巴特沃斯滤波器对原始信号进行预处理，分别采用离散小波变换和经验模态分解，对脑电信号进行特征提取并进行特征融合. 运用支持向量机对语言想象脑电信号进行分类，开展10折交叉验证.

使用的数据集由Coretto等^[20]在恩特雷里奥斯国立大学记录. 研究对象包括15名阿根廷志愿者. 当受试者进行西班牙语单词和元音的想象语言任务时，开展脑电信号的采集. 针对想象单词时产生的脑电信号数据集进行研究. 在该数据集中，参与者想象6个西班牙语单词，包括“arriba”、“abajo”、“derecha”、“izquierda”、“adelante”和“atras”（对应上、下、左、右、后、前6个中文单词）. 想象单词任务的实验方案要求参与者在4 s的试验期间想象出其中一个单词3次. 在试验之前，用视觉和听觉的方式呈现刺激，向每个受试者展示每个单词2 s. 根据10-20国际标准，采集电极被置于F3、F4、C3、C4、P3和P4位置，如图2所示. 脑电信号采用Grass脑电采集设备进行采集，采样频率为1024 Hz.

脑电信号是非常微弱的生物电信号，易受眨眼、吞咽、肢体动作等肌肉活动以及电源和声音的干扰^[21]. 在特征提取和分类之前，需要对脑电信号进行预处理，以提高信号质量和分类精度.

脑电信号通常含有工频噪声和伪影信息，在特征提取和分类前需要进行滤波处理. 当受试者想象说话时，大脑语言区域的α和β节律频段会出现明显振荡^[22]. 在对想象语音脑电信号进行处理时，需要对脑电信号进行带通滤波处理，得到α和β节律信号. 数据集中的原始信号利用脑电采集设备Grass进行采集，该设备自带陷波滤波器，因此采集获得的脑电信号已经去除了工频干扰^[20]. 采用0~40 Hz的巴特沃斯带通滤波器对脑电信号进行滤波，去除噪声和伪影.

小波理论是时频域信号分析理论，基本思想是用一组函数来表示或近似一个信号，这类函数由一个基本小波(也称为母小波)进行不同尺度的平移和缩放得到. 小波变换具有多分辨率分析和自适应信号处理的特点，适合于处理非平稳信号^[23]. 在实际应用中，为了便于计算，减少计算量，通常对信号进行离散处理，称为离散小波变换（DWT）. DWT特征已被证明对语言想象脑电图信号具有区分性^[24]，由于DWT能够在频域和时域对信息进行局部定位，被频繁应用于脑电分析中^[25-26]. DWT原理如图3所示，其中S表示原始输入信号，A和D信号由2个互补滤波器产生. 信号A表示信号的低频分量，是原始信号的近似量. 信号D表示信号的高频分量，是原始信号的细节量.

在小波变换中，母小波的合理选择对于实际应用非常重要. Daubechies（dbN, N为小波阶数）极值相位小波是指特定的小波族，函数dbN中的N与小波函数的消失矩相同. 一般情况下，消失矩越大，对应的滤波器越平坦，但计算量越大，信号处理的实时性降低. 在大多数脑电图研究中，使用Daubechies2（db2）或Daubechies4（db4）作为母小波，提高信号处理的实时性^[27]. 采用db2作为母小波对EEG信号进行3次小波分解，通过第1次小波分解得到低频信号A1和高频信号D1，再依次分解得到A2、A3、D2、D3信号，如图4所示. 图4中，V为信号电压幅值，信号为被试1在想象单词“arriba”时记录的一段F3通道的脑电信号，分别计算A3、D1、D2和D3信号的标准差（standard deviation, SD）和均方根（root mean square, RMS）作为脑电信号的特征. 由于采集了6个通道（F3、F4、C3、C4、P3和P4）的脑电信号，每个通道有8个特征，利用DWT提取的特征总数为48.

经验模态分解（EMD）是Hilbert-Huang变换的重要组成部分，它是处理非平稳信号的有效方法^[16]. EMD是自适应信号分解框架，用于将非平稳数据分解为1组本征模态函数（intrinsic mode function, IMF）和1个残差分量. IMF需要满足以下2个条件.

1）信号极值点和零交叉点的数目必须相等或相差最大为1.

2）在任意时刻，由局部极大值和局部极小值定义的平均包络为零.

给定时间序列 $x\left( t \right)$的EMD分解算法如下.

1）求出所有的局部最大值点和局部最小值点，分别用3次样条插值拟合所有极值点，得到信号的上包络 ${v_{\max }}\left( t \right)$ 和下包络 ${v_{\min }}\left( t \right)$，然后得到平均包络 $m\left( t \right)$.

(1) $ m\left( t \right) = \frac{{{v_{\max }}\left( t \right)+{v_{\min }}\left( t \right)}}{2}. $

2）从原始信号中减去 $m\left( t \right)$，得到新的信号 $h\left( t \right)$.

(2) $ h\left( t \right) = x\left( t \right) - m\left( t \right). $

3）判断 $h\left( t \right)$是否满足IMF的2个条件. 若不满足，则重复上述过程，直到 $h\left( t \right)$满足IMF的条件，记为

(3) $ {c_1}\left( t \right) = h\left( t \right). $

4）从原始信号 $x\left( t \right)$中减去 $c{}_1\left( t \right)$，得到第一残差分量：

(4) $ {r_1}\left( t \right) = x\left( t \right) - {c_1}\left( t \right). $

5）判断 $r{}_1\left( t \right)$是否是单调函数或者小于默认值. 若满足条件，则停止筛选. 否则，将 $r{}_1\left( t \right)$赋值给 $x\left( t \right)$，重复上述步骤.

在停止筛选后，假设原始信号 $x\left( t \right)$分解为n个IMF分量和1个残差分量 $r{}_{\text{n}}\left( t \right)$，则 $x\left( t \right)$可以表示为

(5) $ x\left( t \right) = \sum\limits_{i = 1}^n {{c_{{i}}}\left( t \right)+{r_{\text{n}}}\left( t \right)} . $

图5给出其中一个通道EEG信号的EMD分解示意图. 图5中，信号为被试1在想象单词“arriba”时通道F3记录的脑电信号. 利用EMD算法对原始的EEG信号进行分解，由于EMD分解是根据残差分量是单调函数或小于默认值作为判定条件终止，得到的IMF分量个数无法事先确定. 为了使特征数目一致，选择能够较好表现信号特征的前3阶IMF分量进行特征提取. 分别计算原始信号和前3阶IMF分量的标准差和均方根，作为脑电信号的特征. 由于采集了6个通道（F3、F4、C3、C4、P3和P4）的脑电信号，每个通道有8个特征，利用EMD算法提取的特征总数为48.

仅通过DWT或EMD提取的特征均是计算不同分解后通道的标准差和均方根，但是侧重点不同. 为了提高特征的鲁棒性，提出将2类特征向量（基于DWT系数的统计特征向量和基于EMD的IMF统计特征向量）进行融合，将融合后的特征向量作为脑电信号的特征. 常用的特征融合方法包括串联特征融合算法、主成分分析算法和基于深度学习理论的算法. 其中串联特征融合算法的计算速度快，运算时间短，更适合于脑-机接口的实时应用场景^[28]，故采用串联特征融合算法对DWT与EMD提取的特征进行融合.

通过DWT和EMD提取的特征取值范围显著不同，直接融合会降低分类的精度. 将DWT提取的特征和EMD提取的特征进行归一化，把归一化后的特征向量进行串行拼接，得到包含96个特征的融合特征向量，即

(6) $ \begin{split} {{\boldsymbol{X}}_{{\text{Fusion}}}} =& \left[ {{{\boldsymbol{X}}_{{\text{DWT}}}},{{\boldsymbol{X}}_{{\text{EMD}}}}} \right] = \\ & \left[ {{\alpha _1},{\alpha _2}, \cdots ,{\alpha _{48}},\;{\beta _1},\;{\beta _2}, \cdots ,\;{\beta _{48}}} \right] \end{split} . $

式中：X_DWT为DWT提取的信号特征归一化后的特征向量， ${{\boldsymbol{X}}_{{\text{DWT}}}} = \left[ {{\alpha _1},{\alpha _2}, \cdots ,{\alpha _{48}}} \right] $；X_EMD为EMD提取的信号特征归一化后的特征向量， ${{\boldsymbol{X}}_{{\text{EMD}}}} = [ {\beta _1}, \;{\beta _2}, \cdots ,{\beta _{48}} ]$. 特征提取与融合过程如图6所示.

支持向量机（SVM）是经典的机器学习分类技术, 目标是根据输入的数据样本找到最优的分类超平面. SVM基于统计学习理论和结构风险最小化准则，前者降低了对样本量的需求，后者提高了分类的泛化能力，因此支持向量机在小样本训练集上通常能够得到比其他算法更好的结果，在若干领域得到了广泛应用^[29].

EEG信号分类属于线性不可分问题. 对于线性不可分的分类问题，可以通过非线性变换将该类问题转化为高维度特征空间中的线性分类问题，在高维特征空间中使用线性支持向量机.

线性不可分支持向量机分类器设计的关键是确定核函数. 利用核函数，可以避免高维映射函数内积的显式计算. 通过代入核函数，将高维向量的内积直接等价于低维的参数. 通过对高维空间的非线性映射，将线性不可分问题转化为线性可分问题. 核函数可用下式表示：

(7) $ K\left( {{\boldsymbol{x}},{\boldsymbol{z}}} \right) = \left\langle {\phi \left( {\boldsymbol{x}} \right),\phi \left( {\boldsymbol{z}} \right)} \right\rangle . $

式中： $\left\langle , \right\rangle $为内积， $K\left( {{\boldsymbol{x}},{\boldsymbol{z}}} \right)$为核函数， $\phi \left( {\boldsymbol{x}} \right)$为从低维映射到高维的函数.

高斯核函数也称为径向基函数（radial basis function，RBF），通过比较样本之间的相似性，使得相似的样本在以相似性为特征的空间中更好地聚集，从而使得样本线性可分. RBF作为最常用的核函数类型，在处理大多数问题上都没有较大偏差. RBF核函数可以表示为

(8) $ K\left( {{{\boldsymbol{x}}_{{i}}},{{\boldsymbol{x}}_{{j}}}} \right) = \exp \left( {\frac{{ - \left\| {{{\boldsymbol{x}}_{{i}}} - {{\boldsymbol{x}}_{{j}}}} \right\|}}{{2{\sigma ^2}}}} \right). $

式中：σ为核参数.

与其他核函数相比，RBF核函数需要确定的参数较少，复杂度较低；RBF核函数具有较宽的收敛域，可以应用于任意分布的样本，映射空间分布稳定，是理想的映射核函数. 将RBF作为SVM分类器的核函数，采用10折交叉验证，根据输入的信号特征向量，实现语言想象脑电信号的分类.

KNN是分类算法中被广泛应用的一种，是利用K个最邻近的数据样本反映数据集分类特性的方法^[30]. KNN的核心思想如下：若一个样本在特征空间中的K个最相似的样本中的大部分属于某一个类别，则该样本被分类到该类别.

为了验证运用DWT与EMD融合提取的特征的分类效果，采用理论上较成熟且最简单的机器学习算法之一的K最近邻（K-nearest neighbor，KNN）分类器对提取的特征进行分类，作为对比实验.

针对Coretto等^[20]记录的语言想象脑电信号数据集，分别利用DWT和EMD提取EEG信号特征，将各特征进行融合得到DWT-EMD融合特征. 分别利用基于RBF的支持向量机和KNN分类器对EEG信号进行分类，采用10折交叉验证的方法，对每个受试者各自的脑电信号进行分类性能评估. 实验结果表明，采用RBF支持向量机对DWT提取的特征进行分类的最高准确率为79.78%，平均准确率为61.69%. 对EMD提取的特征进行分类的最高准确率为67.30%，平均准确率为61.34%. 分别使用DWT和EMD提取的特征获得的分类平均准确率相近，但针对不同受试者的语言想象EEG信号，使用DWT方法得到的分类准确率在不同个体之间差异较大，所有受试者中分类的最高准确率与最低准确率之差达到29.34%，使用EMD方法得到的分类最高准确率与最低准确率之差仅为14.66%. 融合DWT与EMD特征后得到的分类最高准确率达到88.34%，平均分类准确率达到82.46%，相较于前2种方法，分类准确率得到显著提升，受试者的最高准确率与最低准确率之差仅为14.31%. 采用KNN对融合DWT与EMD的特征进行分类的最高准确率为70.20%，平均准确率为64.57%，相较于SVM分类器，准确率偏低. 可知，基于RBF核函数的SVM分类器在语言想象脑电信号分类方面具有较好的性能. 上述结果表明，提出的融合EMD与DWT的方法具有更高的准确性和稳定性. 基于SVM和KNN方法得到的不同个体EEG信号的分类准确率A如图7、8所示.

表1给出在相同数据集条件下提出的方法与其他文献方法的分类平均准确率 $\bar A $. 可以看出，对于相同的数据集，本文运用的3种方法均取得较高的平均准确率，其中融合DWT与EMD的方法3的平均准确率最高. 与文献[20]相比，虽然采取DWT进行信号分解，但本文方法1的准确率得到显著提升，原因主要有以下两点. 1）特征的选取，本文选取均方根和标准差作为分类的特征，能够较好地表现不同语言想象脑电信号的差异. 2）分类器的选择，本文采用基于RBF核函数的SVM进行分类，更适用于语言想象EEG信号的分类. Garcia等^[31]采用张量分解的方法进行脑电信号分类，分类准确率为59.7%，与方法1和方法2持平，低于本文方法3，张量分解的计算成本较大，耗时较长，难以在BCI系统上直接实现. Cooney等^[32-33]采用的方法都是神经网络，但分类结果都不理想，表明神经网络方法不适合处理语言想象EEG信号的分类问题.

在开源的语言想象数据集上，融合离散小波变换和经验模态分解算法，提取语言想象脑电信号特征，运用基于RBF核函数的SVM分类器进行分类，取得了优异的分类结果. 实验结果表明，基于RBF核函数的支持向量机与其他分类方法相比，在语言想象脑电信号分类上具有更好的分类效果. 分别测试单独使用DWT或EMD提取信号特征的方法，由于均方根和标准差更好地表现了信号的差异以及支持向量机较好的分类效果，这2种方法相较于其他研究均取得了较高的准确率. 考虑到仅使用DWT或EMD提取的脑电信号特征具有局限性与片面性，融合DWT与EMD提取的特征，将融合后的特征输入到SVM中进行分类. 结果表明，利用该方法得到的准确率取得了显著的提升.

想象语言识别是针对瘫痪患者最直观、最方便的脑-机接口类型，越来越受到研究的关注. 为了提高语言想象脑电信号分类的精度，本文提出融合离散小波变换和经验模态分解的特征提取方法，分别运用基于RBF核函数的支持向量机和KNN分类器,对提取后的特征进行分类. 运用开源的语言想象脑电信号数据集，对提出的方法进行性能评价. 实验结果表明，提出的融合DWT与EMD的特征相较于单独使用DWT或EMD提取的特征，能够更明显地表达不同语言想象脑电信号之间的差异. 基于RBF核函数的支持向量机分类器与KNN分类器相比，在语言想象脑电信号分类方面表现出良好的性能. 结合上述特征提取与分类方法，使得6个表示不同方向的想象单词脑电信号分类的准确率达到82.46%. 与现有的文献方法相比，本文方法对语言想象脑电信号的分类准确率得到了显著提升，不同个体之间的脑电信号分类准确率差异最小，表明本文方法具有较高的鲁棒性.

本文的不足在于数据集样本规模不大，会影响分类性能. 未来拟扩充数据集或采用其他数据集，开展进一步的讨论与分析；运用深度学习方法，开展语言想象脑电信号的分类.