2. 浙江大学医学院附属第一医院传染病诊治国家重点实验室, 感染性疾病诊治协同创新中心, 浙江 杭州, 310003
2. State Key Laboratory for Diagnosis and Treatment of Infectious Diseases, Collaborative Innovation Center for Diagnosis and Treatment of Infectious Diseases, The First Affiliated Hospital, College of Medicine, Zhejiang University, 310003 Hangzhou, China
脑机接口技术(brain-computer interfaces, BCI)是近几年来发展迅速的人机交互技术[1].BCI系统的实现可以依赖于非植入式的脑电图(electroencephalography, EEG), 脑磁图(magnetoencephalogram, MEG)和植入式的脑皮层电图(electrocorticogram, ECoG)等.由于EEG信号采集安全且成本较低, 其在BCI的研究中被广泛应用[2-3].
稳态视觉诱发电位(steady state visual evoked potential, SSVEP)是大脑皮层对外部重复视觉刺激的反应, 呈现在脑电信号波形上是视觉刺激频率或者其谐波上出现对应的波峰.SSVEP具有响应强度高, 诱发速度快、无需训练等优点, 是使用最广泛的脑机接口模式之一.基于稳态视觉诱发电位的脑机接口具有更高的分类精度和更快信息传输速率, 提高了系统的可靠性、鲁棒性[4].近年来, 由于系统设计较为简单, 实验可操作性强, 受试者无需接受大量训练等优点, 基于稳态视觉诱发电位的脑机接口系统深受研究学者的青睐[5-8].
目前基于SSVEP的脑机接口系统中传统的频率识别方法有功率谱密度分析(power spectral-density analysis, PSDA)[9]和典型相关分析法(canonical correlation analysis, CCA)[10].CCA是求解多组变量对之间的相关性的多元变量统计学方法.清华大学的Lin等[11]最早将其用于SSVEP频率提取, 这种方法比基于快速傅里叶变换的谱估计方法拥有更强的抗噪性.目前出现了多种改进型的CCA方法[12].多维典型相关分析(multiway canonical correlation analysis, MCCA)算法[13]将多维信号处理技术与CCA结合, 通过最大化多维EEG信号(张量)与二维参考信号(矩阵)之间的相关性来优化参考信号.Tibshirani等[13]于1996年提出了一种尝试寻找稀疏解的最小绝对收缩和选择算子(least absolute shrinkage and selection operator, LASSO), 张宇[14]将其应用于解决SSVEP的识别问题.由于脑电信号的微弱性、随机性等特点, 单纯的使用时域特征或静态的频谱分布去分析脑电信号具有很大的局限性, 很难准确地反映脑电信号的特点.
本文提出一种使用平滑伪Wigner-Ville分布对脑电信号进行时频分析, 提取SSVEP信号的频率识别方法, 并设计相应的试验对基于SSVEP的脑机接口系统的性能进行评估.
1 研究方法 1.1 实验设计及数据采集设计基于4个刺激频率诱发的SSVEP脑机接口系统, 其框架如图 1所示.为了避免视觉刺激源的频率精度受到显示器固定刷新频率的限制, 实验使用外置LED灯作为视觉刺激源.在19寸显示器的左上、右上、左下、右下分别放置一个固定在大小灰色盒子中的浅绿色LED灯作为视觉刺激源, 并用一层散射膜覆盖在盒子表面, LED灯由Agilent33220a函数发生器驱动.由于不同频率段的视觉刺激会诱发出不同的SSVEP响应强度[15], 虽然低频段5~12 Hz频率源诱发的响应最强, 但是为了避免静止时节律脑电的影响, 实验采用中频段的13、15、17和19 Hz分别对应左上、右上、左下、右下LED刺激灯源.
|
图 1 基于SSVEP的脑机接口系统框架图 Fig. 1 Schematic of brain-computer interface based on SSVEP |
实验开始时, 显示器屏幕中间的深蓝色小方块上用白色箭头提示将要移动的方向, 之后屏幕上对应方向的绿色小方块变紫色, 并伴随短促的蜂鸣器, 经过2 s之后显示器外侧对应方向的LED灯开始闪烁, 持续4 s.在无视觉刺激呈现时, 鼓励受试者多眨眼以缓解视觉疲劳, 但是不允许大动作的移动；在视觉刺激呈现期间, 受试者被要求不能有眨眼、点头或移动等动作, 并要注视闪烁的LED灯.以闪烁前5~6 s提示阶段和持续4 s的闪烁阶段作为一个完整试验, 每个受试者对每个LED灯都进行30次试验.
本实验共招募10名视力(或校正视力)正常的健康受试者, 男性8位, 女性2位, 平均年纪23.4±2.1(SD), 要求每个受试者没有精神、神经系统方面的疾病, 尤其是没有癫痫病或家族遗传史.受试者需要事先签署知情同意书, 并被告知可以在发生任何不适感时提出终止试验的请求.
脑电信号采集系统为EGI公司的GES 400, 实验在安静、舒适的环境中进行.32个电极按照国际10-20系统标准放置, 如图 2所示.导联电极与头皮之间的偏置电压保持在50 mV以下, 采样频率是2 048 Hz.
|
图 2 10-20国际标准导联位置 Fig. 2 Standard electrode positions of 10-20 international system |
由于一名受试者在实验时出现不适感终止实验, 共采集到9份有效数据.
1.2 数据预处理由于颅骨会抑制高频脑电信号的传播, 同时SSVEP能量基本位于前3次谐波中, 如图 3所示, 图中t为时间, U为电压, 实验使用一个4阶带通为12~60 Hz的巴特沃斯滤波器滤除直流漂移和噪声等无用的频率段, 再采用下式的公共平均参考法做电极重参考去除脑部的公共活动成分：
|
图 3 15 Hz视觉刺激频率下Oz电极下的20次平均EEG及其功率谱 Fig. 3 Twenty times' average EEG of electrodes Oz and PSD |
| $ {\tilde x_i}\left( t \right) = {x_i}\left( t \right)-\frac{1}{N}\sum\limits_{i = 1}^N {{x_i}\left( t \right)} . $ | (1) |
式中：xi(t)为滤波后的脑电信号, N为电极通道数目,
采用下式对脑电数据进行标准化处理：
| $ {{\tilde x}_i}\left( t \right) = \frac{{{{\tilde x}_i}\left( t \right)-\mu }}{\sigma }. $ | (2) |
式中：μ和σ分别为
时频分析法是一种非参数瞬时频率估量方法, 展示了时域与频率域的联合分布信息, 清楚地表示了信号频率随着时间变化的关系, 是分析时变非平稳信号的有效方法.基于时频分析方法提取脑电特征具有很高的研究潜力[16].
1.3.1 空间滤波预处理能有效避免系统误差对实验结果的影响, 但是由于脑电信号微弱、能量不集中, 预处理对信噪比的增强有限.通常还需要使用空间滤波来增强信噪比, 现在针对空间滤波的研究有很多[17].
拉普拉斯融合是一种常用的空间融合方法[18], 其原理是使用下式的加权系数将中间电极信号减去周围同距电极信号, 去除局部共同噪声来达到加强SSVEP信噪比的目的：
| $ \boldsymbol{W} = {[-\frac{1}{4}, -\frac{1}{4}, 1, -\frac{1}{4}, - \frac{1}{4}]^{\rm{T}}}. $ | (3) |
式中：W表示对5个电极进行空间滤波的系数矩阵.
由于枕区比其他区域呈现的SSVEP响应更为明显, 选择Oz作为中间电极, PO3、O1、O2和PO4电极为同距电极.经过空间滤波的脑电信号
| $ \mathit{\boldsymbol{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over x} }}(t) = {\mathit{\boldsymbol{W}}^{\rm{T}}}{\bar x_i},i \in [{\rm{PO}}3,{\rm{O}}1,{\rm{Oz}},{\rm{PO}}4] $ | (4) |
Wigner-Ville分布是一种描述局部能量聚集的时频联合分布, 直接对信号的二次型计算傅里叶变换, 有着较高的频率分辨率.假设有定义在整个时间域上的连续时间信号s(t), 则下式是其Wigner-Ville分布：
| $ \begin{array}{*{20}{l}} {{\rm{WV}}{{\rm{D}}_s}\left( {t,f} \right) = }\\ {\int_{ - \infty }^{ + \infty } {s\left( {t + \frac{\tau }{2}} \right)} {s^*}\left( {t - \frac{\tau }{2}} \right){\rm{exp}}( - j2\pi f\tau ){\rm{d}}\tau .} \end{array} $ | (5) |
式中：f为频率, τ为时间间隔.
Wigner-Ville分布相比其他时频分布方法有着时频聚集性好、平移不变性等优点, 可是多分量信号中不同的信号分量间的交叉干扰使二次型时频分布存在着大量的交叉项, 从而对分析造成很大的干扰.
为了减少交叉项的干扰, 通过对时域和频域同时加窗的平滑伪Wigner-Ville分布(smoothed pseudo wigner-ville distribution, SPWVD), 在频域和时域上进行平滑处理, 使得交叉项得到了很大程度的抑制, 其表达式如下：
| $ \begin{array}{l} {\rm{SPWV}}{{\rm{D}}_s}\left( {t, f} \right) = \int_{-\infty }^{ + \infty } {s\left( {t + \frac{\tau }{2}} \right)} {s^*}\left( {t-\frac{\tau }{2}} \right) \times \\ \;\;h\left( \tau \right)g\left( v \right){\rm{exp}}(-j2{\rm{\pi }}f\tau ){\rm{d}}\tau {\rm{d}}v. \end{array} $ | (6) |
式中：核函数φ(τ, v)=h(τ)g(v), 满足h(0)=G(0)=1, G(f)是g(t)的傅里叶变换.
1.3.3 频率提取使用式(5) 对空间滤波后的脑电信号进行时频分析, 获得其时频分布：
| $ {L_i} = \left\{ \begin{array}{l} 1, \;\;\;\;{\rm{SPWV}}{{\rm{D}}_{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over x} }}\left( {t, {f_i}} \right) \ne 0;\\ 0, \;\;\;\;{\rm{SPWV}}{{\rm{D}}_{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over x} }}\left( {t, {f_i}} \right) = 0. \end{array} \right. $ | (7) |
| $ \hat f = \max \sum\limits_{i = 1}^4 {{L_i}} . $ | (8) |
经过2.2节所示的预处理, 其效果如图 4所示.图 4(a)和4(b)分别为在15 Hz视觉刺激频率下, Oz电极采集到的单次试验的原始脑电数据图和预处理之后的脑电数据图.从中可以看出, 原始脑电信号存在着较大的噪声, 经过预处理后该部分噪声被有效地消除, 为后续的处理提供了一个标准输入.
|
图 4 Oz电极采集的脑电数据预处理前、后效果对比图 Fig. 4 Comparison of results before and after preprocessing of EEG data collected by Oz electrode |
时频分布图能够直观反映信号的频率分布与时间的关系.如图 5所示为在15 Hz视觉刺激频率下6 s时间窗口长度脑电信号的频谱图与时频分布图, 其中1~5 s是持续4 s的视觉刺激, 0~1 s和5~6 s分别为刺激前、后1 s的休息期.图 5(a)是Oz单通道的脑电信号频谱图, 可以看到这段脑电信号能量主要集中在基波15 Hz和二次谐波30 Hz处, 其他部分为噪声；图 5(b)为使用拉普拉斯空间滤波后得到的脑电信号, 其能量基本位于15 Hz处, 噪声得到明显抑制, 但是与此同时二次谐波也被视为噪声被消除；图 5(c)为Oz单通道在6 s内的频率分布, 在休息期脑电信号频率分布散乱, 没有明显规律, 在视觉刺激发生期间, 信号频率主要集中在15 Hz和30 Hz处, 同时伴随着部分噪声；图 5(d)为空间滤波后的脑电信号在6 s内的频率分布, 相比图 5(c), 图 5(d)具有更少的噪声, 15 Hz处的频率强度有较大的提升.在空间滤波前、后, 其信噪比RSN分别为51.91 DB和69.84 DB, 信噪比有较大提升.
|
图 5 Oz通道脑电信号与空间滤波后脑电信号的频谱图与时频分布 Fig. 5 Frequency spectrum and time-frequency distribution of Oz channel before and after spatialfiltering |
分类准确率是脑机接口中常用的评价指标, 反映了系统正确的输出指令占所有输出指令的比例.为了研究不同时间窗口长度对分类准确率的影响, 实验将待分析脑电信号使用不同长度的时间窗进行截取, 时间窗长度从视觉刺激发生时刻开始截取, 以0.5 s为初始长度, 0.1 s为步长增长至4 s.平滑伪Wigner-Ville分布时频分析、功率谱密度分析和典型相关分析3种算法的分类准确率与时间窗长度的变化图分别如图 6所示.
|
图 6 不同时间窗长度下3种算法的平均分类准确率变化图 Fig. 6 Average classification accuracy chart of three algorithms under different time windows |
如图 6所示, tw为时间窗长度, Raccu为分类准确率.从图中可以看到, 这3种方法的分类准确率都随着时间窗的增长而升高.在短时间窗下, 无论是功率谱分析还是时频分析, 对脑电频率的识别效果都比典型相关分析的结果差；时间窗长达到1 s开始, 基于SPWVD的时频分析方法的效果逐渐超过功率谱密度分析, 单纯反应信号频率分布的PSDA在处理非平稳信号时受到的局限性越来越大, 其效果也是3种方法中最差的.在2 s时间窗下, 时频分析方法的效果已经和典型相关分析接近, 并且随着窗口的继续增加, 非平稳脑电信号中更多的时变特征等重要信息使时频分析方法的效果最终超过典型相关分析.
2.4 时间窗长度对信息传输率的影响脑机接口系统中另一个重要的评价指标是信息传输率(information transfer rate, ITR), 反映了每分钟脑机接口系统所能传输的信息量.ITR的定义如下式：
| $ B = {\rm{lo}}{{\rm{g}}_2}N + {R_{{\rm{accu}}}}{\rm{lo}}{{\rm{g}}_2}{R_{{\rm{accu}}}} + (1-{R_{{\rm{accu}}}}){\rm{log}}\frac{{1-{R_{{\rm{accu}}}}}}{{N-1}}. $ | (9) |
| $ {R_{{\rm{it}}}} = B \times V \times 60. $ | (10) |
式中：N为脑机接口可执行的指令总数, 每个命令具有相同的被执行概率, V为单位时间内可执行的指令个数，Rit为信息传输率.
如图 7所示为3种算法的信息传输率与时间窗长度的变化图.综合图 6和图 7可以发现, 虽然信息传输率是由分类准确率与时间窗长度共同决定, 但是ITR对窗口长度更敏感, 总体趋势上信息传输率随着时间窗的增加而降低.
|
图 7 不同时间窗长度下3种算法平均信息传输率变化图 Fig. 7 Change of average information transfer rate of three algorithms under different time windows |
在短时间窗下, 典型相关分析由于有着不错的分类准确率, 其信息传输率最高；功率谱密度分析在0.7 s窗口长度时分类准确率变化最大, 在这一时刻的信息传输率最高.
SPWVD时频分析方法由于在短时间窗下分类准确率不高, 其信息传输率也低于其他2种方法；当窗口长度增长时, 由于分类准确率提高带来的增益低于时间变长带来的减益, 其总体信息传输率呈下降趋势.不过相比较CCA和PSDA方法, SPWVD在长时间窗下由于分类准确率最高, 其信息传输率在这3种方法中是最高的.
2.5 不同个体间的差异同一个体在不同环境、不同情绪下的脑电信号都有很大的变化, 这种变化在不同个体间更加的突出和明显(Sj表示不同个体, 其中j=1, 2, …, 9).如表 1所示, 表中数据反应了不同受试者在时间窗长度每增加0.5 s情况下使用SPWVD时频分析提取SSVEP频率的分类准确率(RSj)变化情况.其中, Ra为对应不同时间窗长度下的分类准确率均值, 为方差.可以看到, 这种方法在不同的受试者身上产生的效果也存在差异.在最短的0.5 s窗口长度下, S1和S4的分类准确率就已经达到80%, 在最常用的2 s时间窗下的准确率甚至接近100%.但是其他受试者在0.5 s窗口长度下的结果并不理想, 尤其是S2的分类准确率变化最慢, 在2 s时间窗下的准确率仅为80.77%.
|
表 1 不同受试者在不同时间窗下使用SPWVD方法的分类准确率 Table 1 Classification accuracy of different subjects using SPWVD at different length of time windows |
但是总体趋势上随着时间窗口长度的增加, 分类准确率的平均值不断增大, 标准差不断减小.这说明时间窗长度的增加有助于提高分类准确率, 并且个体间的差异随着待分析脑电信号的增长而减小.在时间窗长度为4 s的情况下, SPWVD和CCA、SPWVD和PSDA, 这2组方法经过ANVOA方差分析(P < 0.05), 方法间存在着显著性差异.
这种SSVEP差异主要受两方面因素影响：一是个体的生理结构与心理活动使其诱发机制发生了微小变化[19]；二是每个受试者参与实验室的专注度不同使诱发的SSVEP响应强度有所变化[20].
3 结语本文在对SSVEP信号进行预处理和空间滤波的基础上, 采用平滑伪Wigner-Ville分布的时频分析方法将时间窗口长度内的脑电信号转换为时间-频率分布的信号, 分类汇总视觉刺激时间内的脑电频率, 并提取脑电信号中的最大频率成分作为目标频率.实验结果表明：随着分析时间窗的增大, 平滑伪Wigner-Ville时频分析方法具有一定的优势, 当时间窗为4 s时, 其分类准确率和信息传输率超过经典的典型相关分析(CCA)和功率谱密度分析方法(PSDA).在离线脑机接口系统中, 以提高分类准确率为目标对系统进行改进和优化, 对信息传输率要求较低, 基于SPWVD时频分析的频率提取方法可以发挥更好的分类提取效果, 提高脑机接口系统的性能.
| [1] | WOLPAW J R, BIRBAUMER N, MCFARLAND D J, et al. Brain-computer interfaces for communication and control[J]. Clinical Neurophysiology, 2002, 113(6): 767–791. DOI:10.1016/S1388-2457(02)00057-3 |
| [2] | WANG Y, GAO X, HONG B, et al. Brain-computer interfaces based on visual evoked potentials[J]. Engineering in Medicine and Biology Magazine, IEEE, 2008, 27(5): 64–71. DOI:10.1109/MEMB.2008.923958 |
| [3] | HE B, BAIRD R, BUTERA R, et al. Grand challenges in interfacing engineering with life sciences and medicine[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(3): 589–598. DOI:10.1109/TBME.2013.2244886 |
| [4] | FAN X, BI L, TENG T, et al. A brain-computer interface-based vehicle destination selection system using P300 and SSVEP signals[J]. Intelligent Transportation Systems Transactions on IEEE, 2015, 16(1): 274–283. DOI:10.1109/TITS.2014.2330000 |
| [5] | VIALATTE F, MAURICE M, DAUWELS J, et al. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives[J]. Progress in Neurobiology, 2010, 90(4): 418–438. DOI:10.1016/j.pneurobio.2009.11.005 |
| [6] | ZHANG Y, XU P, LIU T, et al. Multiple frequencies sequential coding for SSVEP-based brain-computer interface[J]. PloSone, 2012, 7(3): e29519. DOI:10.1371/journal.pone.0029519 |
| [7] | YIN E, ZHOU Z, JIANG J, et al. A novel hybrid BCI speller based on the incorporation of SSVEP into the P300 paradigm[J]. Journal of neural engineering, 2013, 10(2): 026012. DOI:10.1088/1741-2560/10/2/026012 |
| [8] | XU M, QI H, WAN B, et al. A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature[J]. Journal of neural engineering, 2013, 10(2): 026001. DOI:10.1088/1741-2560/10/2/026001 |
| [9] | CHENG M, GAO X, GAO S, et al. Design and implementation of a brain-computer interface with high transfer rates[J]. IEEE Transactions on Biomedical Engineering, 2002, 49(10): 1181–1186. DOI:10.1109/TBME.2002.803536 |
| [10] | FRIMAN O, CEDEFAMN J, LUNDBERG P, et al. Detection of neural activity in functional MRI using canonical correlation analysis[J]. Magnetic Resonance in Medicine, 2001, 45(2): 323–330. DOI:10.1002/(ISSN)1522-2594 |
| [11] | LIN Z, ZHANG C, WU W, et al. Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs[J]. IEEE Transactions on Biomedical Engineering, 2006, 53(12): 2610–2614. DOI:10.1109/TBME.2006.886577 |
| [12] | ZHANG Y, ZHOU G, ZHAO Q, et al. Multiway canonical correlation analysis for frequency components recognition in SSVEP-based BCIs [C] // 19th International Conference of Neural Information Processing. ICONIP 2012. Doha: Springer Berlin Heidelberg, 2011:287-295. |
| [13] | TIBSHIRANI R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1996(6): 267–288. |
| [14] |
张宇. 基于视觉诱发电位的脑—机接口分析算法优化及实时控制系统构建[D]. 上海: 华东理工大学, 2013.
ZHANG Yu. Analysis algorithm optimization and real-time control system establishment for brain-computer interface based on visual evoked potentials [D]. Shanghai: East China University of Science and Technology, 2013. |
| [15] | FRIMAN O, VOLOSYAK I, GRäSER A. Multiple channel detection of steady-state visual evoked potentials for brain-computer interfaces[J]. IEEE Transactions on Biomedical Engineering, 2007, 54(4): 742–750. DOI:10.1109/TBME.2006.889160 |
| [16] |
何庆华, 彭承琳, 吴宝明. 脑-机接口技术研究方法[J].
重庆大学学报:自然科学版, 2002, 25(12): 106–109.
HE Qing-hua, PENG Cheng-lin, WU Bao-ming. Research methods of brain-computer interface technology[J]. Journal of Chongqing University: Natural ScienceEdition, 2002, 25(12): 106–109. |
| [17] | GARCIA-MOLINA G, ZHU D. Optimal spatial filtering for the steady state visual evoked potential: BCI application [C] // 2011 5th International IEEE/EMBS Conference on Neural Engineering (NER). Cancun: IEEE. 2011: 156-160. |
| [18] | MLLER-PUTZ G R, SCHERER R, BRAUNEIS C, et al. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components[J]. Journal of Neural Engineering, 2005, 2(4): 123. DOI:10.1088/1741-2560/2/4/008 |
| [19] |
张杨松. 基于稳态视觉诱发电位的脑机制及脑-机接口研究[D]. 成都: 电子科技大学, 2013.
ZHANGYang-song. Research on steady state visualevoked potential of its brain mechanisms and application in brain-computer interface [D]. Chengdu: University of Electronic Science and Technology of China, 2013. |
| [20] | HART E P, DUMAS E M, REIJNTJES R, et al. Deficient sustained attention to response task and P300 characteristics in early Huntington's disease[J]. Journal of Neurology, 2012, 259(6): 1191–1198. DOI:10.1007/s00415-011-6334-0 |