基于样本熵与时频分析的手部抓握运动意图预测
Prediction of hand grasping intention based on sample entropy and time-frequency analysis
通讯作者:
收稿日期: 2020-01-7
基金资助: |
|
Received: 2020-01-7
Fund supported: | 国家自然科学基金资助项目(U1713218);广东省重点领域研发计划项目(2020B010165004) |
作者简介 About authors
许重宝(1995−),男,硕士生.从事脑机接口研究.orcid.org/0000-0002-3707-1609.E-mail:
针对上肢外骨骼控制信号产生与外部设备响应存在时间滞后导致脑机接口(BCI)系统实时性差的问题,采集被试手部自主抓握前运动相关皮质电位(MRCP) ,提出基于非线性复杂度特征样本熵 (SampEn)与线性幅值特征融合算法的手部运动意图预测方法. 从时频、神经复杂度分析不同大脑状态之间存在的差异,通过特征融合实现对手部抓握运动意图的预测. 基于特征融合意图离线预测准确率最高可达88.46%,可以在人体手部自主运动发生时刻−1 400 ms实现对手部运动预测. 与平静时期手部静止状态相比,被试产生手部抓握运动意图时脑电信号的功率谱与复杂度均产生明显变化,为基于手部运动意图预测提前驱动机器人实现人机协同提供控制策略.
关键词:
The movement related cortical potentials (MRCP) before the autonomous grasping movement of the hand were collected, and based on the fusion algorithm of nonlinear sample entropy (SampEn) feature and linear amplitude feature a prediction method of motion intention was proposed, in order to solve the problem of poor real-time of brain computer interface (BCI) system caused by the time lag between the control signal of upper limb exoskeleton and the response of external devices. The differences between different brain states were analyzed from the perspectives of time-frequency and neural complexity, and the prediction of hand grasping motor intention by feature fusion was realized. The off-line classification accuracy of intention based on the feature fusion was up to 88.46%, when the occurrence time of human hand voluntary motion was −1400 ms the prediction of hand motion can be realized. The EEG signals of hand grasping intention in the power spectrum and complexity are significantly different from those in the static state of the hand during the quiet period which could be proposed as a control strategy based on hand motion intention to drive robot in advance to realize human-computer cooperation.
Keywords:
本文引用格式
许重宝, 张虹淼, 孙立宁, 李娟, 樊炎, 郭浩.
XU Chong-bao, ZHANG Hong-miao, SUN Li-ning, LI Juan, FAN Yan, GUO Hao.
脑机接口(brain computer interface, BCI)系统可以不依赖大脑神经通路,通过采集人的脑电信号发送至计算机,借用机器学习算法进行意图识别,控制外部设备,实现人与外部环境的交互[1-2]. 脑机接口技术在运动康复、改善、替代方面具有重大的应用前景,给运动障碍患者带来康复的希望. 近年来,国内外关于脑机接口的研究蓬勃发展,通过采集脑电图(electroencephalogram, EEG)信号不同成分进行研究已经实现对外骨骼[3]、机械臂[4]、智能轮椅[5]等外部设备的控制. 目前,比较成熟的关于EEG信号实现BCI控制的研究主要有稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)[6]、P300[7]、运动想象(motor imagery, MI)脑电信号[8]等.
现有的BCI系统虽然能有效控制外部设备实现人机交互,但也存在一些问题. 最主要的问题是系统实时性低,响应时间长,无法实现自然控制. 由于被试需要通过眼睛接收外部的视觉刺激,在使用过程中会产生视觉疲劳,严重的甚至会诱发眼部疾病. 在实际运动发生时刻的−1 500 ms前后,大脑已经被激活,会产生8~10 μV负向偏移的运动相关皮质电位 (movement related cortical potentials , MRCP )[9]. 运动前的这段脑电信号中包含有能够预测接下来要发生运动的相关信息,而且不依赖外部刺激[10],这可以解决目前BCI系统存在的问题,实现对外部设备更自然、更流畅的控制,是未来BCI系统的发展趋势. 基于MRCP的意图识别也面临一些问题,如信号较微弱、抗干扰性差. 传统特征提取方法(如频带能量、小波变换)建立在EEG信号是线性的假设基础之上,所得结果却不尽如人意[11-12]. 大脑神经元是高度非线性的组织,脑电信号是神经元放电的时空累积. 当被试产生运动意图时,大脑的神经元集群放电模式会发生变化,貌似不可重复、不可预测的脑电信号中,可能隐含着简单的规律,这就是大脑的混沌现象[13].
针对传统BCI系统分类准确率相对较低、实时性较差的问题,在传统线性特征提取方法的基础上,基于大脑的混沌现象,将非线性混沌特征样本熵引入MRCP的研究中. 通过计算大脑状态复杂度的变化,表征不同大脑活动的差异,实现对手部运动意图预测. 基于手部运动意图的提前预测,提供提高BCI系统实时性的控制策略.
1. 脑电信号采集实验
1.1. 实验范式设计
如图1所示为运动相关皮质电位采集实验过程及设备. 理论上需要大脑参与的运动都有可能会产生相关的MRCP信号,尤其是非节律性的动作(如上肢的运动),实验采集的MRCP可能为多种运动意图产生的MRCP叠加. 为了保证所提取的MRCP是由手部抓握运动意图产生的,在实验过程中,需要在不依赖视听觉刺激的情况下采集被试完全自主运动时的EEG信号. 通过肌电(electromyogram,EMG)信号检测自主运动的发生时刻. 被试保持平静,思想放松,要避免过度紧张以免脑电信号产生较大的波动,尽量减少吞咽、眨眼运动. 被试自主决定进行抓握运动开始时间,抓握频率不能太高,2次运动间隔时间至少为4 000 ms. 每组实验结束后,被试休息一定时间,进入下组实验.
图 1
图 1 运动相关皮质电位采集实验过程及设备
Fig.1 Experimental process and equipments of motor related corticalpotential acquisition
本系统的脑电电极设定遵从标准的10−20国际电极布局系统. 在实验中,所有电极的阻抗都保持在10 kΩ以下,肌电信号用于检测手部抓握运动的发生. EEG信号采集设备(奥地利NeuroScan,主要包括64导Quik-Cap脑电帽、脑电信号放大器型号SynAmps2 、控制盒、电源等设备)和EMG信号采集设备(美国Noraxon TeleMyo System-1400A)的采样频率均为1 000 Hz.
实验共采集5名志愿者(年龄24±2岁)的脑肌电信号,每名被试实验前均未接受过手部抓握动作的训练. 针对手部抓握运动进行运动意图的预测,实际发生的动作为手掌的抓握、舒展.
1.2. 信号预处理
脑电信号极其微弱,掺杂着大量的噪声、眼电、工频干扰等伪迹信号. 在离线数据处理前需要预处理采集的脑电信号. 主要预处理流程包括:重参考、伪迹去除、基线校正、50 Hz工频滤波、0.1~30 Hz带通滤波. 预处理采用Matlab中的eeglab工具箱完成,在采集EEG信号实验中以GND接地电极作为参考,采集头皮上信号和大地的差值,同时记录身体其他部位产生的电位信号. 为了提高信号质量,将参考电极转换为左右乳突M1、M2电极进行重参考.
1.3. 确定有效时间段及关键通道选择
实验需要采集运动前的脑电信号,用于提取运动准备电位,进行被试的手部抓握运动意图的分析预测. 实际抓握运动发生时刻前的1 500 ms到抓握运动的整个时间段的EEG信号作为运动准备时期,此时被试大脑已经处于准备状态. 实际运动发生时刻前的3 000 ms到前1 500 ms为平静时期,此时被试大脑处于静息状态,无任何运动意图的产生. 须确定运动的起始时刻t作为0 ms时刻. 检测指浅屈肌的EMG信号,当肌电信号超过手部抓握最大肌电信号幅值A阈值10%时,便认为肌肉已经被激活,实际运动已经发生. 其中EEG信号与EMG信号的采集处理流程图如图2所示.
图 2
图 2 手部抓握运动脑肌电信号采集处理流程图
Fig.2 Flow chart of EEG and EMG signal acquisition and processing during hand grasping movement
现有研究尚未明确大脑运动意图的产生机理,相关大脑的激活区域也未明确. 采集的脑电信号所使用的通道数量,直接影响采集数据大小.若选取过多的通道进行离线数据分析,不仅包含大量冗余信息,而且会导致算法运行速度过慢,不符合BCI系统要求,因此须确定激活脑区. 采集被试全通道EEG信号进行平均叠加,分析时序关系和各个时刻激活的相关区域,观察被试者从无任何运动意图平静时期到运动准备状态,再到运动执行时期整个过程内,不同时刻大脑激活程度的变化.
如图3所示为手部抓握运动脑地形图及通道位置.从−3 000 ms开始绘制脑地形图,每图间隔200 ms,观察大脑的激活脑区,在−3 000 ~−2 200 ms时,EEG信号的幅值未出现显著变化,此时大脑处于静息状态;从−2 000 ms开始,可观察到EEG信号的幅值出现负向偏移,大脑脑区开始激活. 从脑地形图可以看出FC5、FC3、 FC1、FC2、 FC4、 FC6、 C5、 C3、C1、 C2、 C4、C6、 CP5、 CP3、 CP1、CP2、 CP4、 CP6这18个通道在自主运动时,有较大的负向偏移振幅,这些活动反映运动意图的预测过程.
图 3
图 3 手部抓握运动脑地形图及通道位置
Fig.3 Brain map of hand grasping movement and channel location
这18个通道所在脑区(后顶叶和额叶皮质区)与运动规划和运动意图关联较大. 同时,内侧前额叶皮质区是重要的功能区,对目标任务的执行起着重要作用,反映运动决策的过程.
2. EEG信号特征提取
2.1. 线性幅值特征提取
对于长度为N的时间序列
式中:
2.2. 非线性复杂度特征提取
2.2.1. 大脑系统的相空间重构
计算大脑信号系统的样本熵复杂度之前需要对大脑系统进行相空间重构. 相空间重构是通过时间延迟嵌入法,获得与脑电信号具有相同拓扑性质的几何对象,揭示可能蕴含在原序列的信息. 对于N个数据组成的一维脑电信号时间序列
式中:m为嵌入维数,τ为时间延迟.
m、τ值的确定,在本研究中,采用计算量小、计算准确的C-C算法[14-15]. 算法流程如下。1)定义相关积分函数
2.2.2. 样本熵算法实现
1)相空间重构m维空间向量:
式中:
2)定义向量
3)对于给定的
式中:
4)定义所有点数比例的平均值为
5)增加维数到m+1,当N有限值时,计算样本熵:
图 4
2.3. 特征融合
单一特征并不能有效揭示大脑在产生运动意图时潜在的动力学行为,为此分别从幅值及复杂度提取原始EEG信号特征,实现特征互补. 根据脑地形图结果选取18个通道EEG信号数据提取特征,将2个18维特征矩阵线性拼接成36维的特征矩阵进行特征融合,输入分类器中. 其中特征向量表达式为
式中:F为融合后特征,各元素为单个通道特征向量,A、S分别为幅值特征、复杂度特征,C、CP、FC分别为3种通道。
3. 实验结果
3.1. 时频域线性特征分析结果
本研究对手部抓握运动意图的整个过程进行时频分析,分析其不同时刻t下不同频段f的能量密度,在时频域上研究平静时期与运动准备时期之间存在的功率谱差异. 计算整个过程的事件相关谱扰动(event-related spectral perturbation, ERSP),测量所采集不同通道、不同信号成分的平均功率谱变化.
通过事件相关频谱扰动图,在较宽频率范围内实现对随时间变化的平均事件相关频谱功率变化的可视化,以C1通道为例,结果如图5所示,其他通道均表现出相似的变化模式. 分析表明当产生不同运动意图时,脑电信号在时域及时频域上存在可区分的特征,可通过时域频域特征识别运动意图. 在初始平静状态时,大脑未产生任何运动意图大脑平均功率谱稳定. 当0 ms时刻,产生被试实际的手部抓握运动时,大脑对侧脑区EEG会波幅变大,伴随着频带能量的上升,出现事件相关同步化(event related synchronization,ERS). 相反,大脑同侧脑区EEG波幅减小,被称为时间相关去同步(event-related desynchronization,ERD)[19]. 在−1 500 ms时刻左右,被试产生运动意图,处于运动准备状态,大部分大脑区域被激活,激活程度有差异,主要集中脑区为额叶皮质区. 与−3 000~−1 500 ms阶段相比,此时EEG信号出现负向偏移,功率谱密度降低,出现ERD现象,差异主要集中在0~13 Hz低频信号内.
图 5
3.2. 样本熵非线性特征分析结果
3.2.1. 相空间重构分析结果
利用C-C算法计算5个被试在不同通道(C3、C4)下,运动准备时期的EEG信号相空间重构的所有实验次数T嵌入维数及时间延迟,以被试Ⅱ的分析结果为例,结果如图6所示.
图 6
图 6 手部抓握实验的嵌入维数与时间延迟
Fig.6 Embedding dimension and time delay of hand grasping experiment
图 7
图 7 不同大脑状态EEG信号在m=2, τ=5的相空间轨迹
Fig.7 Phase space trajectory of EEG signals of different brain states in m= 2 and τ= 5
3.2.2. 样本熵时间过程分析结果
图 8
图 8 手部抓握运动时不同频带EEG信号复杂度时间过程
Fig.8 Complexity time course of EEG signals with different frequency band during hand grasping
3.3. 离线分类识别结果
通过提取EEG信号幅值与神经复杂度特征实现对于平静时期、准备时期的大脑状态识别,预测手部运动意图. 2种大脑状态EEG信号采集时被试均无任何实际运动产生.
提取实际运动发生时刻−3 000 ~−1 500 ms时间段的EEG信号作为休息时期的运动意图,运动发生时刻−1 500 ~0 ms作为运动准备时期的运动意图,分别对2个时间段EEG信号提取特征进行离线分类识别. 输入2种不同的分类器1)线性判别分析分类器(linear discriminant analysis, LDA) 2)支持向量机(SVM),得到不同被试的运动意图识别结果. LDA原理是通过寻找最优投影,将高维特征向量映射到一维,实现数据集分类的分离. SVM的原理是使分离的超平面之间的距离最大. SVM具有良好的泛化能力,并能选择最佳超平面作为决策边界. 经PCA降维后2种分类器预测结果如图9所示. 其中,被试Ⅱ意图预测的准确率p最高为88.46%,整体取得良好的分类准确率,基于LDA的分类识别p=80.75%±3.28%, 基于SVM分类识别p=77.37%±7.80%.
图 9
图 9 不同被试手部抓握运动意图预测准确率结果
Fig.9 Prediction accuracy results of hand grasping intention of different subjects
与其他研究团队的实验数据的离线分析结果对比如表1所示.基于特征融合的手部运动意图预测单通道数据运行时间为130 ms,总共18通道即一次的算法运行提取特征所需时间为2.34 s. 每分钟的假阳性(false positive, FP)检测为0.22±0.11 FPS/min.
表 1 国内外运动意图预测研究离线分析比较结果
Tab.1
由于实验被试、动作、过程等因素的影响导致实验范式各不相同,同时关于算法运行时间延迟的结果较少,算法执行时间无法进行准确比较。通过比较不同研究中的假阳性率,希望借此说明本文算法的可行性.
3.4. 伪在线实验结果
为了验证实时控制设备的可行性,使用时间窗模拟实时发送数据流进行伪在线实验,以用于后续实时在线控制设备的实现. 基于实验采集的被试脑电信号数据进行伪在线实验分析,为了防止误判,采用投票机制, 以100 ms不重叠的滑动窗口从实际运动发生时刻的−2 000 ms开始进行运动意图的判别,只有当10个连续检测的窗口中有5个及5个以上的窗口判别存在意图时,才认为检测到被试发生了运动意图.
通过不同分类器提前预测不同被试手部运动意图,预测时间如表2所示. 由表可知,基于LDA可在实际运动发生时刻(−1455±312) ms检测到被试的手部抓握运动意图平均预测准确率为82.45%,基于SVM可在实际运动发生时刻的(−1608±270) ms检测到被试的手部抓握运动意图,平均预测准确率为79.4%.
表 2 伪在线实验机制预测时间结果
Tab.2
被试 | p/ % | t/ms | |||
LDA | SVM | LDA | SVM | ||
Ⅰ | 83.33 | 76.92 | −2 000 | −2 000 | |
Ⅱ | 84.62 | 88.89 | −1 208 | −1 041 | |
Ⅲ | 86.67 | 81.67 | −1 363 | −1 681 | |
Ⅳ | 76.67 | 73.33 | −1 307 | −1 307 | |
Ⅴ | 80.95 | 76.19 | −1 400 | −1 650 |
不同被试预测准确率和提前预测到运动意图的时间存在差异,本研究认为这是不同被试存在个体差异导致的. 被试Ⅱ分类准确率最高,可能是实验中该被试大脑参与度最高,MRCP的幅值和神经复杂度的变化相对明显. 预测时间提前量是5个被试中最小的,即从运动意图产生到手部实际抓握运动发生的时间间隔最短,该被试的MRCP在幅值与神经复杂度的变化相对明显且快速.
4. 结 语
针对现有BCI系统实时性低,输出存在较大时间滞后的问题, 基于大脑存在混沌现象,利用非线性方法表征在不同大脑状态下,神经元的活跃程度差异. 运动准备阶段的EEG信号神经复杂度明显低于大脑进行运动想象阶段的复杂度,基于此对手部运动意图的实现进行提前预测,提供解决BCI实时性低问题的可行性策略.限于EEG信号过于微弱、易受干扰,本研究提出实验范式的控制任务数量有限,不能满足实际BCI应用中多分类的场景. 在未来的研究中,可以研究引入如速度、方向的更多运动参数对EEG信号复杂度的影响,以扩展BCI的输出控制命令种类.
参考文献
Use of mobile EEG in decoding hand movement speed and position
[J].DOI:10.1109/THMS.2021.3056274 [本文引用: 1]
Multi-scale neural network for EEG representation learning in BCI
[J].DOI:10.1109/MCI.2021.3061875 [本文引用: 1]
EEG-based volitional control of prosthetic legs for walking in different terrains
[J].DOI:10.1109/TASE.2019.2956110 [本文引用: 1]
Reach and grasp by people with tetraplegia using a neurally controlled robotic arm
[J].DOI:10.1038/nature11076 [本文引用: 1]
A self-paced BCI with a collaborative controller for highly reliable wheelchair driving: experimental tests with physically disabled individuals
[J].DOI:10.1109/THMS.2020.3047597 [本文引用: 1]
Cross-target transfer algorithm based on the volterra model of SSVEP-BCI
[J].DOI:10.26599/TST.2020.9010015 [本文引用: 1]
Toward the optimization of the region-based P300 speller
[J].DOI:10.32604/cmc.2021.014140 [本文引用: 1]
A hybrid BCI system based on motor imagery and transient visual evoked potential
[J].DOI:10.1007/s11042-019-7607-3 [本文引用: 1]
利用运动准备电位的人体下肢自主运动意图预先感知方法
[J].
A preperception method for voluntary movement intention of lower limb using readiness potential
[J].
Transcranial focused ultrasound neuromodulation of voluntary movement-related cortical activity in humans
[J].
Effect of hand grip actions on object recognition process: a machine learning-based approach for improved motor rehabilitation
[J].DOI:10.1007/s00521-020-05125-w [本文引用: 1]
A novel approach based on EMD to improve the performance of SSVEP based BCI system
[J].DOI:10.1007/s11277-021-08135-6 [本文引用: 1]
基于C-C算法的混沌吸引子的相空间重构技术
[J].
Phase-space reconstruction technology of chaotic attractor based on C-C method
[J].
Physiological time-series analysis: what does regularity quantify?
[J].DOI:10.1152/ajpheart.1994.266.4.H1643 [本文引用: 1]
On the effects of signal processing on sample entropy for postural control
[J].
Physiological time-series analysis using approximate entropy and sample entropy
[J].
An entropy fusion method for feature extraction of EEG
[J].DOI:10.1007/s00521-016-2594-z [本文引用: 1]
Event-related EEG/MEG synchronization and desynchronization: basic principles
[J].DOI:10.1016/S1388-2457(99)00141-8 [本文引用: 1]
结合非线性全局特征和谱特征的脑电情感识别
[J].DOI:10.3778/j.issn.1002-8331.1803-0027 [本文引用: 1]
EEG emotion recognition based on nonlinear global features and spectral feature
[J].DOI:10.3778/j.issn.1002-8331.1803-0027 [本文引用: 1]
基于卷积神经网络的脑电信号上肢运动意图识别
[J].
Recognition of upper limb motion intention of EEG signal based on convolutional neural network
[J].
Decoding olfactory stimuli in EEG data using nonlinear features: a pilot study
[J].
运动相关皮质电位在运动康复领域的应用
[J].
Application of movement-related cortical potentials in the field of motor rehabilitation
[J].
Prediction of human voluntary movement before it occurs
[J].DOI:10.1016/j.clinph.2010.07.010 [本文引用: 1]
Detecting and classifying movement-related cortical potentials associated with hand movements in healthy subjects and stroke patients from single-electrode, single-trial EEG
[J].DOI:10.1088/1741-2560/12/5/056013 [本文引用: 1]
EEG-based lower-limb movement onset decoding: continuous classification and asynchronous detection
[J].DOI:10.1109/TNSRE.2018.2855053 [本文引用: 1]
/
〈 |
|
〉 |
