浙江大学学报(工学版), 2025, 59(12): 2472-2482 doi: 10.3785/j.issn.1008-973X.2025.12.002

电子与通信工程

基于跨受试者邻近刺激学习的稳态视觉诱发电位信号识别

杜凡,, 王勇, 严军, 郭红想,

中国地质大学(武汉) 机械与电子信息学院,湖北 武汉 430074

Steady-state visual evoked potential signal recognition based on cross-subject neighboring stimulus learning

DU Fan,, WANG Yong, YAN Jun, GUO Hongxiang,

School of Mechanical Engineering and Electronic Information, China University of Geosciences, Wuhan 430074, China

通讯作者: 郭红想,女,副教授. orcid.org/0000-0002-9193-7610. E-mail: guohongxiang@cug.edu.cn

收稿日期: 2024-12-18  

基金资助: 国家自然科学基金资助项目(61973283).

Received: 2024-12-18  

Fund supported: 国家自然科学基金资助项目(61973283).

作者简介 About authors

杜凡(2001—),男,硕士生,从事脑-机接口研究.orcid.org/0009-0002-0057-1033.E-mail:2498117298@qq.com , E-mail:2498117298@qq.com

摘要

为了解决稳态视觉诱发电位(SSVEP)脑-机接口(BCI)系统在校准试验不足时的性能限制,提出跨受试者邻近刺激学习的SSVEP信号识别方法. 该方法结合目标受试者校准试验与正余弦参考信号,通过SAME数据增强方法,将正余弦参考信号邻近刺激基波和谐波信息有效融入目标受试者任务相关信息中. 在此基础上,通过分析目标受试者内、目标受试者与源受试者之间以及目标受试者与参考信号之间的相关性,利用典型相关分析(CCA)提取信号的基波和谐波特性,并结合任务相关成分分析(TRCA)提取信号的任务相关信息,从而优化空间滤波器. 从目标受试者和源受试者中提取邻近刺激公共频率信息,最终通过模板匹配实现目标识别. 实验结果表明,在仅使用一次校准试验的情况下,所提出的方法在Benchmark和BETA数据集上的识别准确率分别达到了80.17%和70.83%,且识别时间仅为0.6 s,相较于当前最先进的跨受试者学习方法eTransRCA,分别提高了16.75、15.85个百分点. 结果证明了该方法在提高识别准确率和缩短校准试验时间方面的优势,验证了其有效性.

关键词: 脑-机接口 ; 稳态视觉诱发电位(SSVEP) ; 邻近刺激学习 ; 迁移学习 ; 跨受试者

Abstract

A cross-subject neighboring stimulus learning method for steady-state visual evoked potential (SSVEP) signal recognition was proposed to address the performance limitations of SSVEP brain-computer interface (BCI) systems under conditions of insufficient calibration trials. Target-subject calibration trials were combined with sine-cosine reference signals, and the sine-cosine reference signal neighboring stimulus fundamental and harmonic information was effectively incorporated into the target-subject task-relevant information through the SAME data augmentation technique. On this basis, the fundamental and harmonic characteristics of the signal were extracted using canonical correlation analysis (CCA), and the task-related information of the signal was extracted in combination with task-related component analysis (TRCA). The spatial filter was optimized by analyzing the correlations within the target subject, between the target subject and the source subject, and between the target subject and the reference signal. Common frequency information from neighboring stimulus was extracted from both the target and source subjects, and target recognition was achieved through template matching. The experimental results showed that the proposed method achieved recognition accuracies of 80.17% and 70.83% on Benchmark and BETA datasets, respectively, using only one calibration trial, and the recognition time was only 0.6 seconds, which was an improvement of 16.75 percentage points and 15.85 percentage points, respectively, compared with the current state-of-the-art cross-subject learning method, eTransRCA. These results demonstrated the advantages of improving recognition accuracy and shortening calibration trial time, validating the effectiveness of the method.

Keywords: brain-computer interface ; steady-state visual evoked potential (SSVEP) ; neighboring stimulus learning ; transfer learning ; cross-subject

PDF (3291KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

杜凡, 王勇, 严军, 郭红想. 基于跨受试者邻近刺激学习的稳态视觉诱发电位信号识别. 浙江大学学报(工学版)[J], 2025, 59(12): 2472-2482 doi:10.3785/j.issn.1008-973X.2025.12.002

DU Fan, WANG Yong, YAN Jun, GUO Hongxiang. Steady-state visual evoked potential signal recognition based on cross-subject neighboring stimulus learning. Journal of Zhejiang University(Engineering Science)[J], 2025, 59(12): 2472-2482 doi:10.3785/j.issn.1008-973X.2025.12.002

脑-机接口(brain-computer interface, BCI)是一种创新的通信技术,允许用户通过脑信号直接控制外部设备,无须依赖传统的外周神经系统和肌肉通路[1-3]. 在BCI研究领域,基于稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)的BCI,相较于运动想象、P300和其他基于脑电图(electroencephalogram, EEG)的BCI范式,因其出色的信噪比(signal-to-noise radio, SNR)和信息传输率(information transfer rate, ITR)而受到青睐[4-8],现已广泛应用于机器人控制[9]、智能家居控制[10]以及字符拼写[11]等多个领域.

在SSVEP-BCI领域,开发高效的SSVEP解码方法是实现其实际应用的关键所在. 早期研究尝试利用单通道EEG数据和频率密度分析(power spectrum density analysis, PSDA)来识别SSVEP,但由于对背景噪声的敏感性,这种方法的识别准确率有限[12]. 近年来,多种基于多通道EEG数据的空间滤波技术被引入以提高识别准确率,包括最小能量组合(minimum energy combination, MEC)[13]、多元同步指数(multivariate synchronization index, MSI)[14]和典型相关分析(canonical correlation analysis, CCA)[15]等. 特别是,Lin等[15]提出利用CCA对SSVEP进行解码,通过空间滤波技术有效利用多通道EEG数据的空间信息,并结合人工构建的正余弦参考模板来识别SSVEP. 该方法增强了信号的信噪比,并取得了不错的性能. Chen等[16]提出滤波器组典型相关分析(filter bank CCA, FBCCA)方法,通过整合谐波信息进一步提升SSVEP解码的性能,该技术已被广泛应用于解码算法中[17-21]. 然而,这些无需训练的方法在识别SSVEP频率时易受到自发性大脑活动的干扰,限制了其ITR.

面对这一挑战,研究人员基于CCA进一步开发了利用个体校准试验的空间滤波技术. 结合个体特定的校准试验,提出多集典型相关分析(multi-set CCA, MsetCCA)[17]和扩展典型相关分析(extended CCA, ECCA)[18],以增强SSVEP频率的检测性能. 同时,Nakanishi等[19]提出任务相关成分分析(task-related component analysis, TRCA)及其集成策略(ensemble TRCA, eTRCA),通过最大化校准试验间的重现性来训练空间滤波器,实现了识别性能的显著提升. 此外,Huang等[22]结合相邻位置刺激数据训练空间滤波器,以及Wong等[23]提出的多刺激学习策略,进一步提升了SSVEP-BCI的目标识别性能. 但这些方法须收集充足的校准试验,过程既耗时又费力,对于实用的SSVEP-BCI系统而言,迫切需要一种基于有限校准试验的高效学习策略.

为了在校准试验不足的情况下维持高识别性能,研究者引入迁移学习至SSVEP解码中,通过将源受试者的公共知识迁移至目标受试者,提升目标受试者的解码性能. 这主要涉及2种迁移学习策略:基于转移模板的迁移学习和基于转移空间滤波器的迁移学习. 例如,Yuan等[24]提出基于转移模板的典型相关分析(transfer template-based CCA, tt-CCA),以及Waytowich等[25]提出自适应组合CCA(adaptive-C3A),旨在将源受试者的SSVEP模板迁移至目标受试者. Yan等[26-27]提出跨受试者空间滤波器转移(cross-subject spatial filter transfer, CSSFT)方法及其改进版本,将模板和空间滤波器从源受试者迁移至目标受试者. 尽管这些方法取得了一定的性能提升,但长时间的校准过程仍限制了SSVEP-BCI系统的实际应用.

为了使校准时间更短,并保持高识别性能,研究者基于源受试者和目标受试者共享的公共知识,提出了多种方法. Wang等[28]提出的受试者内和受试者间最大相关性(inter- and intra-subject maximal correlation, IISMC),Lan等[29]提出的转移相关成分分析(transfer-related component analysis, TransRCA)和Wei等[30]提出的受试者内和受试者间典型相关分析(intra- and inter-subject CCA, IISCCA),均取得了良好成绩. 但这些方法仍受限于目标受试者的校准试验,尤其是在仅单一校准试验时,识别准确率会受到严重影响. Chiang等[31]提出的最小二乘变换(least-squares transformation, LST)方法以及Bian等[32]提出的小数据最小二乘变换(small data-LST, sd-LST),通过转换源受试者的数据以匹配目标受试者的数据,补充目标受试者的校准数据集. Luo等[33]采用源混叠矩阵估计(source aliasing matrix estimation, SAME)方法,利用有限的已知校准试验生成反映个体特异性的人工合成校准试验,以此扩展数据集. 这些方法均为数据增强技术,解决了校准试验不足的问题,但受试者的视觉疲劳、注意力失误以及认知负荷等个体差异因素可能会阻碍试验的可转移性[34-35].

针对校准试验不足,尤其是仅有单一校准试验,以及个体差异因素的挑战,提出跨受试者邻近刺激学习方法. 该方法旨在从受试者的目标刺激及其邻近刺激数据中提取相关信息,包含2个核心组成部分. 1)为了充分利用目标受试者的校准试验并降低个体差异的影响,采取2种策略进行信息融合. 一方面,通过最大化与正余弦参考信号的相关性,提取SSVEP的基波和谐波特征,构建邻近刺激共享空间滤波器;另一方面,通过对目标受试者的校准试验施加SAME增强方法,再最大化其增强后校准试验间的协方差,提取任务相关成分,构建受试者内邻近刺激共享空间滤波器. 2)通过引入源受试者与目标受试者校准试验间的协方差最大化策略,从源受试者数据中提取与目标受试者相似的信号信息,构建受试者间邻近刺激共享空间滤波器. 本方法的优势在于结合了CCA提取信号基波和谐波特性与TRCA提取任务相关信息的优点,能够有效提取SSVEP信号中的基波、谐波特征及任务相关信息,从而提高系统的鲁棒性.

1. 跨受试者邻近刺激学习方法

假设目标受试者第k类刺激的第j次试验的校准试验表示为$ {\boldsymbol{X}}_{k}^{\left(j\right)}\in {{{\bf{R}}}}^{{N}_{\mathrm{c}}\times {N}_{\mathrm{p}}}(k=1,2,\cdots ,{N}_{\mathrm{f}},j=1,2,\cdots , {N}_{\mathrm{t}}) $. 其中,$ {N}_{\mathrm{c}} $为通道数,$ {N}_{\mathrm{p}} $为采样点个数,$ {N}_{\mathrm{f}} $为刺激数量,$ {N}_{\mathrm{t}} $为校准试验数量. 基于先前研究,邻近位置刺激定义为与目标刺激空间位置相邻的刺激,即视觉刺激阵列中与目标刺激直接相邻的刺激[22]. 这些邻近位置刺激产生的SSVEP信号共享一个共同的空间模式,并包含相似的频率信息,使得邻近刺激的试验也用于空间滤波器的训练. 具体来说,对于第k类刺激,其第$ h $个邻近刺激的校准试验定义为$ {\boldsymbol{X}}_{{k}^{h}}^{\left(j\right)}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times {N}_{\mathrm{p}}}(h=1,2,\cdots ,{N}_{\rm{h}}) $$ {N}_{\mathrm{h}} $表示第k类刺激的邻近刺激的数量. 将第k类刺激与其邻近刺激的校准试验沿时间维度进行拼接,形成一个扩展的校准试验矩阵. 因此,扩展校准试验$ \boldsymbol{X}_k^{\prime(j)} \in \mathbf{R}^{N_{\mathrm{c}} \times\left(N_{\mathrm{h}}+1\right) N_{\mathrm{p}}}$表示为

$ \boldsymbol{X}_k^{\prime(j)}=\left[\boldsymbol{X}_k^{(j)}, \boldsymbol{X}_{k^1}^{(j)}, \cdots, \boldsymbol{X}_{k^{N _{\mathrm{h}}}}^{(j)}\right] . $

在所提方法中,采用不同信号之间的相关性设计了4种邻近共享空间滤波器,用以提取和增强邻近刺激的公共频率信息;构建了2个信号模板,以便对测试试验进行模板匹配. 训练过程如图1所示. 其中,$ {\boldsymbol{w}}_{\mathrm{t}\mathrm{r}} $$ {\boldsymbol{w}}_{\mathrm{r}\mathrm{t}} $$ {\boldsymbol{w}}_{\mathrm{t}} $$ {\boldsymbol{w}}_{\mathrm{s}} $为训练的邻近刺激共享空间滤波器. 具体的空间滤波器的设计和信号模板的构造通过以下3部分展示.

图 1

图 1   获取空间滤波器流程图

Fig.1   Flowchart for obtaining spatial filter


1.1. 最大相关性

由于目标刺激下产生的SSVEP信号可以通过与目标刺激相同频率的正余弦信号的线性组合及其谐波叠加来近似表示[15],针对扩展校准试验构造了对应的正余弦扩展参考信号. 与目标受试者的校准试验处理方式一样,正余弦扩展参考信号定义为$\boldsymbol{Y}^{\prime}_k \in \mathbf{R}^{2 N_{\mathrm{r}} \times\left(N_{\mathrm{h}}+1\right) N_{\mathrm{p}}}$,表达式为$ \boldsymbol{Y}^{\prime}_k=\left[\boldsymbol{Y}_k, \boldsymbol{Y}_{k^1}, \cdots, \boldsymbol{Y}_{k^{N _\mathrm{h}}}\right] $. 其中,正余弦参考信号$ {\boldsymbol{Y}}_{k}\in {\mathbf{R}}^{2{N}_{\mathrm{r}}\times {N}_{\mathrm{p}}} $, 定义如下:

$ {\boldsymbol{Y}}_{k}=\left[\begin{array}{c}\sin~\left(2{\text{π}} {f}_{k}t\right)\\\cos~\left(2{\text{π}} {f}_{k}t\right)\\ \vdots \\\sin~\left(2{\text{π}} {N}_{{\mathrm{r}}}{f}_{k}t\right)\\\cos~\left(2{\text{π}} {N}_{{\mathrm{r}}}{f}_{k}t\right)\end{array}\right],\quad t=\left[\dfrac{1}{{f}_{{\mathrm{s}}}},\dfrac{2}{{f}_{{\mathrm{s}}}},\cdots ,\dfrac{{N}_{{\mathrm{p}}}}{{f}_{{\mathrm{s}}}}\right]. $

式中:fk 表示目标刺激频率;根据文献[16],最大谐波数$ {N}_{\mathrm{r}}=5 $,采样频率$ {f}_{\mathrm{s}}=250 $.

模板信号$ \bar{\boldsymbol{X}}'_{k}\in { \mathbf{R}}^{{N}_{\mathrm{c}}\times ({N}_{\mathrm{h}}+1){N}_{\mathrm{p}}} $可通过平均所有目标受试者的扩展校准试验获得:

$ \bar{\boldsymbol{X}}_k^{\prime}=\frac{1}{N_{\mathrm{t}}} \sum_{j=1}^{N_{\mathrm{t}}} \boldsymbol{X}_k^{\prime(j)}. $

因此,邻近共享空间滤波器$ {\boldsymbol{w}}_{\mathrm{t}\mathrm{r}}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times 1} $$ {\boldsymbol{w}}_{\mathrm{r}\mathrm{t}}\in {\mathbf{R}}^{2{N}_{\mathrm{r}}\times 1} $可通过最大化$ \bar{\boldsymbol{X}}'_{k} $$ \boldsymbol{Y}'_{k} $的典型相关性获得:

$\begin{split} & \max _{\boldsymbol{w}_{{\mathrm{t r}}}, \boldsymbol{w}_{{\mathrm{r t}}}} \rho\left(\bar{\boldsymbol{X}}^{\prime}_k, \boldsymbol{Y}^{\prime}_k\right)=\\&\qquad \dfrac{E\left[\boldsymbol{w}_{{\mathrm{t r}}}{ }^{\mathrm{T}} \bar{\boldsymbol{X}}^{\prime}_k \boldsymbol{Y}^{\prime}_k{ }^{\mathrm{T}} \boldsymbol{w}_{{\mathrm{r t}}}\right]}{\sqrt{E\left[\boldsymbol{w}_{{\mathrm{t r}}}{ }^{\mathrm{T}} \bar{\boldsymbol{X}}^{\prime}_k \bar{\boldsymbol{X}}^{\prime}_k{ }^{\mathrm{T}} \boldsymbol{w}_{{\mathrm{t r}}}\right] E\left[\boldsymbol{w}_{{\mathrm{r t}}}{ }^{\mathrm{T}} \boldsymbol{Y}^{\prime}_k \boldsymbol{Y}^{\prime}_k{ }^{\mathrm{T}} \boldsymbol{w}_{{\mathrm{r t}}}\right]}} .\end{split} $

1.2. 受试者内最大相关性

为了充分提取目标受试者任务相关信息,首先对目标受试者的所有扩展校准试验应用SAME数据增强方法,然后最大化增强后试验间的协方差,学习邻近刺激之间共享空间滤波器,并平均目标受试者所有校准试验以获得SSVEP个体模板.

SAME数据增强方法利用目标受试者有限的已知校准试验,生成能反映其个体特异性的人工合成校准试验,以此扩展数据集. SSVEP的理论模型可以定义为

$ {\bar{\boldsymbol{X}}}_{k}={\boldsymbol{A}}_{k}{\boldsymbol{Y}}_{k}+{\boldsymbol{N}}_{k} . $

式中:$ {\bar{\boldsymbol{X}}}_{k} $为已有校准试验平均值,$ {\boldsymbol{A}}_{k} $表示混叠矩阵,$ {\boldsymbol{N}}_{k} $表示背景噪声. 通过最小二乘变换求解$ {\boldsymbol{A}}_{k} $

$ \hat{{\boldsymbol{A}}_{k}}=\underset{{\boldsymbol{A}}_{k}}{{\mathrm{argmin}}}~\|{\bar{\boldsymbol{X}}}_{k}-{\boldsymbol{A}}_{k}{\boldsymbol{Y}}_{k}\|_{{\mathrm{F}}}^{2}. $

最后,人工合成校准试验$ {\boldsymbol{Z}}_{k} $可以表示为

$ {\boldsymbol{Z}}_{k}={\hat{\boldsymbol{A}}_{k}}{\boldsymbol{Y}}_{k}+\alpha {\boldsymbol{W}}_{k}. $

式中:$ \alpha $ = 0.05,用于控制噪声强度;$ {\boldsymbol{W}}_{k}\mathrm{表}\mathrm{示} $随机噪声,满足多元高斯分布[33].

采用SAME对目标受试者扩展校准试验进行数据增强. 具体来说,通过最小二乘变换计算正余弦扩展参考信号$ \boldsymbol{Y}'_{k} $的混叠矩阵重建源信号,加入随机噪声得到人工扩展校准试验$ \boldsymbol{Z}_k^{\prime(m)}(m=1,2,\cdots ,{N}_{\mathrm{a}}) $$ {N}_{\mathrm{a}} $为人工扩展校准试验数量. 对扩展校准试验$ {\boldsymbol{X}}_{k}^{\prime \left(j\right)} $进行数据增强,得到增强后的扩展校准试验$ \hat{\boldsymbol{X}}_{k}^{\prime \left(i\right)}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times ({N}_{\mathrm{h}}+1){N}_{\mathrm{p}}}(i=1,2,\cdots ,{N}_{\mathrm{t}}+{N}_{\mathrm{a}}) $包含$ {\boldsymbol{X}}_{k}^{{\prime}\left(j\right)} $和人工扩展校准试验$ {\boldsymbol{Z}}_{k}^{{\prime}\left(m\right)} $. 其中,$ {\boldsymbol{Z}}_{k}^{{\prime}\left(m\right)}=\left[{\boldsymbol{Z}}_{k}^{\left(m\right)},{\boldsymbol{Z}}_{{k}^{1}}^{\left(m\right)},\cdots , {\boldsymbol{Z}}_{{k}^{{N}_{\mathrm{h}}}}^{\left(m\right)}\right] $. 随后,增强后的扩展校准试验间协方差矩阵的所有可能组合的总和$ {\boldsymbol{R}}_{\mathrm{t}\mathrm{a}\mathrm{r}} $和自协方差矩阵总和$ {\boldsymbol{Q}}_{\mathrm{t}\mathrm{a}\mathrm{r}} $计算过程如下:

$ \boldsymbol{R}_{\mathrm{tar}}=\displaystyle\sum_{\substack{i_1, i_2=1 \\ i_1 \neq i_2}}^{N_{\mathrm{t}}+N_{\mathrm{a}}} \operatorname{Cov}\left(\hat{\boldsymbol{X}}_k^{\prime\left(i_1\right)}, \hat{\boldsymbol{X}}_k^{\prime\left(i_2\right)}\right), $

$ {\boldsymbol{Q}}_{{\mathrm{tar}}}=\underset{{i}_{1}={i}_{2}=1}{\sum ^{{N}_{{\mathrm{t}}}+{N}_{{\mathrm{a}}}}}{\mathrm{Cov}}~\left({\hat{\boldsymbol{X}}}_{k}^{{\prime}\left({i}_{1}\right)},{\hat{\boldsymbol{X}}}_{k}^{{\prime}\left({i}_{2}\right)}\right). $

因此,受试者内邻近共享空间滤波器$ {\boldsymbol{w}}_{\mathrm{t}}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times 1} $可以通过最大化受试者内试验间协方差之和最大化来实现,可以转换为如下公式:

$ {\boldsymbol{w}}_{{\mathrm{t}}}=\underset{{\boldsymbol{w}}_{{\mathrm{t}}}}{{\mathrm{argmax}}}~\frac{{{\boldsymbol{w}}_{{\mathrm{t}}}}^{{\mathrm{T}}}{\boldsymbol{R}}_{{\mathrm{tar}}}{\boldsymbol{w}}_{{\mathrm{t}}}}{{{\boldsymbol{w}}_{{\mathrm{t}}}}^{{\mathrm{T}}}{\boldsymbol{Q}}_{{\mathrm{tar}}}{\boldsymbol{w}}_{{\mathrm{t}}}}. $

根据广义瑞利商,受试者内邻近共享空间滤波器$ {\boldsymbol{w}}_{\mathrm{t}} $即为矩阵$ {{\boldsymbol{Q}}_{\mathrm{t}\mathrm{a}\mathrm{r}}}^{-1}{\boldsymbol{R}}_{\mathrm{t}\mathrm{a}\mathrm{r}} $的最大特征值对应的特征向量. 个体模板$ {\bar{\hat{\boldsymbol{X}}}}_{k}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times {N}_{\mathrm{p}}} $通过平均增强后的校准试验获得:

$ {\bar{\hat{\boldsymbol{X}}}}_{k}=\frac{1}{{N}_{{\mathrm{t}}}+{N}_{{\mathrm{a}}}}\left(\underset{j=1}{\sum ^{{N}_{{\mathrm{t}}}}}{\boldsymbol{X}}_{k}^{\left(j\right)}+\underset{m=1}{\sum ^{{N}_{{\mathrm{a}}}}}{\boldsymbol{Z}}_{k}^{\left(m\right)}\right). $

1.3. 受试者间最大相关性

从源受试者数据中提取与目标受试者相似的信号信息,通过最大化目标受试者与源受试者扩展校准试验之间的最大相关性,学习邻近刺激之间共享的跨受试者邻近共享空间滤波器,并通过平均源受试者所有校准试验以获得SSVEP迁移模板. 具体来说,假设$ {S}_{M}(M=\mathrm{1,2},\cdots ,{N}_{\mathrm{s}} $)代表选定用于迁移训练的源受试者,$ {N}_{\mathrm{s}} $表示用于迁移训练的源受试者数量. 源受试者$ {S}_{M} $的扩展校准试验${\boldsymbol{X}}_{{S_M},k}^{\prime (l)} \in {{\bf{R}}^{{N_{\rm{c}}} \times \left( {{N_{\rm{h}}} + 1} \right){N_{\rm{p}}}}}$定义为

$\boldsymbol{X}_{S_M, k}^{\prime(l)}= \left[{\boldsymbol{X}}_{{S}_{M},k}^{\left(l\right)},{\boldsymbol{X}}_{{{S}_{M},k}^{1}}^{\left(l\right)}, \cdots ,{\boldsymbol{X}}_{{{S}_{M},k}^{{N}_{{\mathrm{h}}}}}^{\left(l\right)}\right]. $

式中:$ {\boldsymbol{X}}_{{S}_{M},k}^{\left(l\right)}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times {N}_{\mathrm{p}}}(l=\mathrm{1,2},\cdots ,{N}_{\mathrm{t}}) $为源受试者$ {S}_{M} $的第k类刺激的$ l $次试验的校准试验. 将源受试者$ {S}_{M} $所有扩展校准试验平均得到的$ \overline{\boldsymbol{X}}_{S_M, k}^{\prime} \in {\mathbf{R}}^{{N}_{\mathrm{c}}\times \left({N}_{\mathrm{h}}+1\right){N}_{\mathrm{p}}} $作为迁移的扩展校准试验的一部分,则用于迁移训练的扩展校准试验$ \overline{\boldsymbol{X}}_{\mathrm{S}, k}^{\prime(n)} \in {\mathbf{R}}^{{N}_{\mathrm{c}}\times \left({N}_{\mathrm{h}}+1\right){N}_{\mathrm{p}}} $可以表示为源受试者$ {S}_{M} $的所有扩展校准试验的平均:

$ \overline{\boldsymbol{X}}_{\mathrm{S}, k}^{\prime(n)} =\overline{\boldsymbol{X}}_{S_M, k}^{\prime};~n=M=1,2, \cdots, N_{\mathrm{s}}. $

因此,通过最大化源受试者与目标受试者扩展校准试验之间所有交叉协方差之和来学习受试者间邻近共享滤波器. 源受试者与目标受试者扩展校准试验间所有交叉协方差之和$ {\boldsymbol{R}}_{\mathrm{t}\mathrm{s}} $表示为

$ \begin{split} \boldsymbol{R}_{{\mathrm{t s}}} =& \sum_{i=1}^{N_{\mathrm{t}}+N_{\mathrm{a}}} \sum_{n=1}^{N_{\mathrm{s}}} \operatorname{Cov}\left(\hat{\boldsymbol{X}}_k^{(i)}, \bar{\boldsymbol{X}}_{{\mathrm{S}}, k}^{\prime(n)}\right)+ \\& \sum_{i=1}^{N_{\mathrm{t}}+N_{\mathrm{a}}} \sum_{n=1}^{N_{\mathrm{s}}} \operatorname{Cov}\left(\bar{\boldsymbol{X}}_{{\mathrm{S}}, k}^{\prime(n)}, \hat{\boldsymbol{X}}_k^{\prime(i)}\right) .\end{split} $

源受试者扩展校准试验与目标受试者扩展校准试验的自协方差矩阵之和$ {\boldsymbol{Q}}_{\mathrm{t}\mathrm{s}} $表示为

$ \begin{split} \boldsymbol{Q}_{\mathrm{ts}}= & \sum_{i_1=i_2=1}^{N_{\mathrm{t}}+N_{\mathrm{a}}} \operatorname{Cov}\left(\hat{\boldsymbol{X}}_k^{\prime\left(i_1\right)}, \hat{\boldsymbol{X}}_k^{\prime\left(i_2\right)}\right)+ \\& \sum_{n_1=n_2=1}^{N_{\mathrm{s}}} \operatorname{Cov}\left(\bar{\boldsymbol{X}}_{\mathrm{S}, k}^{\prime\left(n_1\right)}, \bar{\boldsymbol{X}}_{\mathrm{S}, k}^{\prime\left(n_2\right)}\right).\end{split} $

所求受试者间邻近共享空间滤波器$ {\boldsymbol{w}}_{\mathrm{s}}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times 1} $即为矩阵$ {{\boldsymbol{Q}}_{\mathrm{t}\mathrm{s}}}^{-1}{\boldsymbol{R}}_{\mathrm{t}\mathrm{s}} $的最大特征值对应的特征向量. 迁移模板$ {\bar{\bar{\boldsymbol{X}}}}_{\mathrm{S},k}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times {N}_{\mathrm{p}}} $可通过平均所有源受试者的校准试验得到:

$ {\bar{\bar{\boldsymbol{X}}}}_{{\mathrm{S}},k}=\frac{1}{{N}_{{\mathrm{s}}}{N}_{{\mathrm{t}}}}\underset{M=1}{\sum ^{{N}_{{\mathrm{s}}}}}\underset{l=1}{\sum ^{{N}_{{\mathrm{t}}}}}{\boldsymbol{X}}_{{S}_{M},k}^{\left(l\right)}. $

在本研究中,SAME数据增强并未应用于训练基于邻近刺激最大相关性的滤波器$ {\boldsymbol{w}}_{\mathrm{t}\mathrm{r}} $$ {\boldsymbol{w}}_{\mathrm{r}\mathrm{t}} $. 相反,在训练目标受试者内滤波器$ {\boldsymbol{w}}_{\mathrm{t}} $和跨受试者滤波器$ {\boldsymbol{w}}_{\mathrm{s}} $时,采用了经SAME数据增强后的目标受试者扩展校准试验. 这是由于该数据增强方法的本质在于提取正余弦参考信号的信息以增强校准试验,如果将增强后的扩展校准试验与正余弦扩展参考信号用于最大相关性分析,可能会引入冗余信息. 因为增强数据已经内含这些正余弦信号的特性,会导致滤波器无法有效从噪声中提取出有用的SSVEP信息. $ {\boldsymbol{w}}_{\mathrm{t}} $$ {\boldsymbol{w}}_{\mathrm{s}} $的训练重点在于提取目标受试者的任务相关信息及目标受试者与源受试者的相似信息,因此引入正余弦参考信号信息有助于任务相关信息的提取.

1.4. SSVEP识别

与单一相关系数相比,融合多个相关系数的分类特征能够提供更优的识别性能[28-30]. 在单次试验的目标识别任务中,结合从目标受试者和源受试者的校准试验训练得到的空间滤波器和信号,单测试试验$ {{\boldsymbol{X}}}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times {N}_{\mathrm{p}}} $与第k类刺激对应的信号模板经过对应空间滤波器滤波后的相关系数定义如下:

$ \left[\begin{array}{c}\boldsymbol{r}_{1, k} \\\boldsymbol{r}_{2, k} \\\boldsymbol{r}_{3, k} \\\boldsymbol{r}_{4, k} \\\boldsymbol{r}_{5, k}\end{array}\right]=\left[\begin{array}{c}\rho\left(\boldsymbol{w}_{{\mathrm{t r}}}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{{\mathrm{r t}}}^{\mathrm{T}} \boldsymbol{Y}_k\right) \\\rho\left(\boldsymbol{w}_{\mathrm{t}}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{\mathrm{t}}^{\mathrm{T}} \bar{\hat{\boldsymbol{X}}}_k\right) \\\rho\left(\boldsymbol{w}_{\mathrm{t}}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{\mathrm{t}}^{\mathrm{T}} \bar{\boldsymbol{X}}_{{\mathrm{S}}, k}\right) \\\rho\left(\boldsymbol{w}_{\mathrm{s}}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{\mathrm{s}}^{\mathrm{T}} \bar{\hat{\boldsymbol{X}}}_k\right) \\\rho\left(\boldsymbol{w}_{\mathrm{s}}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{\mathrm{s}}^{\mathrm{T}} \bar{\boldsymbol{X}}_{{\mathrm{S}}, k}\right)\end{array}\right] . $

式中:$ \rho (a,b) $表示信号$ a $b的皮尔森相关系数. 通过融合以上相关系数,第k类刺激的特征向量$ {\boldsymbol{r}}_{k} $可以表示为

$ \boldsymbol{r}_k=\sum_{n=1}^2 \operatorname{sign}\left(\boldsymbol{r}_{n, k}\right)\left(\boldsymbol{r}_{n, k}\right)^2+\dfrac{1}{3} \sum_{n=3}^5 \operatorname{sign}\left(\boldsymbol{r}_{n, k}\right)\left(\boldsymbol{r}_{n, k}\right)^2~. $

式中:sign表示从负相关系数中保留判别信息.

1.5. 空间滤波器集成策略和滤波器组分析

空间滤波器集成策略[19]基于假设来自不同目标的空间滤波器彼此相似,旨在通过结合所有刺激目标的空间滤波器来提升空间滤波的性能. 因此,集成空间滤波器$ \boldsymbol{W}=[{\boldsymbol{w}}_{1},{\boldsymbol{w}}_{2}, \cdot\cdot\cdot,{\boldsymbol{w}}_{{N}_{\mathrm{f}}}] $$ {\boldsymbol{w}}_{k}\in {\mathbf{R}}^{{N}_{\mathrm{c}}\times 1} $表示第k类刺激所对应的空间滤波器,式(17)可以修改为

$ \left[\begin{array}{l}\boldsymbol{r}_{1, k} \\\boldsymbol{r}_{2, k} \\\boldsymbol{r}_{3, k} \\\boldsymbol{r}_{4, k} \\\boldsymbol{r}_{5, k}\end{array}\right]=\left[\begin{array}{c}\rho\left(\boldsymbol{W}_{{\mathrm{t r}}}^{\mathrm{T}} X, \boldsymbol{W}_{{\mathrm{r t}}}^{\mathrm{T}} \boldsymbol{Y}_k\right) \\\rho\left(\boldsymbol{W}_{\mathrm{t}}^{\mathrm{T}} X, \boldsymbol{W}_{\mathrm{t}}^{\mathrm{T}} \bar{\hat{\boldsymbol{X}}}_k\right) \\\rho\left(\boldsymbol{W}_{\mathrm{t}}^{\mathrm{T}} X, \boldsymbol{W}_{\mathrm{t}}^{\mathrm{T}} \bar{\bar{\boldsymbol{X}}}_{{{\mathrm{S}}}, k}\right) \\\rho\left(\boldsymbol{W}_{\mathrm{s}}^{\mathrm{T}} X, \boldsymbol{W}_{\mathrm{s}}^{\mathrm{T}} \bar{\hat{\boldsymbol{X}}}_k\right) \\\rho\left(\boldsymbol{W}_{\mathrm{s}}^{\mathrm{T}} X, \boldsymbol{W}_{\mathrm{s}}^{\mathrm{T}} \bar{\boldsymbol{X}}_{{\mathrm{S}}, k}\right)\end{array}\right] . $

式中:集成空间滤波器$ {\boldsymbol{W}}_{\mathrm{t}\mathrm{r}} $$ {\boldsymbol{W}}_{\mathrm{r}\mathrm{t}} $$ {\boldsymbol{W}}_{\mathrm{t}} $$ {\boldsymbol{W}}_{\mathrm{s}} $分别对应空间滤波器$ \boldsymbol{w}_{\mathrm{tr}} $$ \boldsymbol{w}_{\mathrm{rt}} $$ \boldsymbol{w}_{\mathrm{t}} $$ \boldsymbol{w}_{\mathrm{s}} $的集成版本,$ \rho (a,b) $表示$ a $b之间的二维相关分析.

滤波器组技术将SSVEP分解为子带分量,然后提取嵌入在谐波分量中的高信噪比独立信息,从而促进目标分类. 在这项研究中,第b个子带的下截止频率和上截止频率设置为8b Hz和90 Hz,其中b的范围为1~5[16]. 之后,从切比雪夫I型无限脉冲响应(IIR)带通滤波器过滤的第b个子带信号中提取特征向量$ {\boldsymbol{r}}_{k}^{\left(b\right)} $. 将所有子带提取的特征向量进行加权得到最后用于目标识别的特征向量$ {\boldsymbol{\lambda }}_{k} $

$ {\boldsymbol{\lambda}}_k=\displaystyle \sum_{b=1}^5\left(b^{-1.25}+0.25\right) {\boldsymbol{r}}_k^{(b)2} . $

将特征向量$ {\boldsymbol{\lambda }}_{k} $中最大特征值所对应的频率作为目标识别频率$ {f}_{\mathrm{t}} $

$ {f}_{{\mathrm{t}}}=\underset{k}{{\mathrm{argmax}}}~{\boldsymbol{\lambda }}_{k}. $

2. 结果与讨论

2.1. SSVEP数据集

选用2个广泛使用的公共数据集:Benchmark数据集[36]和BETA数据集[37]. 这2个数据集均包含由40种不同频率闪烁刺激引发的64通道SSVEP数据. 刺激频率范围为8.0~15.8 Hz,步长为0.2 Hz,相位范围为0~1.5π,步长为0.5π. Benchmark数据集包含了35名受试者的数据,每个刺激目标进行6次试验,共计记录了8400次(35×6×40)试验数据. 而BETA数据集则涵盖了70名受试者的数据,每个刺激目标进行4次试验,共计记录了11200次(70×4×40)试验数据. 所有SSVEP数据均经过从1000 Hz下采样至250 Hz的处理,并已去除了数据采集系统中的50 Hz电源噪声干扰.

在这2个数据集中,选取9个传统的EEG通道(Pz、PO5、PO3、POz、PO4、PO6、O1、Oz和O2)的信号进行性能评估[19,28-29]. 数据在刺激开始时刻(0时刻)被分割为$ {T}_{\mathrm{L}} $$ {T}_{\mathrm{L}}+{T}_{\mathrm{d}} $的时间段. 其中,$ {T}_{\mathrm{L}} $表示视觉延迟,其中Benchmark数据集的视觉延迟为140 ms,而BETA数据集的视觉延迟为130 ms[38]$ {T}_{\mathrm{d}} $表示用于数据分析的信号时长,取值范围为0.3~1.0 s.

2.2. 实验设置

为了验证所提方法的可行性并评估其性能,将其与当前最先进的eTRCA算法以及2种迁移学习算法eIISMC和eTransRCA进行比较. 在参数设置上,eTRCA算法在Benchmark和BETA数据集中均使用5个子频带滤波器,其最终分类准确率和ITR是基于所有受试者的平均值计算得出的. eIISMC算法的子频带滤波器数量与eTRCA相同,目标受试者依次从数据集中选取,同时随机选择5位剩余受试者作为源受试者,此过程重复8次以获得分类准确率和ITR. eTransRCA算法的子频带滤波器数量与eTRCA的相同,目标受试者依次从数据集中选取,但随机选择10位源受试者,重复10次以计算最终结果.

通过平均分类准确率和ITR这2个业界公认的指标,评估基于SSVEP-BCI系统的性能. ITR(单位为bits/min)的计算公式如下:

$ {\mathrm{I T R}} =\dfrac{60}{T_{\mathrm{w}}}\Bigg[\log _2 N_{\mathrm{f}}+P \log _2 P+ (1-P) \log _2\left(\frac{1-P}{N_{\mathrm{f}}-1}\right)\Bigg] .$

式中:$ P $为分类准确率,$ {T}_{\mathrm{w}} $为提示时间和测试试验时间的总和.

准确率和ITR是通过留一法交叉验证得出的. 在具体操作中,数据集划分为目标受试者和源受试者组,目标受试者是从数据集中依次选取的,其余受试者构成源受试者组. 具体而言,对于Benchmark数据集,目标受试者为1名,源受试者组包含34名受试者;对于BETA数据集,目标受试者为1名,源受试者组包含69名受试者. 为了训练空间滤波器和构建信号模板,从源受试者组中随机选择$ {N}_{\mathrm{s}} $位源受试者进行迁移学习. 为了全面评估迁移方法的性能,在Benchmark数据集上重复8次训练和测试,在BETA数据集上则重复进行5次. 在训练阶段,训练集包含来自目标受试者的随机选取的$ {N}_{\mathrm{t}} $次试验数据以及$ {N}_{\mathrm{s}} $位源受试者的数据. 在测试阶段,使用目标受试者剩余的所有试验数据进行预测,并计算平均准确率. 其中,$ {N}_{\mathrm{t}}= 1,2,\cdots ,{N}_{\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{a}\mathrm{l}}-1 $,Benchmark数据集的$ {N}_{\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{a}\mathrm{l}}=6 $,而BETA数据集的$ {N}_{\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{a}\mathrm{l}}=4 $. 通过这种方法,确保所提出的迁移方法在不同数据集上都具有稳健的性能.

2.3. 算法性能比较

图2(a)、(b)所示分别展示了在Benchmark数据集和BETA数据集上,各算法在不同数据长度和校准试验数量$ {N}_{\mathrm{t}} $下的准确率与ITR. 其中,误差棒表示标准误差,P为正确率,Ld为数据长度. 总体来看,所提方法在识别准确率和ITR方面均优于eTRCA、eIISMC和eTransRCA算法.

图 2

图 2   不同数据长度和校准试验数量下的分类准确率和ITR的比较

Fig.2   Comparison of classification accuracy and ITR against different data lengths and numbers of calibration trials


对于Benchmark数据集,随着数据长度的增加,所提出方法的准确率呈现上升趋势,并明显优于其他算法. 具体而言,在$ {N}_{\mathrm{t}} $=2时,所提出方法的准确率分别为71.94%(0.4 s)、85.32%(0.6 s)、92.82%(0.8 s)和95.67%(1.0 s),相比eTransRCA分别高出13.41、9.49、6.16、3.95个百分点;相比eIISMC则分别高出23.72、20.44、13.13、9.24个百分点. 此外,所提方法的ITR整体优于其他算法,且随着数据长度的增加,ITR先增后减. 在$ {N}_{\mathrm{t}} $=3时,所提出方法在0.5 s处达到最高ITR,为234.19 bits/min,而eTransRCA、eIISMC和eTRCA的最高ITR分别出现在0.7 s(208.83 bits/min)、0.8 s(194.19 bits/min)和0.8 s(191.33 bits/min). 值得注意的是,在$ {N}_{\mathrm{t}} $>1时,所提方法在0.5 s时始终保持着最佳或接近最佳的ITR,表明该方法能够在较短的时间内实现最高的ITR.

对于BETA数据集,所提方法的准确率和ITR同样优于其他比较算法. 在$ {N}_{\mathrm{t}} $=2时,所提方法的准确率分别为64.14%(0.4 s)、74.81%(0.6 s)、81.27%(0.8 s)和84.89%(1.0 s),相比eTransRCA分别高出10.56、9.36、7.99、6.28个百分点. 此外,在$ {N}_{\mathrm{t}} $=3时,所提出方法在0.6 s处达到最高ITR,为188.26 bits/min,而eTransRCA、eIISMC和eTRCA的最高ITR分别出现在0.6 s(165.47 bits/min)、0.7 s(147.43 bits/min)和0.6 s(146.29 bits/min).

图2可以看出,算法在Benchmark数据集上的性能优于BETA数据集上的. 这主要是因为Benchmark数据集的采集是在电磁屏蔽的实验室环境中进行的,而BETA数据集则更贴近实际应用场景,未在电磁屏蔽室内采集,因此Benchmark数据集的SNR显著高于BETA的. 尽管算法在BETA数据集上的性能相对较低,但这更能反映出算法在实际应用中的表现.

为了深入探究4种算法的复杂度,进行详尽的分析. 在训练阶段,这些算法均致力于训练如图1所示的空间滤波器,并计算出信号模板;而在测试阶段,则主要聚焦于相关系数的计算以及进行频率识别. 为了验证计算成本的普遍适用性,在一台搭载Intel(R) Core(TM) i7-9700K CPU @ 3.60 GHz处理器(8核)、16GB RAM,并运行64位Windows 10操作系统的计算机上对这些算法进行评估. 评估结果显示,TRCA、eIISMC、eTransRCA以及所提方法的训练时间分别为0.20、0.64、0.45、0.38 s,而相应的预测时间则分别为0.11、0.32、0.17、0.15 s. 鉴于这些算法所展现出的时间复杂度,可以确认该方法能满足在线实验的需求.

鉴于eTransRCA算法与所提方法的性能差异较小,对这2种方法进一步深入比较. 如图3所示展示了Benchmark数据集中的受试者S17和BETA数据集中的受试者S40使用所提方法和eTransRCA方法时获得的特征值. 每个子图代表一个不同的测试试验,测试试验涵盖了9 ~14 Hz的频率,共计6个子图. 其中,λ为特征值,F为频率. 在每个测试试验中,计算40个特征值并将最大特征值对应的刺激频率定为目标SSVEP识别频率. 各子图中的特征值是通过式(17)计算得到的,并已归一化至[0,1.0]. 数据长度统一设定为0.6 s,且每个受试者的$ {N}_{\mathrm{t}} $=1. 每个子图的标题标明了该次测试试验的目标刺激频率,虚线表示目标刺激对应的SSVEP识别结果. 结果显示,本研究所提方法在识别准确率上优于eTransRCA方法. 特别是在多个子图中,所提方法展现出区分度更加明显的特征值. 例如,图3(a)中11 Hz和13 Hz的子图,以及图3(b)中13 Hz和14 Hz的子图,目标刺激频率对应的特征值显著高于其他非目标频率的特征值,且其峰值更加突出. 这一现象表明,该方法能够更有效地从背景噪声中提取出与目标刺激相关的SSVEP信号,进一步验证了所构建特征向量的有效性.

图 3

图 3   受试者在所提方法和eTransRCA方法下获得的特征值

Fig.3   Feature values obtained by eTransRCA and proposed method from an example subject


ms-eTRCA方法通过多刺激学习,从目标刺激及其频率相邻的刺激中提取空间滤波器来提高识别准确率,但未能考虑那些在空间上相邻而非频率上相邻的刺激所提供的信息. 在实际应用中,用户的视线可能不完全集中在目标刺激,而是可能受到空间上相邻刺激的影响. 如图4所示展示了所提方法与ms-eTRCA在不同校准试验数量下的平均识别准确率(数据长度在0.3~1.0 s取平均). 结果表明,在所有校准试验条件下,所提方法的识别准确率优于ms-eTRCA的,尤其是在仅进行单一校准试验时,所提方法仍能保持较高的识别准确率.

图 4

图 4   多刺激学习与邻近刺激学习算法对比

Fig.4   Comparison between multi-stimulus learning and neighboring stimulus learning


2.4. 算法性能评估

2.4.1. 源受试者数量的影响

为了探究源受试者数量$ {N}_{\mathrm{s}} $对分类准确率的影响,如图5所示展示了在0.5 s数据长度时,不同$ {N}_{\mathrm{t}} $$ {N}_{\mathrm{s}} $下的受试者平均分类准确率变化. 热图中每一行的比例已归一化到[0,1.0],不同的颜色表示不同的归一化准确率. 结果表明,随着$ {N}_{\mathrm{s}} $的增加,准确率先增加,然后趋于稳定. 同时,随着$ {N}_{\mathrm{t}} $的增加,达到稳定所需的$ {N}_{\mathrm{s}} $逐渐减少. 本研究选取准确率开始稳定时所需最小源受试者数量进行迁移训练,以降低训练的计算成本. 具体而言,对于Benchmark数据集,当$ {N}_{\mathrm{t}} $分别为1、2、3、4、5时,$ {N}_{\mathrm{s}} $分别为9、9、9、7、6;对于BETA数据集,当$ {N}_{\mathrm{t}} $分别为1、2、3时,$ {N}_{\mathrm{s}} $分别为9、9、6.

图 5

图 5   不同校准试验数量和源受试者数量条件下的分类准确率

Fig.5   Classification accuracy against different numbers of calibration trials and source subjects


2.4.2. 校准试验数量的影响

图6所示比较了不同数量的校准试验对分类准确率的影响,结果在受试者和数据长度上取平均值. 随着$ {N}_{\mathrm{t}} $的增加,所提方法在Benchmark数据集上的分类准确率相较于eTransRCA分别提升了14.14、8.93、5.98、3.87、3.44个百分点;在BETA数据集上提升分别为12.57、8.88、5.75个百分点. 从数据可以看出,在校准试验不足时,所提方法的性能优势更明显.

图 6

图 6   不同校准试验数量的分类准确率对比

Fig.6   Comparison of classification accuracy against different numbers of calibration trials


图7所示,通过小提琴图展示了在0.5 s数据长度下,不同$ {N}_{\mathrm{t}} $对所有受试者准确率分布的影响. 小提琴图直观地呈现数据分布,图中粗黑线表示中位数,另一条黑线表示均值. 可以看出,随着$ {N}_{\mathrm{t}} $的增加,所提方法始终保持较高的中位数和均值,并且数据分布更为集中.

图 7

图 7   不同算法下受试者分类正确率分布

Fig.7   Distribution of classification accuracy across subjects under different algorithms


2.4.3. 邻近刺激数量的影响

鉴于Benchmark数据集和BETA数据集中的刺激总数均为40[36-37],2个数据集中邻近刺激的定义类似. 以Benchmark数据集刺激界面为例,如图8所示,邻近刺激($ {N}_{\mathrm{h}}=2 $)表示目标刺激在水平方向上的邻近刺激;邻近刺激($ {N}_{\mathrm{h}}=4 $)表示目标刺激在水平和垂直方向上的邻近刺激;邻近刺激($ {N}_{\mathrm{h}}=8 $)表示与目标刺激直接相邻的所有邻近刺激. 须注意的是,这种邻近刺激的定义仅适用位于刺激阵列中央的刺激;对于边界上的刺激,其邻近刺激数量较少,仅实际存在的邻近刺激参与计算.

图 8

图 8   目标刺激的邻近刺激定义

Fig.8   Definition of neighboring stimulus to target stimulus


图9所示展示了在0.5 s数据长度下,不同数量的邻近刺激对分类准确率的影响. 图9(a)、(b)表明,当$ {N}_{\mathrm{h}} $从0增加到2时,分类准确率提高,表明增加的邻近刺激提供了更多有助于区分目标刺激的基波、谐波以及与任务相关的特征信息. 然而,当$ {N}_{\mathrm{h}} $超过2时,$ {N}_{\mathrm{h}} $的增加反而对目标刺激的识别产生负面影响. 在引入更多的邻近刺激时,也意味着引入了更多的噪声. 此外,邻近共享空间滤波器的设计是假设邻近刺激校准试验具有共同的空间模式,因此近似误差更加明显.

图 9

图 9   不同邻近刺激数量下的分类准确率

Fig.9   Classification accuracy against different numbers of neighboring stimulus


2.5. 讨论

由式(16)可知,特征向量由5种相关系数构成,其中2种仅关联目标受试者,其余3种涉及源受试者. 为了进一步探索所提方法与仅基于目标受试者特征向量的方法在分类准确率上的差异,如图10所示展示了在单一校准试验下,本方法与未使用迁移学习方法在2个数据集上的性能对比. 其中,星号表示配对t检验获得的2种方法之间的显著差异,*表示p < 0.05,**表示p < 0.01,***表示p < 0.001. 结果表明,与未采用迁移学习的方法相比,本方法在SSVEP识别性能提升上更为明显. 同时,配对t检验的结果也表明,在Benchmark数据集和BETA数据集中,本方法与无迁移学习方法的准确率差异均有统计学意义(Benchmark数据集p < 0.05;BETA数据集p < 0.001). 这表明,源受试者的迁移信息对于提升目标受试者的识别性能是有益的.

图 10

图 10   不同数据长度的分类准确率对比

Fig.10   Comparison of classification accuracy against different data lengths


进一步进行消融实验以探索每个相关性在所提方法中的具体贡献. 如表1所示展示了在单一校准试验情况下,数据长度为0.6 s的消融实验结果. 实验结果表明,通过CCA和TRCA从目标受试者提取相关性特征以及从源受试者提取相关性特征均能提高识别准确率. 此外,实验结果证实相关系数$ {{r}}_{2} $可以提供更有价值的特征信息,表明了将邻近刺激基波和谐波信息融入目标刺激进行目标识别的有效性.

表 1   不同相关系数组合的消融实验

Tab.1  Ablation studies on different combinations of correaltion coefficients

情况相关系数选择P/%
$ {{r}}_{1} $$ {{r}}_{2} $$ \dfrac{1}{3}({{r}}_{3}+{{r}}_{4}+{{r}}_{5}) $BenchmarkBETA
(a)80.1770.83
(b)77.6267.74
(c)70.2161.78
(d)79.1368.43

新窗口打开| 下载CSV


在所提方法中,所有源受试者的选择均采用随机选择,文献[28]和[30]已证明经验丰富的受试者可能提供更有价值的信息. 由于Benchmark数据集包含35名受试者,其中编号S01~S08的8名受试者因先前参与过类似实验而具有较丰富的经验[36]. 因此,在Benchmark数据集上探讨随机选择源受试者与选择经验丰富的源受试者对所提方法分类准确率的影响.

具体来说,对Benchmark数据集中编号S09~S35的受试者,选取0.5 s数据长度进行平均分类准确率的比较分析. 在随机选择条件下,从26名非目标受试者中随机选取了8位作为源受试者. 而在选择经验丰富的源受试者时,则直接选取编号S01~S08的8位经验丰富的受试者作为源受试者. 如表2所示,选择经验丰富的受试者作为源受试者能够为目标受试者提供更有价值的信息,从而提升分类准确率.

表 2   2种源受试者选择方法的分类准确率对比

Tab.2  Comparison of classification accuracy between two source subject selection methods

选择方法P/%
Nt = 1Nt = 2Nt = 3Nt = 4Nt = 5
随机选择70.3476.4079.5480.1381.34
有经验选择71.4378.1580.6381.5482.82
p************

新窗口打开| 下载CSV


3. 结 语

提出跨受试者邻近刺激学习方法,旨在在较少校准试验下,提升SSVEP-BCI系统的性能. 该方法通过最大化目标受试者、源受试者以及正余弦参考信号之间的相关性,提取目标刺激以及其邻近刺激的基波和谐波特性,以及任务相关信息,从而构建空间滤波器和信号模板进行目标识别. 在Benchmark和BETA这2个公开的SSVEP数据集上的实验结果表明,即使在仅有单一校准数据的情况下,相较于eTRCA、eIISMC和eTransRCA,所提出的方法也能明显提高分类准确率和ITR,证明了其有效性和实用性. 此外,本研究还探讨了源受试者数量、校准试验数量以及邻近刺激数量对分类准确率的影响,为优化BCI系统提供了有价值的见解. 未来研究将继续探索迁移学习策略的优化,其中,如何精确地选择更有价值的源受试者以及从源受试者中提取更有价值的特征进行迁移学习是未来研究的关键任务.

参考文献

RAVI A, LU J, PEARCE S, et al

Enhanced system robustness of asynchronous BCI in augmented reality using steady-state motion visual evoked potential

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 30: 85- 95

DOI:10.1109/TNSRE.2022.3140772      [本文引用: 1]

WOLPAW J R, BIRBAUMER N, MCFARLAND D J, et al

Brain-computer interfaces for communication and control

[J]. Clinical Neurophysiology, 2002, 113 (6): 767- 791

DOI:10.1016/S1388-2457(02)00057-3     

YADAV D, YADAV S, VEER K

A comprehensive assessment of brain computer interfaces: recent trends and challenges

[J]. Journal of Neuroscience Methods, 2020, 346: 108918

DOI:10.1016/j.jneumeth.2020.108918      [本文引用: 1]

BIN G, GAO X, YAN Z, et al

An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method

[J]. Journal of Neural Engineering, 2009, 6 (4): 046002

DOI:10.1088/1741-2560/6/4/046002      [本文引用: 1]

YIN E, ZHOU Z, JIANG J, et al

A speedy hybrid BCI spelling approach combining P300 and SSVEP

[J]. IEEE Transactions on Bio-Medical Engineering, 2014, 61 (2): 473- 483

DOI:10.1109/TBME.2013.2281976     

CHEN X, WANG Y, NAKANISHI M, et al

High-speed spelling with a noninvasive brain-computer interface

[J]. Proceedings of the National Academy of Sciences of the United States of America, 2015, 112 (44): 6058- 6067

PEI W, WU X, ZHANG X, et al

A pre-gelled EEG electrode and its application in SSVEP-based BCI

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 30: 843- 850

DOI:10.1109/TNSRE.2022.3161989     

CHENG M, GAO X, GAO S, et al

Design and implementation of a brain-computer interface with high transfer rates

[J]. IEEE Transactions on Bio-Medical Engineering, 2002, 49 (10): 1181- 1186

DOI:10.1109/TBME.2002.803536      [本文引用: 1]

陈熙来, 丛佩超, 万东宝, 等

基于SSVEP信号的下肢外骨骼机器人控制系统研究

[J]. 机电信息, 2024, (7): 42- 45

[本文引用: 1]

CHEN Xilai, CONG Peichao, WAN Dongbao, et al

Research on lower limb exoskeleton robot control system based on SSVEP signals

[J]. Mechanical and Electrical Information, 2024, (7): 42- 45

[本文引用: 1]

CHAI X, ZHANG Z, GUAN K, et al

A hybrid BCI-controlled smart home system combining SSVEP and EMG for individuals with paralysis

[J]. Biomedical Signal Processing and Control, 2020, 56: 101687

DOI:10.1016/j.bspc.2019.101687      [本文引用: 1]

REZEIKA A, BENDA M, STAWICKI P, et al

Brain-computer interface spellers: a review

[J]. Brain Sciences, 2018, 8 (4): 57

DOI:10.3390/brainsci8040057      [本文引用: 1]

MÜLLER-PUTZ G R, PFURTSCHELLER G

Control of an electrical prosthesis with an SSVEP-based BCI

[J]. IEEE Transactions on Bio-Medical Engineering, 2008, 55 (1): 361- 364

DOI:10.1109/TBME.2007.897815      [本文引用: 1]

FRIMAN O, VOLOSYAK I, GRÄSER A

Multiple channel detection of steady-state visual evoked potentials for brain-computer interfaces

[J]. IEEE Transactions on Bio-Medical Engineering, 2007, 54 (4): 742- 750

DOI:10.1109/TBME.2006.889160      [本文引用: 1]

ZHANG Y, XU P, CHENG K, et al

Multivariate synchronization index for frequency recognition of SSVEP-based brain-computer interface

[J]. Journal of Neuroscience Methods, 2014, 221: 32- 40

DOI:10.1016/j.jneumeth.2013.07.018      [本文引用: 1]

LIN Z, ZHANG C, WU W, et al

Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs

[J]. IEEE Transactions on Biomedical Engineering, 2006, 53 (12): 2610- 2614

DOI:10.1109/TBME.2006.886577      [本文引用: 3]

CHEN X, WANG Y, GAO S, et al

Filter bank canonical correlation analysis for implementing a high-speed SSVEP-based brain-computer interface

[J]. Journal of Neural Engineering, 2015, 12 (4): 046008

DOI:10.1088/1741-2560/12/4/046008      [本文引用: 3]

ZHANG Y, ZHOU G, JIN J, et al

Frequency recognition in SSVEP-based BCI using multiset canonical correlation analysis

[J]. International Journal of Neural Systems, 2014, 24 (4): 1450013

DOI:10.1142/S0129065714500130      [本文引用: 2]

CHEN X, WANG Y, NAKANISHI M, et al

High-speed spelling with a noninvasive brain-computer interface

[J]. Proceedings of the National Academy of Sciences of the United States of America, 2015, 112 (44): 6058- 6067

[本文引用: 1]

NAKANISHI M, WANG Y, CHEN X, et al

Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis

[J]. IEEE Transactions on Bio-Medical Engineering, 2018, 65 (1): 104- 112

DOI:10.1109/TBME.2017.2694818      [本文引用: 3]

LIU B, CHEN X, SHI N, et al

Improving the performance of individually calibrated SSVEP-BCI by task- discriminant component analysis

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 1998- 2007

DOI:10.1109/TNSRE.2021.3114340     

KE Y, LIU S, MING D

Enhancing SSVEP identification with less individual calibration data using periodically repeated component analysis

[J]. IEEE Transactions on Bio-Medical Engineering, 2024, 71 (4): 1319- 1331

DOI:10.1109/TBME.2023.3333435      [本文引用: 1]

HUANG J, YANG P, XIONG B, et al

Incorporating neighboring stimuli data for enhanced SSVEP-based BCIs

[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 2521109

[本文引用: 2]

WONG C M, WAN F, WANG B, et al

Learning across multi-stimulus enhances target recognition methods in SSVEP-based BCIs

[J]. Journal of Neural Engineering, 2020, 17 (1): 016026

DOI:10.1088/1741-2552/ab2373      [本文引用: 1]

YUAN P, CHEN X, WANG Y, et al

Enhancing performances of SSVEP-based brain–computer interfaces via exploiting inter-subject information

[J]. Journal of Neural Engineering, 2015, 12 (4): 046006

DOI:10.1088/1741-2560/12/4/046006      [本文引用: 1]

WAYTOWICH N R, FALLER J, GARCIA J O, et al. Unsupervised adaptive transfer learning for Steady-State Visual Evoked Potential brain-computer interfaces [C]// IEEE International Conference on Systems, Man, and Cybernetics. Budapest: IEEE, 2016: 4135–4140.

[本文引用: 1]

YAN W, WU Y, DU C, et al

Cross-subject spatial filter transfer method for SSVEP-EEG feature recognition

[J]. Journal of Neural Engineering, 2022, 19 (3): 036008

DOI:10.1088/1741-2552/ac6b57      [本文引用: 1]

YAN W, WU Y, DU C, et al

An improved cross-subject spatial filter transfer method for SSVEP-based BCI

[J]. Journal of Neural Engineering, 2022, 19 (4): 046028

DOI:10.1088/1741-2552/ac81ee      [本文引用: 1]

WANG H, SUN Y, WANG F, et al

Cross-subject assistance: inter- and intra-subject maximal correlation for enhancing the performance of SSVEP-based BCIs

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2021, 29: 517- 526

DOI:10.1109/TNSRE.2021.3057938      [本文引用: 4]

LAN W, WANG R, HE Y, et al

Cross domain correlation maximization for enhancing the target recognition of SSVEP-based brain-computer interfaces

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2023, 31: 3545- 3555

DOI:10.1109/TNSRE.2023.3309543      [本文引用: 2]

WEI Q, ZHANG Y, WANG Y, et al

A canonical correlation analysis-based transfer learning framework for enhancing the performance of SSVEP-based BCIs

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2023, 31: 2809- 2821

DOI:10.1109/TNSRE.2023.3288397      [本文引用: 3]

CHIANG K J, WEI C S, NAKANISHI M, et al. Cross-subject transfer learning improves the practicality of real-world applications of brain-computer interfaces [C]// 9th International IEEE/EMBS Conference on Neural Engineering. San Francisco: IEEE, 2019: 424–427.

[本文引用: 1]

BIAN R, WU H, LIU B, et al

Small data least-squares transformation (sd-LST) for fast calibration of SSVEP-based BCIs

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 31: 446- 455

[本文引用: 1]

LUO R, XU M, ZHOU X, et al

Data augmentation of SSVEPs using source aliasing matrix estimation for brain-computer interfaces

[J]. IEEE Transactions on Bio-Medical Engineering, 2023, 70 (6): 1775- 1785

DOI:10.1109/TBME.2022.3227036      [本文引用: 2]

MÜLLER M M, HILLYARD S

Concurrent recording of steady-state and transient event-related potentials as indices of visual-spatial selective attention

[J]. Clinical Neurophysiology, 2000, 111 (9): 1544- 1552

DOI:10.1016/S1388-2457(00)00371-0      [本文引用: 1]

MUN S, PARK M C, PARK S, et al

SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D

[J]. Neuroscience Letters, 2012, 525 (2): 89- 94

DOI:10.1016/j.neulet.2012.07.049      [本文引用: 1]

WANG Y, CHEN X, GAO X, et al

A benchmark dataset for SSVEP-based brain-computer interfaces

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25 (10): 1746- 1752

DOI:10.1109/TNSRE.2016.2627556      [本文引用: 3]

LIU B, HUANG X, WANG Y, et al

BETA: a large benchmark database toward SSVEP-BCI application

[J]. Frontiers in Neuroscience, 2020, 14: 627

DOI:10.3389/fnins.2020.00627      [本文引用: 2]

HERRMANN C S

Human EEG responses to 1–100Hz flicker: resonance phenomena in visual cortex and their potential correlation to cognitive phenomena

[J]. Experimental Brain Research, 2001, 137 (3): 346- 353

[本文引用: 1]

/