浙江大学学报(工学版)

浙江大学学报(工学版), 2024, 58(10): 2011-2019 doi: 10.3785/j.issn.1008-973X.2024.10.004

计算机与控制工程

卷积神经网络结合子域适应的低采样率肌电手势识别

周雕,, 熊馨, 周建华,, 宗静, 张琪

昆明理工大学 信息工程与自动化学院，云南 昆明 650500

Convolutional neural network combined with subdomain adaptation for low sampling rate EMG-based gesture recognition

ZHOU Diao,, XIONG Xin, ZHOU Jianhua,, ZONG Jing, ZHANG Qi

Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China

通讯作者: 周建华，男，高级实验师. orcid.org/0009-0006-5014-9059. E-mail：742028837@qq.com

收稿日期: 2023-09-12  

基金资助: 国家自然科学基金资助项目（82060329）.

Received: 2023-09-12  

Fund supported: 国家自然科学基金资助项目（82060329）.

作者简介 About authors

周雕（1998—），男，硕士生，从事肌电信号处理与模式识别研究.orcid.org/0009-0004-8629-3509.E-mail：1962589274@qq.com , E-mail：1962589274@qq.com

摘要

为了提升模型识别低采样率肌电手势的性能，提出新的识别方法. 通过信息扩展层对预处理后的低采样率肌电信号信息进行扩展，增强关键特征的表示. 在特征提取网络中，利用子域适应网络提取源域与目标域中的域不变特征后进行域不变特征分类. 使用NinaPro数据库中的DB1和DB5子数据库对所提方法进行评估. 实验结果表明，所提方法识别53种和52种手势的最高准确率分别为90.89%(DB1)、89.90%(DB5)和82.01%(DB1)、77.07%(DB5)，能够降低电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素对低采样率肌电手势识别的影响.

关键词： 低采样率表面肌电 ; 手势识别 ; 子域适应 ; 信息扩展 ; 挤压与激励注意力机制

Abstract

A new recognition method was proposed to improve the performance of low sampling rate electromyography (EMG)-based gesture recognition. The information of the pre-processed low sampling rate EMG signal was extended by an information extension layer, and the representation of key features was enhanced. In the feature extraction network, domain invariant features in the source and target domains were extracted by the subdomain adaptation network, then the domain invariant features were classified. The proposed method was evaluated using the DB1 and DB5 sub-databases of the NinaPro database. Experimental results showed that the proposed method recognized 53 and 52 gestures with the highest accuracy of 90.89% (DB1), 89.90% (DB5) and 82.01% (DB1), 77.07% (DB5), respectively. The effects of factors on low sampling rate EMG-based gesture recognition are reduced by the proposed method, factors that include electrode shift, muscle fatigue, changes in skin impedance, and the relative movement of the muscle relative to the electrodes.

Keywords： low sampling rate surface electromyography ; gesture recognition ; subdomain adaptation ; information expansion ; squeeze-and-excitation attention mechanism

PDF (1146KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

周雕, 熊馨, 周建华, 宗静, 张琪. 卷积神经网络结合子域适应的低采样率肌电手势识别. 浙江大学学报(工学版)[J], 2024, 58(10): 2011-2019 doi:10.3785/j.issn.1008-973X.2024.10.004

ZHOU Diao, XIONG Xin, ZHOU Jianhua, ZONG Jing, ZHANG Qi. Convolutional neural network combined with subdomain adaptation for low sampling rate EMG-based gesture recognition. Journal of Zhejiang University(Engineering Science)[J], 2024, 58(10): 2011-2019 doi:10.3785/j.issn.1008-973X.2024.10.004

表面肌电（surface electromyography, sEMG）信号作为与人类运动密切相关的生理信号，可以反映肌肉活动的兴奋程度，是人机交互系统中的重要控制信号[1]. 可穿戴的手势界面有望恢复和辅助手部功能，增强人机交流，在康复、假肢控制和手语识别上展现出巨大的潜力[2]，也被应用于其他人机交互领域，例如家用电器的控制[3]、用户认证[4]和手部外骨骼[5-6]等. 与临床实践中广泛使用的肌电采集设备相比，可穿戴传感器的sEMG信号采样率更低（Myo臂章的采样频率为200 Hz）[7]. sEMG信号的主要功率为400~500 Hz[8]，由奈奎斯特采样理论可知，使用1 000 Hz的采样率足以捕捉sEMG信号的重要特性[9]. 在采样率低于1 000 Hz的手势识别中，手势识别的分类性能随着采样率的降低而降低[7,10]. sEMG具有很强的非线性特性，对sEMG信号进行分类常要在特定时间窗口中提取有效特征，再将肌电特征序列输入分类器中进行. 有研究者使用传统机器学习方法进行低采样率sEMG手势识别研究. Phinyomark等[11]使用支持向量机（support vector machine, SVM）和线性判别分析（linear discriminant analysis, LDA）研究不同特征对低采样率sEMG手势识别的影响. 该研究结果表明，波长的分类效果优于其他特征. Chen等[12]使用SVM、LDA和K近邻（K-nearest neighbor, KNN）分类器，研究由卷积神经网络提取的特征（convolutional neural network feature, CNNFeat）与25个传统特征在低采样率sEMG手势识别中的不同表现，实验结果表明，在跨被试的手势识别测试中，CNNFeat优于传统特征.

虽然传统的机器学习方法在低采样率sEMG手势识别上有较高的分类精度[13-18]，但是特征提取、选择及组合的过程复杂，且所选的不同特征会导致性能差异[2]. 深度学习方法是解决上述问题的方案之一，其中卷积神经网络（convolutional neural networks, CNN）在语音识别[19]、图像分类[20]、计算机视觉、自然语言处理和目标检测[21]等领域均表现出良好性能. 深度学习方法在低采样率sEMG手势识别上的应用也取得了令人满意的效果[22-25]. Li等[26]构建了CNN结合长短时记忆的低采样率sEMG手势识别模型，使用自采集的数据进行模型评估， 30种手势动作的平均准确率为97.5%. Li等[27]提出基于AlexNet的迁移学习模型，利用NinaPro[13] 中DB5子数据库的sEMG信号训练模型，模型对10名受试者的53种手势识别精度达到70.4%. He等[28]提出长短时记忆神经网络结合多层感知的手势识别模型，使用NinaPro数据库进行模型评估，模型对52种手势的识别精度为75.45%. Tsinganos等[29]使用基于CNN的改进模型识别NinaPro DB1数据库中的53种手势动作，识别准确率为72.06%.

在sEMG手势识别中，由于电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素的影响[30]，导致sEMG信号特性会随时间变化，使肌电控制算法的性能受到影响[31]. 在sEMG模式识别方面，预测和纠正上述干扰源能够提升模型的识别性能[32-34]. Ketykó等[35-36]使用基于深度学习的域自适应方法预测和纠正上述干扰源，该方法在会话内、会话间以及受试者间的实验中均表现出良好性能，可以提升受试者的迁移能力并提高分类精度. 为了预测和纠正上述干扰源并提升模型识别低采样率肌电手势的性能，本研究提出卷积神经网络结合子域适应的方法. 由于低采样率sEMG包含的运动信息比高采样率sEMG的更少，为了避免卷积过程中的信息损失，在CNN中构建信息扩展层（information expansion layer, IEL），在丰富低采样率sEMG信息的同时确保信息有意义. 引入子域适应网络（subdomain adaptation network, SAN）促使CNN更好地提取源域与目标域中的域不变表示，提升构成模型的低采样率肌电手势识别性能.

1. 材料与方法

1.1. 肌电数据集

NinaPro是公开且认可度较高的肌电数据库，采集的肌肉位置包括指浅屈肌、指浅伸肌和靠近前臂的肘关节下方. 本研究使用该数据库的DB1和DB5子数据库，包含与上肢运动相关的数据. 如表1所示为DB1和DB5数据库的相关信息，其中$ {N}_{\mathrm{g}} $为手势数量，$ {N}_{\mathrm{s}} $为受试者数量，$ {N}_{\mathrm{e}} $为电极数量，$ {f}_{\mathrm{s}} $为采样频率，$ {N}_{\mathrm{t}} $为试验次数.DB1子数据库包含53种手势的肌电数据，采集对象为27名健康受试者〔20名男性，7名女性，平均年龄（28±3.4）岁〕，采集设备为Ottobock 13E200. DB5子数据库也包含53种手势的肌电数据，采集对象为10名健康受试者〔8名男性，2名女性，平均年龄（28±3.97）岁〕，受试者戴2个Myo臂章，一个Myo臂章放置在靠近肘部的位置，第一个电极位于肱桡关节，该臂章的正下方放置另一个Myo臂章；采集设备为Double Myo，肌电信号的振幅限制在−128~127. DB1和DB5具有相同的采集协议.

表 1   NinaPro中DB1和DB5子数据库的信息

Tab.1  DB1 and DB5 sub-database details in NinaPro

数据库$ {N}_{\mathrm{g}} $$ {N}_{\mathrm{s}} $$ {N}_{\mathrm{e}} $$ {f}_{\mathrm{s}} $/Hz$ {N}_{\mathrm{t}} $
DB153271010010
DB55310162006

新窗口打开| 下载CSV


1.2. 数据预处理

1.2.1. 数据去噪

对于DB1子数据库，参考文献[37]、[38]，使用具有截止频率为1.0 Hz的一阶低通滤波器进行数据去噪. 对于DB5子数据库，参考文献[24]，不进行数据去噪.

1.2.2. 动作划分

DB1和DB5包含区分各个手势动作的标签数据，根据该标签数据划分所有动作. 为了适应网络的数据输入格式，将各个动作的肌电数据划分为统一的片段EMG.

1.2.3. 数据归一化

DB1中的肌电数据介于0~1.0，因此只对DB5中的肌电数据进行归一化处理：用滑动窗口将肌电数据划分为一系列的分析窗口，对每个分析窗口内的数据进行归一化，归一化的具体方式见文献[19].

1.2.4. 片段肌电数据生成

为了满足肌电控制系统的实时性要求，须使用滑动窗口将EMG信号划分为一系列的分析窗口，滑动窗口大小应小于300 ms[39]，为此将滑动窗口大小设置为200 ms（重叠100 ms）.

1.3. 低采样率表面肌电手势识别模型
1.3.1. 模型结构

如图1所示，本研究提出的低采样率sEMG手势识别模型分为3个阶段：数据输入阶段、信息扩展阶段、模型预测阶段. 在信息扩展阶段，信息扩展层有3个分支，每个分支包含卷积层、批量归一化（batch normalization，BN）、ReLU激活层和挤压与激励（squeeze-and-excitation，SE）注意力机制[40]模块. 原始肌电数据经过信息扩展层后得到3种数据格式为$ H\times W\times F $的数据（$ H $为数据的高度，$ W $为数据的宽度，$ F $为卷积核的数量），在通道维度上对这些数据进行拼接. 模型预测阶段包含CNN和SAN，其中CNN由卷积层、BN层、ReLU激活层、全连接层（fully connected，FC）组成，网络参数如表2所示. 表中，$ F $为卷积核的数量，$ {K}_{\mathrm{s}} $为卷积核的大小，$ S $为步长，$ P $为填充，$ {A}_{\mathrm{f}} $为激活函数，same表示填充方式. 数据通过信息扩展层后，带有标签的源域数据和未带有标签的目标域数据经过CNN后被映射为$ D $维的特征向量. 这些特征向量将被送到SAN中并计算源域与目标域的数据分布差异，差异的大小用子域适应损失表示. 在训练模型时，CNN产生的分类损失和子域适应损失会被反向传播给特征提取网络，为了提取域不变特征，须使SAN中的子域适应损失最小化，并将特征提取网络中的分类损失降到最低.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   低采样率表面肌电手势识别模型的结构

Fig.1   Structure of low sampling rate surface electromyography-based gesture recognition model


表 2   卷积神经网络的参数

Tab.2  Parameters of convolutional neural network

层级$ F $$ {K}_{\mathrm{s}} $$ S $$ P $$ {A}_{\mathrm{f}} $
Conv164$ 8\times 8 $11ReLU
Conv2128$ 5\times 5 $1sameReLU
Conv3256$ 3\times 3 $1sameReLU
Conv4512$ 3\times 3 $1sameReLU
FC—————

新窗口打开| 下载CSV


1.3.2. 信息拓展层

相比高采样率sEMG信号，低采样率sEMG信号包含的运动信息更少，Chaiyaroj等[22,27]在提取不同的肌电特征后，以特征组合的方式丰富肌电特征的信息，将特征组合后的肌电特征集送入网络. 陈思佳等[25]通过提取原始sEMG信号的小波包特征图像并通过与原始sEMG信号结合的方式来扩展低采样率sEMG信号的信息，将sEMG信号的小波包特征图像与原始sEMG信号结合作为深度学习模型的输入数据. 为了扩展低采样率sEMG信号的信息并防止在卷积过程中信息的损失，受特征级融合概念[41]的启发，信息扩展层从原始sEMG信号中提取不同的分支输出，通过组合不同的分支输出来扩展低采样率sEMG信号的信息. 信息扩展层的结构如图2所示，信息扩展层中左中右侧侧卷积层的具体参数如表3所示. SE注意力机制通过明确模拟卷积特征通道之间的相互依存关系来提高网络的表征能力，它可以学习使用全局信息来选择性地强调信息特征并抑制无用的特征. 本研究通过在信息扩展层中加入SE注意力机制来增强关键特征的表示，SE注意力机制的结构如图3所示. 当要对数据进行处理时，转换函数$ {{{\boldsymbol{F}}}}_{\mathrm{t}\mathrm{r}} $将输入数据X转换为特征$ \boldsymbol{U}=\left[{\boldsymbol{u}}_{1},{\boldsymbol{u}}_{2},\cdots {\boldsymbol{u}}_{C}\right] $，

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   低采样率表面肌电手势识别模型中信息扩展层的结构

Fig.2   Structure of information expansion layer in low sampling rate surface electromyography-based gesture recognition model


表 3   信息扩展层中各卷积层的参数

Tab.3  Convolutional layer parameters in information expansion layer

卷积层$ {K}_{\mathrm{s}} $$ S $$ F $$ P $
左卷积层$ 1\times 1 $18same
中卷积层$ 1\times 3 $18same
右卷积层$ 1\times 3 $18same

新窗口打开| 下载CSV


图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   信息扩展层中挤压与激励注意力机制的结构

Fig.3   Structure of squeeze-and-excitation attention mechanism in information expansion layer


$ {{\boldsymbol{u}}_c} = {{\boldsymbol{V}}_c} * {\boldsymbol{X}} = \sum\limits_{s = 1}^{C'} {{\boldsymbol{V}}_c^s * {{\boldsymbol{X}}^s}} . $

$ {\boldsymbol{V}}_{c}^{s} $为二维空间内核，将$ {\boldsymbol{u}}_{c} $压缩为$ \boldsymbol{z} $，

$ {{\boldsymbol{z}}_c} = {{\boldsymbol{F}}_{{\mathrm{sq}}}}({{\boldsymbol{u}}_c}) = \frac{1}{{H \times W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{{\boldsymbol{u}}_c}(i,j)} } . $

$ \boldsymbol{z}\in {{{\bf{R}}}}^{C} $，为每个通道赋予权重，表达式为

$ {\boldsymbol{s}} = {{\boldsymbol{F}}_{{\mathrm{ex}}}}({\boldsymbol{z}},{\boldsymbol{W}}) = \sigma\; (g\;({\boldsymbol{z}},{\boldsymbol{W}})) = \sigma \;({{\boldsymbol{W}}_2}\delta \;({{\boldsymbol{W}}_1}{\boldsymbol{z}})). $

式中：$ \delta $为ReLU激活函数，$ \sigma $为sigmoid激活函数，$ {\boldsymbol{W}}_{1}\in {\mathbf{R}}^{({C}/{r})\times C} $，$ {\boldsymbol{W}}_{2}\in {\mathbf{R}}^{C\times (C/r)} $. 将权重$ \boldsymbol{s} $与$ {\boldsymbol{u}}_{c} $相乘，得到SE注意力机制的输出，

$ {\tilde {\boldsymbol{X}}_c} = {{\boldsymbol{F}}_{{\mathrm{sc}}}}({{\boldsymbol{u}}_c},{s_c}) = {s_c} \cdot {{\boldsymbol{u}}_c}. $

$ \tilde{\boldsymbol{X}}=[{\tilde{\boldsymbol{X}}}_{1},{\tilde{\boldsymbol{X}}}_{2},\cdots ,{\tilde{\boldsymbol{X}}}_{C}] $为最终计算结果.

1.3.3. 子域适应网络

在不考虑2个域中的子域关系的情况下对齐源域和目标域的分布，这可能会丢失每个类别的细粒度信息. Zhu等[42]考虑2个域中的子域关系，提出子域适应方法，该方法可以捕获每个类别的细粒度信息，更好地对齐源域与目标域的分布. 在子域适应方法中，迁移网络的学习通过基于局部最大均值差异（local maximum mean discrepancy, LMMD）在不同域之间对齐相关子域分布实现，LMMD的定义式为

$ \begin{split} {{\hat d}_l}(p,q) =& \frac{1}{C}\sum\limits_{c = 1}^C \left[ \sum\limits_{i = 1}^{{n_{\mathrm{s}}}} {\sum\limits_{j = 1}^{{n_{\mathrm{s}}}} {\omega _i^{{\mathrm{s}}c}\omega _j^{{\mathrm{s}}c}k({\boldsymbol{Z}}_i^{{\mathrm{s}}l},{\boldsymbol{Z}}_j^{{\mathrm{s}}l})} } + \right.\\& \sum\limits_{i = 1}^{{n_{\mathrm{t}}}} {\sum\limits_{j = 1}^{{n_{\mathrm{t}}}} {\omega _i^{{\mathrm{t}}c}\omega _j^{{\mathrm{t}}c}k({\boldsymbol{Z}}_i^{{\mathrm{t}}l},{\boldsymbol{Z}}_j^{{\mathrm{t}}l})} } - \\& \left. 2\sum\limits_{i = 1}^{{n_{\mathrm{s}}}} {\sum\limits_{j = 1}^{{n_{\mathrm{t}}}} {\omega _i^{{\mathrm{s}}c}\omega _j^{{\mathrm{t}}c}} k({\boldsymbol{Z}}_i^{{\mathrm{s}}l},{\boldsymbol{Z}}_j^{{\mathrm{t}}l})} \right]. \end{split} $

式中：p为源域，q为目标域，$ {\boldsymbol{Z}}^{l} $为第$ l $个层激活；$ {\omega }_{i}^{c} $、$ {\omega }_{j}^{c} $分别表示属于类别c中样本$ {x}_{i} $、$ {x}_{j} $的权重；$ k({\boldsymbol{Z}}_{i},{\boldsymbol{Z}}_{j}) $表示特征图$ \mathrm{\varnothing }\left({\boldsymbol{Z}}_{i}\right) $与$ \mathrm{\varnothing }\left({\boldsymbol{Z}}_{j}\right) $的内积，其中$ \mathrm{\varnothing }\left(\text{ }\right) $为将样本映射到再生希尔伯特空间的特征图. 如图4所示，子域适应网络与卷积神经网络和信息扩展层结合后，集成了特征学习和特征自适应，不仅对齐源域与目标域的分布，还对齐相关子域的分布. 子域适应网络需要4个输入：源域数据$ {\boldsymbol{X}}^{\mathrm{s}} $、目标域数据$ {\boldsymbol{X}}^{\mathrm{t}} $、真实标签$ {\boldsymbol{Y}}^{\mathrm{s}} $和预测标签$ {\widehat{\boldsymbol{Y}}}^{\mathrm{t}} $，为了在早期阶段抑制来自域分类器的噪声信号，不固定子适应因子$\lambda $，将$\lambda $从0递增至1.0：

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   子域适应网络的结构

Fig.4   Structure of subdomain adaptation network


$ \lambda = \frac{2}{{1+\exp\; ( - \gamma p)}} - 1. $

$ P $随着训练过程从0递增至1，设置$\gamma $=10[42].

1.4. 评估指标

采用与NinaPro数据库现有研究中常用的被试内方案：在被试内评估中，所提模型使用某受试者的部分数据进行训练，并使用该受试者的剩余数据进行测试. 对于DB1子数据库，1、3、4、6、8、9和10组重复用于训练，2、5和7组重复用于测试[29,37,43]. 对于DB5子数据库，1、3、4和6组重复用于训练，2和5组重复用于测试[27]. 通过对所有受试者取得的识别准确率进行平均获得最终的手势识别准确率，计算式为

$ {\mathrm{Acc}} = \frac{1}{S}\sum\limits_{i = 1}^S {\frac{n}{m}} . $

式中：$ S $为受试者的数量，$ m $为测试样本数量，$ n $为分类正确的样本数量.

2. 实验与结果

2.1. 实验设置

训练环境基于Intel Core Xeon(R) Platinum 8350C，NVIDIA RTX A5000 24 GB, CUDA 11.3的python3.8, pytorch 1.11.0实现. 模型使用Adam优化器进行训练，设置迭代轮次为60，批量大小为128，初始学习率为0.001，在训练过程中，当迭代轮次超过30时，学习率从0.001下降为0.00001，具有最高验证集准确率的模型被保存为最终模型.

2.2. 超参数

为了确定适合模型的优化器和初始学习率，进行超参数实验，实验结果如图5所示. 图中，$ {L}_{\mathrm{r}} $为学习率. Adam优化器优于对比优化器，当学习率为0.001时，识别准确率最高，因此，模型的优化器选择Adam，初始学习率设置为0.001.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   超参数实验的结果图

Fig.5   Diagram of results of hyperparametric experiment


2.3. 子域适应网络的权重参数

在模型训练过程中，通过将模型损失Loss反向传播给前馈网络来不断地优化模型，

$ {\mathrm{Loss}} = J+\lambda \hat d(p,q). $

式中：$ J $为分类损失，$ \widehat{d}(p,q) $为子域适应损失. 子域适应损失的权重参数$ \omega $会影响实验结果，为此将$ \omega $从0.1递增至1.0再进行实验.

2.4. 实验结果

不同权重参数下模型对DB1和DB5的53种手势动作取得的识别准确率如表4所示. 由表可知，当$ \omega = $0.1时，模型的识别准确率最高，分别为90.89%、89.90%. 2个子数据库53种手势动作分类结果的混淆矩阵如图6所示. 可以看出，大部分数据点分布在从左上至右下这条对角线附近，部分手势动作的分类结果较差. 这种误分类主要发生在相邻及相近标签对应手势动作的情况下，这些手势动作比较相似，不容易区分（如标签20、21、22、23对应的手势动作都是手腕动作，只是动作方向不同）.

表 4   不同权重参数下53种手势的识别准确率

Tab.4  Recognition accuracy of 53 gestures with different weight parameters

$ \omega $Acc/%$ \omega $Acc/%
DB1DB5DB1DB5
0.190.8989.900.690.1288.14
0.290.7489.740.789.9987.74
0.390.5989.290.889.9187.36
0.490.5488.830.989.7887.00
0.590.3488.421.089.5785.14

新窗口打开| 下载CSV


图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   53种手势分类结果的混淆矩阵

Fig.6   Confusion matrix for classification results of 53 gestures


由于静息动作的时间远高于另外52个手势动作的时间，导致静息动作的测试样本量远高于其他手势动作，数据集存在类别不平衡的问题；此外，静息动作比其他动作容易识别. 将2个子数据库中的静息动作去除后不同权重参数手势动作的识别准确率如表5所示. 由表可知，对于DB1，当$ \omega = $0.8时，模型的识别准确率最高，为82.01%；对于DB5，当$ \omega = $0.6时，模型的识别准确率最高，为77.07%. 2个子数据库52种手势动作分类结果的混淆矩阵如图7所示. 可以看出，实验结果与图5展示的实验结果相似.

表 5   不同权重参数下52种手势的识别准确率

Tab.5  Recognition accuracy of 52 gestures with different weight parameters

$ \omega $Acc/%$ \omega $Acc/%
DB1DB5DB1DB5
0.181.4675.680.681.9577.07
0.281.8376.370.781.9876.99
0.381.8976.710.882.0176.99
0.481.8476.940.981.9976.93
0.581.9877.061.081.9676.75

新窗口打开| 下载CSV


图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   52种手势分类结果的混淆矩阵

Fig.7   Confusion matrix for classification results of 52 gestures


为了直观展示所提出方法能够降低电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素对低采样率肌电手势识别的影响，用t分布随机邻近嵌入（t-distributed stochastic neighbor embedding，TSNE）技术对源域和目标域的数据分布及由CNN和构成模型学习到的特征进行可视化处理，结果如图8所示. 源域与目标域的数据分布体现不同影响因素造成的被试内肌电分布差异. 对使用CNN学习到的特征进行可视化可以发现，源域与目标域没有很好地对齐，有些样本难以区分. 使用所提方法学习到的特征可视化结果表明，源域与目标域对齐较好，能够提取源域与目标域的域不变表示，降低了电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素对低采样率肌电手势识别的影响，提高了分类性能.

图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   源域与目标域数据分布及2种模型的特征分布

Fig.8   Data distribution of source domain and target domain and feature distribution of two models


针对不同类型的手势动作进行分类实验，实验结果如表6所示. 由表可知，不同类型的手势动作受电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素的影响不同，导致分类精度存在差异. 在DB1中，模型对手指和手部动作的识别精度比较相近，高于手腕和抓握动作的识别精度；在DB5中，模型对手指和手部动作的识别精度也高于手腕和抓握动作的识别精度.

表 6   不同类型手势动作的识别准确率

Tab.6  Recognition accuracy of different types of gesture actions

手势类型Acc/%手势类型Acc/%
DB1DB5DB1DB5
手指动作88.8981.69手腕动作84.1674.89
手部动作89.1586.78抓握动作79.0777.66

新窗口打开| 下载CSV


在2个子数据库中对比不同方法的低采样率肌电手势识别性能，结果如表7所示. DB1的采样率为100 Hz，本研究所提方法的手势动作识别准确率高于对比方法的识别准确率；DB5的采样率为200 Hz，本研究所提方法的53种手势动作识别准确率高于对比方法的识别准确率，52种手势动作的识别准确率比Peng等[46]方法的识别准确率低0.83%. 分析原因，Peng等[46]采用的滑动窗口大小比所提方法高100 ms，滑动窗口大小会影响分类性能，滑动窗口越大，分类误差越小[47]. 所提方法在滑动窗口大小上比Peng等[46]方法低100 ms的情况下，取得了与Peng等[46]方法相近的识别准确率. 对比结果表明，所提方法在采样率为100、200 Hz的低采样率sEMG手势识别上有效.

表 7   不同手势识别方法的性能比较

Tab.7  Performance comparison with different gesture recognition methods

手势数量数据库方法Acc/%
53DB5Li等[27]70.40
DB1Tsinganos等[29]72.06
DB5Xu等[44]87.42
DB5Josephs等[45]87.09
DB1本研究90.89
DB5本研究89.90
52DB1He等[28]75.45
DB5Shen等[24]74.51
DB1Geng等[38]77.80
DB1Du等[43]79.50
DB5Peng等[46]77.90
DB1本研究82.01
DB5本研究77.07

新窗口打开| 下载CSV


2.5. 消融实验

在2个子数据库中分析所提方法的变量及验证子域适应网络对会话内手势识别的影响，消融实验结果如表8所示. 在E2结构中，加入BN层和ReLU层能够明显提升模型的低采样率肌电手势识别性能，原因是BN层减少了内部协变量偏差的影响，ReLU层对激活输入值进行单侧抑制，避免了梯度消失，加快了网络的训练速度. 在E3结构中，对低采样率sEMG信号的信息进行扩展后再送到特征提取网络有利于提升模型的低采样率肌电手势识别性能. 在E4结构中，子域适应网络能够提升模块的会话内手势识别性能，将子域适应网络与卷积神经网络、信息扩展层结合，将子域适应损失和分类损失反向传播给特征提取网络，通过模型的不断迭代来提取源域与目标域的域不变表示，降低了电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素对低采样率肌电手势识别的影响. 消融实验结果表明，所提方法的模型结构变化对提升采样率为100、200 Hz的低采样率肌电手势识别性能有益.

表 8   模型结构性能的消融实验

Tab.8  Ablation experiments for model structure performance

手势数量模型结构Acc/%
DB1DB5
53E1：CNN80.2862.87
E2：E1+BN+ReLU89.3488.31
E3：E2+IEL90.1789.18
E4：E3 +SAN90.8989.90
52E1：CNN63.187.59
E2：E1+BN+ReLU77.8872.45
E3：E2+IEL79.0374.17
E4：E3 +SAN82.0177.07

新窗口打开| 下载CSV


3. 结　论

（1）对比NinaPro中DB1和DB5子数据库的53种和52种手势分类结果的混淆矩阵发现，所建模型对部分手势动作的分类效果较差，这部分手势动作比较相似，仅分析sEMG信号难以区分.

（2）消融实验结果表明，通过信息扩展层扩展低采样率sEMG信号对提高低采样率肌电手势识别的性能有益；引入子域适应网络能够提升模型的会话内手势识别性能，使模型在低采样率肌电手势识别上取得较好的效果.

（3）在NinaPro中DB1和DB5子数据库的被试内验证结果表明，在低采样率肌电手势识别上，所提方法不弱于其他文献中提出的方法，且降低了电极移位、肌肉疲劳、皮肤阻抗的变化和肌肉相对电极的相对运动等因素对低采样率肌电手势识别的影响.

下一步将减少输入数据的冗余信息，提高特征提取网络提取域不变特征的能力，开展跨被试的低采样率肌电手势识别研究.

参考文献

LI K, ZHANG J, WANG L, et al

A review of the key technologies for sEMG-based human-robot interaction systems

[J]. Biomedical Signal Processing and Control, 2020, 62: 102074

DOI:10.1016/j.bspc.2020.102074      [本文引用: 1]

JIANG S, KANG P, SONG X, et al

Emerging wearable interfaces and algorithms for hand gesture recognition: a survey

[J]. IEEE Reviews in Biomedical Engineering, 2021, 15: 85- 102

[本文引用: 2]

NGUYEN-TRONG K, VU H N, TRUNG N N, et al

Gesture recognition using wearable sensors with bi-long short-term memory convolutional neural networks

[J]. IEEE Sensors Journal, 2021, 21 (13): 15065- 15079

DOI:10.1109/JSEN.2021.3074642      [本文引用: 1]

JIANG X, XU K, LIU X, et al

Neuromuscular password-based user authentication

[J]. IEEE Transactions on Industrial Informatics, 2021, 17 (4): 2641- 2652

DOI:10.1109/TII.2020.3001612      [本文引用: 1]

CHEN X, GONG L, ZHENG L, et al. Soft exoskeleton glove for hand assistance based on human-machine interaction and machine learning [C]// 2020 IEEE International Conference on Human-Machine Systems . Rome: IEEE, 2020: 1−6.

[本文引用: 1]

Al-FAHAAM H, DAVIS S, NEFTI-MEZIANI S, et al

Novel soft bending actuator-based power augmentation hand exoskeleton controlled by human intention

[J]. Intelligent Service Robotics, 2018, 11 (3): 247- 268

DOI:10.1007/s11370-018-0250-4      [本文引用: 1]

PHINYOMARK A, KHUSHABA R N, SCHEME E

Feature extraction and selection for myoelectric control based on wearable EMG sensors

[J]. Sensors, 2018, 18 (5): 1615

DOI:10.3390/s18051615      [本文引用: 2]

CLANCT E A, MORIN E L, MERLETTI R

Sampling, noise-reduction and amplitude estimation issues in surface electromyography

[J]. Journal of Electromyography and Kinesiology, 2002, 12 (1): 1- 16

DOI:10.1016/S1050-6411(01)00033-5      [本文引用: 1]

IVES J C, WIGGLESWORTH J K

Sampling rate effects on surface EMG timing and amplitude measures

[J]. Clinical Biomechanics, 2003, 18 (6): 543- 552

DOI:10.1016/S0268-0033(03)00089-5      [本文引用: 1]

LI G, LI Y, YU L, et al

Conditioning and sampling issues of EMG signals in motion recognition of multifunctional myoelectric prostheses

[J]. Annals of Biomedical Engineering, 2011, 39 (6): 1779- 1787

DOI:10.1007/s10439-011-0265-x      [本文引用: 1]

PHINYOMARK A, SCHEME E. A feature extraction issue for myoelectric control based on wearable EMG sensors [C]// 2018 IEEE Sensors Applications Symposium . Seoul: IEEE, 2018: 1−6.

[本文引用: 1]

CHEN H, ZHANG Y, LI G, et al

Surface electromyography feature extraction via convolutional neural network

[J]. International Journal of Machine Learning and Cybernetics, 2020, 11: 185- 196

DOI:10.1007/s13042-019-00966-x      [本文引用: 1]

ATZORI M, GIJSBERTS A, HEYNEN S, et al. Building the Ninapro database: a resource for the biorobotics community [C]// 2012 4th IEEE RAS and EMBS International Conference on Biomedical Robotics and Biomechatronics . Rome: IEEE, 2012: 1258−1265.

[本文引用: 2]

CAO L, ZHANG W, KAN X, et al

A novel adaptive mutation PSO optimized SVM algorithm for sEMG-based gesture recognition

[J]. Scientific Programming, 2021, 2021 (1): 9988823

WAHID M F, TAFRESHI R, AL-SOWAIDI M, et al

Subject-independent hand gesture recognition using normalization and machine learning algorithms

[J]. Journal of Computational Science, 2018, 27: 69- 76

DOI:10.1016/j.jocs.2018.04.019     

TEPE C, ERDIM M

Classification of surface electromyography and gyroscopic signals of finger gestures acquired by Myo armband using machine learning methods

[J]. Biomedical Signal Processing and Control, 2022, 75: 103588

DOI:10.1016/j.bspc.2022.103588     

JARAMILLO-YANEZ A, UNAPANTA L, BENALCÁZAR M E. Short-term hand gesture recognition using electromyography in the transient state, support vector machines, and discrete wavelet transform [C]// 2019 IEEE Latin American Conference on Computational Intelligence . Guayaquil: IEEE, 2019: 1−6.

WAHID M F, TAFRESHI R, AL-SOWAIDI M, et al. An efficient approach to recognize hand gestures using machine-learning algorithms [C]// 2018 IEEE 4th Middle East Conference on Biomedical Engineering . Tunis: IEEE, 2018: 171−176.

[本文引用: 1]

ZHANG Z, GEIGER J, POHJALAINEN J, et al

Deep learning for environmentally robust speech recognition: an overview of recent developments

[J]. ACM Transactions on Intelligent Systems and Technology, 2018, 9 (5): 49

[本文引用: 2]

YU S, JIA S, XU C

Convolutional neural networks for hyperspectral image classification

[J]. Neurocomputing, 2017, 219: 88- 98

DOI:10.1016/j.neucom.2016.09.010      [本文引用: 1]

KHAN A, SOHAIL A, ZAHOORA U, et al

A survey of the recent architectures of deep convolutional neural networks

[J]. Artificial Intelligence Review, 2020, 53 (8): 5455- 5516

DOI:10.1007/s10462-020-09825-6      [本文引用: 1]

CHAIYAROJ A, SRI-IESARANUSORN P, BUEKBAN C, et al. Deep neural network approach for hand, wrist, grasping and functional movements classification using low-cost sEMG sensors [C]// 2019 IEEE International Conference on Bioinformatics and Biomedicine . San Diego: IEEE, 2019: 1443−1448.

[本文引用: 2]

TSINGANOS P, CORNELIS B, CORNELIS J, et al. Improved gesture recognition based on sEMG signals and TCN [C]// 2019 IEEE International Conference on Acoustics, Speech and Signal Processing . Brighton: IEEE, 2019: 1169−1173.

SHEN S, GU K, CHEN X, et al

Gesture recognition through sEMG with wearable device based on deep learning

[J]. Mobile Networks and Applications, 2020, 25: 2447- 2458

DOI:10.1007/s11036-020-01590-8      [本文引用: 2]

陈思佳, 罗志增

基于长短时记忆和卷积神经网络的手势肌电识别研究

[J]. 仪器仪表学报, 2021, 42 (2): 162- 170

[本文引用: 2]

CHEN Sijia, LUO Zhizeng

Research on gesture EMG recognition based on long short-term memory and convolutional neural network

[J]. Chinese Journal of Scientific Instrument, 2021, 42 (2): 162- 170

[本文引用: 2]

LI Y, YANG L, HE Z, et al

Low-cost data glove based on deep-learning-enhanced flexible multiwalled carbon nanotube sensors for real-time gesture recognition

[J]. Advanced Intelligent Systems, 2022, 4 (11): 2200128

DOI:10.1002/aisy.202200128      [本文引用: 1]

LI Y, ZHANG W, ZHANG Q, et al

Transfer learning-based muscle activity decoding scheme by low-frequency sEMG for wearable low-cost application

[J]. IEEE Access, 2021, 9: 22804- 22815

DOI:10.1109/ACCESS.2021.3056412      [本文引用: 4]

HE Y, FUKUDA O, BU N, et al. Surface EMG pattern recognition using long short-term memory combined with multilayer perceptron [C]// 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society . Honolulu: IEEE, 2018: 5636−5639.

[本文引用: 2]

TSINGANOS P, CORNELIS B, CORNELIS B, et al. Deep learning in EMG-based gesture recognition [C]// International Conference on Physiological Computing Systems . Seville: [s. n.], 2018: 107−114.

[本文引用: 3]

CASTELLINI C, VAN DER SMAGT P

Surface EMG in advanced hand prosthetics

[J]. Biol Cybern, 2009, 100 (1): 35- 47

DOI:10.1007/s00422-008-0278-1      [本文引用: 1]

FARINA D, JIANG N, REHBAUM H, et al

The extraction of neural information from the surface EMG for the control of upper-limb prostheses: emerging avenues and challenges

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014, 22 (4): 797- 809

DOI:10.1109/TNSRE.2014.2305111      [本文引用: 1]

SIMÃO M, MENDES N, GIBARU O, et al

A review on electromyography decoding and pattern recognition for human-machine interaction

[J]. IEEE Access, 2019, 7: 39564- 39582

DOI:10.1109/ACCESS.2019.2906584      [本文引用: 1]

XU H, XIONG A

Advances and disturbances in sEMG-based intentions and movements recognition: a review

[J]. IEEE Sensors Journal, 2021, 21 (12): 13019- 13028

DOI:10.1109/JSEN.2021.3068521     

XIONG D, ZHANG D, ZHAO X, et al

Deep learning for EMG-based human-machine interaction: a review

[J]. IEEE/CAA Journal of Automatica Sinica, 2021, 8 (3): 512- 533

DOI:10.1109/JAS.2021.1003865      [本文引用: 1]

KETYKÓ I, KOVÁCS F, VARGA K Z. Domain adaptation for sEMG-based gesture recognition with recurrent neural networks [C]// 2019 International Joint Conference on Neural Networks . Budapest: IEEE, 2019: 1−7.

[本文引用: 1]

SOSIN I, KUDENKO D, SHPILMAN A. Continuous gesture recognition from sEMG sensor data with recurrent neural networks and adversarial domain adaptation [C]// 2018 15th International Conference on Control, Automation, Robotics and Vision . Singapore: IEEE, 2018: 1436−1441.

[本文引用: 1]

ATZORI M, GIJSBERTS A, CASTELLINI C, et al

Electromyography data for non-invasive naturally-controlled robotic hand prostheses

[J]. Scientific Data, 2014, 1: 140053

DOI:10.1038/sdata.2014.53      [本文引用: 2]

GENG W, DU Y, JIN W, et al

Gesture recognition by instantaneous surface EMG images

[J]. Scientific Reports, 2016, 6: 36571

DOI:10.1038/srep36571      [本文引用: 2]

HUDGINS B, PARKER P, SCOTT R N

A new strategy for multifunction myoelectric control

[J]. IEEE Transactions on Biomedical Engineering, 1993, 40 (1): 82- 94

DOI:10.1109/10.204774      [本文引用: 1]

HU J, SHEN L, SUN G. Squeeze-and-excitation networks [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City: IEEE, 2018: 7132−7141.

[本文引用: 1]

ATREY P K, HOSSAIN M A, EI SADDIK A, et al

Multimodal fusion for multimedia analysis: a survey

[J]. Multimedia Systems, 2010, 16: 345- 379

DOI:10.1007/s00530-010-0182-0      [本文引用: 1]

ZHU Y, ZHUANG F, WANG J, et al

Deep subdomain adaptation network for image classification

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32 (4): 1713- 1722

DOI:10.1109/TNNLS.2020.2988928      [本文引用: 2]

DU Y, WONG Y, JIN W, et. al. Semi-supervised learning for surface EMG-based gesture recognition [C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence . Melbourne: AAAI Press, 2017: 1624–1630.

[本文引用: 2]

XU Z, YU J, XIANG W, et al

A novel SE-CNN attention architecture for sEMG-based hand gesture recognition

[J]. Computer Modeling in Engineering and Sciences, 2023, 134 (1): 157- 177

DOI:10.32604/cmes.2022.020035      [本文引用: 1]

JOSEPHS D, DRAKE C, HEROY A, et al

sEMG gesture recognition with a simple model of attention

[J]. Machine Learning for Health, 2020, 136: 126- 138

[本文引用: 1]

PENG F, CHEN C, LV D, et al

Gesture recognition by ensemble extreme learning machine based on surface electromyography signals

[J]. Frontiers in Human Neuroscience, 2022, 16: 1- 14

[本文引用: 5]

SMITH L H, HARGROVE L J, LOCK B A, et al

Determining the optimal window length for pattern recognition-based myoelectric control: balancing the competing effects of classification error and controller delay

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2011, 19 (2): 186- 192

DOI:10.1109/TNSRE.2010.2100828      [本文引用: 1]

/

〈 〉