浙江大学学报(工学版), 2021, 55(4): 639-647 doi: 10.3785/j.issn.1008-973X.2021.04.005

计算机技术、电信技术

基于腕部姿态的帕金森病用药后开-关期检测

张腾,, 蒋鑫龙,, 陈益强, 陈前, 米涛免, 陈彪

1. 中国科学院 计算技术研究所,北京 100190

2. 移动计算与新型终端北京市重点实验室,北京 100190

3. 中国科学院大学计算机科学与技术学院,北京 100049

4. 首都医科大学宣武医院国家老年疾病临床研究中心,北京 100053

Wrist attitude-based Parkinson's disease ON/OFF state assessment after medication

ZHANG Teng,, JIANG Xin-long,, CHEN Yi-qiang, CHEN Qian, MI Tao-mian, CHAN Piu

1. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China

2. Beijing Key Laboratory of Mobile Computing and Pervasive Device, Beijing 100190, China

3. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100049, China

4. National Clinical Research Center for Geriatric Disorders, XuanWu Hospital, Capital Medical University, Beijing 100053, China

通讯作者: 蒋鑫龙,男,副研究员. orcid.org/0000-0001-6832-3808. E-mail: jiangxinlong@ict.ac.cn

收稿日期: 2020-09-8  

基金资助: 国家自然科学基金资助项目(61972383,61902379);2020年度中国残联课题资助项目(CJFJRRB23-2020);河北省自然科学基金资助项目(F2019207061)

Received: 2020-09-8  

Fund supported: 国家自然科学基金资助项目(61972383,61902379);2020年度中国残联课题资助项目(CJFJRRB23-2020);河北省自然科学基金资助项目(F2019207061)

作者简介 About authors

张腾(1993—),男,硕士生,从事普适计算的研究.orcid.org/0000-0003-1870-1051.E-mail:zhangteng19s@ict.ac.cn , E-mail:zhangteng19s@ict.ac.cn

摘要

针对医疗普适场景下的帕金森病患者高精度用药开-关期检测问题,提出基于腕部姿态的帕金森病开-关期检测方法.利用佩戴在手腕处的运动传感器数据进行姿态解算,得到腕部姿态信息特征,作为卷积神经网络输入进行帕金森病开-关期状态分类. 在医院临床患者测试数据上进行的对比实验表明,与采用运动传感器原始数据的最优结果相比,采用姿态信息能够提升20.3%的检测准确率;与当前最优的网络结构相比,该方法所采用的卷积神经网络在保持相似检测准确率(88.7%)的前提下,将模型参数量降低90.4%. 在医院临床患者自由活动数据上进行的实验表明,该方法能够在非限定动作下预测患者开-关期状态,达到开期91.5%和关期94.4%的准确率.

关键词: 帕金森疾病 ; 腕部姿态 ; 运动状态评估 ; 可穿戴传感器 ; 深度学习

Abstract

A Parkinson's disease ON/OFF state detection method based on wrist attitude was proposed aiming at the high-precision ON/OFF state detection of Parkinson's disease patients in pervasive healthcare scenarios. The motion sensor data worn on the wrist were utilized to obtain the wrist attitude feature with attitude determination, which was used as the input of the convolutional neural network to classify the ON/OFF state of Parkinson's disease. The comparative experiment on the clinical patient test data shows that using attitude information can obtain a 20.3% accuracy improvement compared with the optimal results of raw sensor data. The convolutional neural network reduced the amount of model parameters by 90.4% while maintaining a detection accuracy of 88.7%. This accuracy is similar to that of the current optimal network structure. Experiments conducted on the free movement data of clinical patients show that the method can predict the patient's ON/OFF state under unrestricted actions, and achieves an accuracy of 91.5% in the ON state and 94.4% in the OFF state.

Keywords: Parkinson's disease ; wrist attitude ; motor state assessment ; wearable sensor ; deep learning

PDF (1191KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张腾, 蒋鑫龙, 陈益强, 陈前, 米涛免, 陈彪. 基于腕部姿态的帕金森病用药后开-关期检测. 浙江大学学报(工学版)[J], 2021, 55(4): 639-647 doi:10.3785/j.issn.1008-973X.2021.04.005

ZHANG Teng, JIANG Xin-long, CHEN Yi-qiang, CHEN Qian, MI Tao-mian, CHAN Piu. Wrist attitude-based Parkinson's disease ON/OFF state assessment after medication. Journal of Zhejiang University(Engineering Science)[J], 2021, 55(4): 639-647 doi:10.3785/j.issn.1008-973X.2021.04.005

帕金森病(Parkinson's disease,PD)是仅次于阿尔兹海默症的第二大神经退行性疾病[1],我国65岁以上老年人的帕金森发病率约为1.7%[2]. 帕金森病会造成患者出现多种运动障碍[3]、认知障碍以及抑郁、焦虑等精神问题[4],患者的正常生活因此受到严重影响,生活质量逐步下降.

当前临床上主要依靠药物控制帕金森病的各种症状,但药物随着时间会出现一种“开-关”现象[5]:即患者服药后,周身的各种运动障碍症状会逐渐减轻,此时在医学上定义为患者处于“开期”;之后患者的症状逐渐加重,此时定义为处于“关期”. 及时准确地检测开-关期状态可以帮助医生更加科学地安排服药剂量和频次. 目前,临床上主要使用统一帕金森病评定量表(unified Parkinson disease's rating scale,UPDRS)对帕金森运动症状进行评估,以确定患者的开-关期状态,但量表无法实现对病人状态及症状严重程度的持续量化评估.

一种主流的帕金森病开-关期客观检测方法是利用可穿戴设备捕获患者的肌肉僵直、冻结步态和震颤等运动特征. 目前,Keijsers等[6-12]使用可穿戴运动传感器检测开-关期状态,这些方法通常使用加速度计、陀螺仪和磁力计(magnetic,angular rate and gravity,MARG)运动传感器原始数据提取的时域与频域特征来表征帕金森病的运动症状.

当前研究中通常使用多个传感器,虽然传感器的数量越多,获得的信息越丰富,但是会给患者带来更多的不便. 在UPDRS评估手部运动的过程中,医生主要依据患者腕部姿态评定症状严重程度,通过要求患者完成特定动作,不同症状的患者腕部姿态会呈现出明显的区别. 本文提出医院内部环境下基于单一惯用手的帕金森病开-关期检测方法,关注患者运动时腕部姿态的变化,采用MARG运动传感器数据进行姿态解算,基于姿态信息实现帕金森病开-关期状态的检测. 通过在9位帕金森病临床患者实际使用中的验证结果显示,提出的基于单一惯用手的检测方法切实有效.

1. 背景和相关工作

1.1. 帕金森病运动症状与开-关期评估

统一帕金森病评定量表(UPDRS)最初发布于1980年,目前已成为帕金森病临床中使用最广泛的评估量表. 由权威帕金森病研究组织世界运动障碍病学会(The Movement Disorder Society,MDS)于2019年修订的MDS-UPDRS是UPDRS量表的最新版本,包括日常非运动症状、日常运动症状、运动功能、运动并发症4个部分,对帕金森病患者的心理状态、情绪、日常活动、运动能力及并发症等帕金森病症状进行全面评估. 第3部分对应帕金森病的运动症状严重程度评估,适用于临床上的开-关期状态判定,这一部分共18个项目,覆盖了言语、表情、僵直、四肢灵活性、步态、震颤等各方面的运动症状. 每个项目的评分均为0~4分,评分全部为整数,分数越高表示症状越严重,最后按照全部项目的总分评定患者当前的运动状态[13]. 如图1所示,在临床上,医务人员会在每日患者服药前进行一次UPDRS的评价作为基线分数,完成后患者服下适量的左旋多巴制剂;之后所作的每一次UPDRS评价总分会与基线总分相比,当评定分数降低30%以上会被判定为进入开期,与基线相差较小的时候会被判定为处于关期.

基于量表的评定具有很大的时间成本,即使具有丰富经验的医务人员完成一次UPDRS评分,也需要至少15 min;对于普通医务人员,该过程可能需要持续20 min甚至更长. 若每小时进行一次评价,则每位医生仅能负责4位病人,这不仅造成医务人员时间的极大浪费,也会为患者带来沉重的经济与身体负担,但是远远不能满足患者的日常检测需求. UPDRS量表中对于0~4分症状的描述并非完全客观可量化,如“动作轻微变慢”、“动作中度变慢”等模糊的描述致使医务人员只能依靠自己的经验给出对应分数,造成不同医务人员之间存在评分差异,最终导致评分参考性减弱,影响对患者的诊断与治疗. 寻找一种简洁高效、实时性好同时客观准确的帕金森病开-关期检测方法显得尤为重要.

图 1

图 1   典型患者的UPDRS评分与开-关期状态认定

Fig.1   Patients' ON/OFF state corresponding to UPDRS score


1.2. 可穿戴应用于帕金森开-关期检测相关研究

针对帕金森病开-关期以运动症状严重性为主要判断依据的情况,医学界持续进行了大量的研究,提出多种评估帕金森病震颤、僵直等运动症状的设备和方法[14-17],但这些方法在便利性、实用性及准确性上存在不足,例如O'Suilleabhain等[14]设计的帕金森病震颤检测设备基于电磁场效应,需要在受试者整个手臂放置在设有多个传感器的设备中,同时需要有线连接到电脑上才能够工作. Beuter等[15]设计基于激光的帕金森病震颤检测设备,患者需要在食指上固定一个反射片,并将食指放置在激光发生装置下,通过连接的示波器显示患者震颤的情况. Zito等[16-17]采用患者转动转盘时的数据分别检测帕金森病僵直和运动迟缓症状. 检测时,使用多个扎带将患者手臂固定在设备上,患者握紧转盘用力转动,在此过程中转动角度和水平轴移动速度分别反映了患者的僵直和运动迟缓症状严重程度,但这种检测方法在准确性上有明显的不足. 传统医学界设计的设备在准确性和易用性上都存在明显不足,无法满足帕金森病患者对运动症状和开-关期的便捷、实时检测需求.

随着可穿戴技术近年来的蓬勃发展,可穿戴设备逐渐小型化、实用化,已成功应用于帕金森病症状的评估及开-关期状态的检测上,受到国内外众多研究者的广泛关注. 通过患者佩戴的运动传感器采集运动特征,输入机器学习模型得到患者的开-关期状态,是当前基于可穿戴设备实现开-关期检测的常用方法. 将传感器佩戴在不同的身体部位,能够获取到不同的运动特征,因此合理选择佩戴位置和设计相应的开-关期检测模型是当前研究工作中最关注的2个问题.

1.2.1. 运动传感器的佩戴位置

帕金森病开-关期状态由运动症状直接体现,因此如何设计可穿戴传感器组合获取更多患者的运动特征是多数研究的重要工作. Keijsers等[6]研究在患者胸口、双侧上臂、双侧大腿及症状最严重的手腕处佩戴6个加速度运动传感器,用于检测患者的震颤和运动迟缓症状,以此来判断患者的开-关期状态. Tsipouras等[12]研究使用6个可穿戴运动传感器,但佩戴位置分别位于双侧手腕和脚踝以及胸口和腰部,同时位于上肢的胸口和腰部2个部分使用了6轴加速度陀螺仪传感器,用来记录肢体旋转信息. 过多的传感器对患者造成了一定的不便,因此在之后的工作中多选择佩戴2个传感器,如Hssayeni等[7]在患者双脚脚踝处佩戴运动传感器,Hammerla等[10-11]将运动传感器佩戴在患者双手手腕处,Hssayeni等[8]选择在患者单侧手腕和脚踝各佩戴一个传感器. 现有的医学研究[18]表明,手腕处的重复运动与帕金森病的运动症状严重性有强相关性,同时运动受多巴胺类药物的影响,在服药后运动幅度、频率和完成情况等特征与服药前有显著区别,对开-关期有指示作用. Lonini等[19]的研究结果表明,四肢及躯干上的多传感器数据间存在极大的相关性和冗余,仅使用佩戴于单侧手腕的运动传感器即可对帕金森病上肢运动症状进行分类. 综上所述,本文仅要求患者在单侧惯用手佩戴运动传感器,通过减少冗余数据提高患者的佩戴便利性,实现开-关期状态的便捷检测.

1.2.2. 开-关期检测的算法模型

基于统计机器学习的模型方法在行为识别、跌倒检测和运动障碍评估等运动传感器应用上表现出优异的性能,目前绝大部分帕金森病开-关期状态检测的研究工作均采用了机器学习技术. Hssayeni等[7-9]使用支持向量机(support vector machine,SVM)模型构建开-关期分类算法,取得了80%以上的准确率. Keijsers等[6,12]构建多层感知机(multilayer perceptron,MLP),取得了相似的准确率. 与传统机器学习相比,深度学习因更强的表示学习能力和泛化能力受到广泛关注,在开-关期检测任务上得到了应用. Hammerla等[10]采用受限玻尔兹曼机(restricted Boltzmann machine,RBM),在非限定环境中实现开-关期的持续检测;Eskofier等[11]对比了深度学习CNN模型和传统机器学习算法SVM、AdaBoost等在运动迟缓症状上的性能,结果显示,基于CNN的方法能够平均比传统机器学习方法高出5%以上的准确率. 综上所述,选择构建基于CNN网络的开-关期状态分类模型,挖掘运动传感器的隐层特征,实现开-关期状态的高准确率检测.

基于上述研究结果,设计医院内部环境下基于单一惯用手的帕金森病开-关期检测方法. 采用患者惯用手佩戴的传感器作为数据源构建深度神经网络,实现对开-关期状态的便捷、高效检测.

2. 基于腕部姿态的开-关期检测方法

设计的基于单一惯用手腕部姿态的开-关期检测方法按照图2所示的流程展开介绍. 在住院期间,每天上午为患者惯用手佩戴MARG传感器,以采集患者的腕部运动数据和姿态信息;住院医生会按时评估患者的UPDRS评分,判断当前的开-关期状态. 对患者采集全过程的姿态信息进行清理、对齐和加窗等预处理操作,以处理后的数据作为输入,医生标记的开-关期状态作为标签,训练开-关期检测模型. 使用训练好的开-关期检测模型进行开-关期预测,通过多种度量指标,评价提出的基于单一惯用手腕部姿态的开-关期检测方法的性能.

图 2

图 2   开-关期检测方法整体流程

Fig.2   Overview of ON/OFF state assessment


2.1. 数据采集与预处理

所采集数据均来自于住院患者. 患者在惯用手佩戴MARG运动传感器,并在医生的指导下进行UPDRS评估,在这一过程中,传感器产生的原始数据会通过WiFi实时传输到存储网关中;在评估完成后,医生使用手机录入评分信息和对应的开-关期状态,一同上传至存储网关,作为后续算法的标定数据.

数据采集所使用的MARG传感器集成了 $ \pm 8g$量程3轴加速度计、±2 000 °/s量程3轴陀螺仪和±4 800 μT量程3轴磁强计,能够充分覆盖人体运动状态范围;传感器尺寸为34 mm×34 mm×25 mm,质量为21 g,能够捕捉帕金森患者的震颤、僵直等运动症状细节. 传感器模块可以直接进行滤波并将姿态解算为四元数,同时输出9轴原始测量数据和四元数姿态信息. 传感器测量输出频率为100~120 Hz,为了快速传输数据,传感器与网关间通过UDP协议通信,这造成了实际接收到的数据频率为81 ~108 Hz.

为了保持数据的一致性,实验结束后对数据记录文件进行预处理,所有传感器数据均下采样到80 Hz. 全部数据以5 s为窗口大小、50%重叠进行加窗处理,即每个窗口包含400个数据,每个数据由9轴传感器原始数据和4维四元数数据组成,窗口尺寸为(400,13). 每个窗口内的数据均通过4阶巴特沃斯滤波器进行滤波处理,其中对三轴加速度数据分别应用0.5 Hz的高通滤波器以去除重力的影响[20],对3轴加速度和3轴陀螺仪数据分别应用3~8 Hz的带通滤波器,以提取帕金森病的运动症状特征[20-21].

2.2. 姿态与四元数描述

刚体的姿态是指刚体自身坐标系与参考坐标系之间的角位置关系,在数学中以三维空间旋转这一过程来进行描述. 三维空间中的旋转可以采用3×3旋转矩阵表示,但在计算机应用中,为了降低计算复杂度,通常使用欧拉角和四元数[22]2种表示方式. 将旋转看作是沿着刚体自身的3个正交坐标轴分别进行旋转,3个坐标轴的旋转角组成了三维旋转的一组欧拉角(Euler angle). 在三维空间中选择一个向量作为轴,将旋转看作绕着这一条轴的旋转,即为轴角的参数化方式,为了便于计算,通常采用四元数表示轴坐标和旋转角2个参数.

对于欧拉角表示方式,一旦第2个坐标轴遇到 $ \pm{\text{π}} /2$的旋转角度,就会导致第3个坐标轴与第1个坐标轴重合,第3次旋转变成了在第1个坐标轴上的旋转,从而使整体旋转过程失去1个自由度,该现象被称为万向锁[23]. 由于万向锁的存在,欧拉角很少应用在高速运动的系统中,采用的MARG运动传感器具有接近100 Hz的频率,因此欧拉角不适用于本文.

不同于欧拉角,轴角表示方式采用基础坐标系,不随刚体旋转改变,因此不存在万象锁的问题,适用于本文的应用场景. 轴角具有4个参数,分别为参考轴的坐标和绕参考轴的旋转角度,为了便于快速计算,在计算机应用中通常使用四元数来表示轴角的4个参数.

四元数 $Q$的定义与复数十分类似,将复数的一个虚部 ${\rm{i}}$扩展为3个 ${\rm{i}}{\text{、}}{\rm{j}}{\text{、}}{\rm{k}}$,得到如下的四元数表示形式:

$Q = {q_0} + {q_1}{\rm{i}} + {q_2}{\rm{j}} + {q_3}{\rm{k}}.$

式中:

${{\rm{i}}^2} = {{\rm{j}}^2} = {{\rm{k}}^2} = {\rm{ijk}} = - 1.$

假设刚体自身坐标系为 $O{X_\alpha }{Y_\alpha }{Z_\alpha }$,参考坐标系为 $O{X_\beta }{Y_\beta }{Z_\beta }$,则刚体相对于参考坐标系的姿态等价于坐标系 $\alpha $绕向量 ${{R}}$旋转 $\theta $角度到坐标系 $\;\beta $(见图3),用四元数表示为 $\left[ {{R_x}\sin\; (\theta /2),{R_y}\sin\; (\theta /2),{R_z}\sin\; (\theta /2),} \right.$ $\left. {\cos \;(\theta /2)} \right]$,其中 ${R_x}{\text{、}}{R_y}{\text{、}}{R_z}$为向量 ${{R}}$在坐标系 $\;\beta $中的方向余弦.

图 3

图 3   坐标系 $\alpha $至坐标系 $\;\beta$的旋转示意图

Fig.3   Rotational coordinate transformations


2.3. 开-关期检测算法模型

在开-关期检测过程中,需要应对UPDRS评分时动作类别之间差异大、患者个体症状大带来的挑战,选择使用端到端的神经网络模型来解决. 患者在UPDRS评分过程中会做出多种动作,加之患者本身症状存在较大差异,针对不同动作、不同症状分阶段人工设计特征组构建多个分类器组合是一个庞大的工作[7-9];在不加限制的日常生活环境中,患者必然会做出预期外的动作,最终导致模型无法对未知场景产生准确的开-关期分类. 端到端的深度神经网络作为开-关期检测模型以原始姿态信息或简单滤波后的MARG传感器数据作为神经网络的输入,通过大量卷积核完成隐层特征提取任务,最终通过全连接层计算出开-关期分类结果;在训练模型时,模型优化器直接以开-关期分类结果作为目标,因此在该过程中提取特征的卷积核和最终分类的全连接层都可以在大数据量下得到充分的迭代优化,从而获得更好的泛化能力,以达到模型适应不同患者、不同症状的效果. 为了便于将模型部署在边缘计算、移动计算环境下计算资源受限的设备上,以实现医生对患者开-关期状态的即时检测,设计的开-关期检测模型将尽量减少神经网络隐层数量,以降低计算量.

基于上述对模型需求的分析和运动特征,构建具有4层可训练层的轻量级卷积神经网络(记为CNN-4),用于判别帕金森病开-关期状态,架构如图4所示. 该网络包含2个卷积层,每个卷积层后连接一个最大池化层,网络的最后两层为全连接层,采用Dropout以防止过拟合;输出层采用softmax作为激活函数,输出最终的分类结果. 网络的输入采用一个窗口的数据,每一维数据作为一个通道,每个通道的尺寸为1×400. 针对输入层扁平的特点,在使用的卷积神经网络中采用宽卷积,卷积核尺寸为1×32,池化层的尺寸分别设置为1×4和1×6;在网络训练过程中采用Adam优化器,学习率为0.001;网络训练周期设置为200.

图 4

图 4   用于开-关期检测的CNN网络结构

Fig.4   CNN network architectures for PD state assessment


设计的仅包含4个可训练层的卷积神经网络虽然在模型结构和参数量上得到了很好的控制,但更深的神经网络往往可以得到更多的隐层特征,从而获得更好的分类效果. 为了更大限度地挖掘传感器数据的隐含特征,构建5个更深层的卷积神经网络作为对比:AlexNet、ResNet20、ResNet56、ResNet101和ResNet155. AlexNet[24]是在拥有5层卷积层的神经网络中加上最后3层全连接层,共有8个可训练的网络层次. AlexNet网络结构复杂,计算量大,参数量和计算量较CNN-4网络都有大幅度的提升. 随着神经网络层数的继续增加,各层之间的信息传递过程中会出现信息丢失的问题,从而导致梯度消失,在训练更深层网络的时候出现训练精度下降的问题. 残差神经网络(residual networks,ResNet)[25-26]的出现在一定程度上解决了该问题:通过直接将输入信息绕道传到输出,保护信息的完整性,整个网络只需要学习输入、输出差别的那一部分,简化学习目标和难度. ResNet的最大贡献在于有很多的旁路将输入直接连接到后面的层,该结构组成单个残差模块,也称为shortcut,如图5所示. 本文的对比深层网络采用ResNet网络结构,网络输入层单个通道尺寸为1×400,网络的层数分别为20、56、101和155层,对应的残差模块分别为2、6、11和17个.

图 5

图 5   ResNet的残差学习模块

Fig.5   Residual learning block


通过计算可以得到目标网络CNN-4与各对比网络的可训练参数量,如表1所示. 可以看出,更深层次的对比网络较提出的CNN-4网络参数量都提高了一个数量级以上. 其中AlexNet主要由传统的卷积层构成,导致模型可训练参数量比网络层数更多的ResNet20更高,这表明仅靠堆叠卷积层加深层次的网络训练难度越来越大,ResNet的残差结构优势逐渐显现. 表1中层数最多的ResNet155网络参数量达到CNN-4网络的80倍左右. 更高的参数量会带来更好的表示学习效果,需要消耗大量的训练与预测时间.

表 1   不同网络参数量

Tab.1  Total params of various networks

网络 参数量
CNN-4 59 570
AlexNet 1 251 103
ResNet20 623 586
ResNet56 1 723 234
ResNet101 3 097 794
ResNet155 4 747 266

新窗口打开| 下载CSV


2.4. 评价指标

针对模型的分类性能,准确率A是最常用的指标,在医学上常用的评价指标还有灵敏度Sen、特异度Sp,计算方法如下:

$ \left. { \begin{array}{l} A = \dfrac{{{\rm{TP}} + {\rm{TN}}}}{{{\rm{TP}} + {\rm{FP}} + {\rm{TN}} + {\rm{FN}}}},\\ S_{\rm{en}} = \dfrac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}},\\ S_{\rm{p}} = \dfrac{{{\rm{TN}}}}{{{\rm{TN}} + {\rm{FP}}}}. \end{array} } \right\}$

式中:TP、FP分别为真、假阳性率,TN、FN分别为真、假阴性率.

在大多数分类问题中,使用准确率作为性能指标可以综合评价模型的质量. 在帕金森病开-关期检测中,药物何时开始起作用进入开期以及何时衰退进入关期是模型的2个主要任务,仅从准确率一项不能体现出模型在各自任务上的性能,因此在这种情况下仅使用准确率不能反映分类模型的真实价值. 使用灵敏度,即真阳性率,能够有效评价分类模型对开期判断的准确性;使用特异性,即真阴性率,可以真实评价分类模型对关期判断的准确性.

降低正类判定阈值,可以提高正类判定比例,从而提高模型的灵敏度;降低负类判定阈值,可以提高模型的特异性,因此灵敏度与特异性二者之间存在着明显的冲突. 为了综合评价模型在开-关期两类任务的性能,医学上常绘制受试者操作曲线(receiver operating characteristic curve,ROC),以受试者操作曲线下面积(area under receiver operating characteristic,AUROC)作为综合评价指标. 通过调节判定阈值,可以得到0~1.0的假阳性率以及对应的真阳性率,将这些点绘制在以真阳性率为纵轴、假阳性率为横轴的坐标系中,可以拟合得到ROC曲线;对ROC曲线求积分得到面积,即为测试模型的AUROC. AUROC为0~1.0,AUROC越大表示提高特异性所需要降低的灵敏度越小,即表示模型可以同时保持高灵敏度和高特异性. 在帕金森开-关期检测问题中,比较AUROC可以综合评价模型对开期和关期的检测效果. 相比于单独的灵敏度或特异性,AUROC对开-关期检测模型的性能评价具有更重要的意义.

3. 实验验证

3.1. 实验数据

共有9位帕金森病患者参与实验研究,人口学与临床信息如表2所示,全部患者均为55岁以上. 表中,数据为平均值±标准差. 由于各患者帕金森病史从2年至8年不等,所处疾病阶段不同,导致UPDRS评分存在较大差异;部分患者的开期UPDRS评分高于症状较轻患者的关期评分,表现出的症状为患者服药后震颤症状虽然得到缓解,但比其他患者严重,这一情况为分类算法带来更大的挑战,常见的运动强度、频率等特征已不能够用于正确分类开-关期状态. 参与研究的帕金森病患者全部为住院患者,且日常生活由医务人员完全负责照顾,除完成CT或血液检查等医疗项目时必须走出病房外,全天活动均限制在本层病房范围内. 患者会在早晨起床后在惯用手佩戴姿态传感器,并在医务人员的指导下完成多次UPDRS评估,直到药效结束再次进入关期;患者在该时间段内可以进行任何活动,如进食、如厕、室内活动、使用手机等电子设备及睡觉等.

表 2   患者人口学统计信息

Tab.2  Participants demographics

属性 统计值
性别(男∶女) 5∶4
年龄(岁) 62.9±7.6
惯用手(左∶右) 1∶8
帕金森患病时长(年) 3.8±1.9
左旋多巴制剂用药时长(年) 1.5±2.2
开期UPDRS评分 38.2±10.7
关期UPDRS评分 20.3±6.3

新窗口打开| 下载CSV


对9位参与者的MARG运动传感器数据进行预处理,共得到9 452个窗口的数据. 统计医务人员的UPDRS评估结果可知,患者一般于服药1 h后至3 h处于开期,并在3 h后药效消失,恢复至关期,即共有至少4次(基线及服药后0.5 h、1 h、4 h)评估时患者处于关期状态,因此得到的数据窗口中有61.3%为关期,数据存在一定的不均衡性.

实验代码使用TensorFlow 2.1.0构建,运行于Ubuntu 18.04.4系统,系统主要配置为Xeon Gold 6145@2.0 GHz,内存为192 GB,由4块RTX 2080 Ti加速训练过程. 在实验中采用10折交叉验证,所有指标值均取交叉验证均值,以更好地体现统计意义上的泛化能力.

3.2. 实验结果

3.2.1. 特征信息对开-关期预测的影响

为了验证姿态信息对帕金森病开-关期状态预测的有效性,将姿态信息(姿态四元数)作为CNN模型输入进行训练和测试,并与不进行姿态信息解算原始MARG运动传感器数据比较,结果如表3所示. 可知,姿态信息较使用加速度计数据的基准结果在准确率、特异度上均高出20%以上,0.948的AUROC比基准结果高出23%左右. 该结果表明了基于姿态信息的开-关期检测模型可以保持良好的检出率和较低的误报率,表明在腕部佩戴姿态传感器检测帕金森病患者的开-关期状态存在可能性;综合使用MARG传感器中的加速度计、陀螺仪、磁强计提取姿态信息,比现有的仅使用加速度计的方法有较大的性能提升,这表明腕关节运动角速度、手腕地磁方向在进行帕金森开-关期检测时可以作为运动加速度的补充数据,开展多传感器融合以提高检测准确率.当使用MARG运动传感器的全部原始数据作为CNN网络输入时,分类准确率仅为55.5%. 分析具体的测试结果发现,训练得到的分类器会将所有数据判定为开或者关,失去了分类能力. 这可以解释所介绍工作中多使用加速度数据,而舍弃了采集到的角速度、地磁强度数据. 姿态信息由卡尔曼滤波器对MARG运动传感器的9轴原始数据解算得到,一种可行的解释是虽然原始数据中包含更多信息,但浅层CNN网络无法直接学习到分类所需隐含特征;姿态解算结果作为更直观的表示方式,便于分类器学习到特征,从而得到更高的检测准确率.

表 3   腕部姿态信息检测开-关期状态的结果

Tab.3  Test result of ON/OFF state with wrist attitude

输入 A Sen Sp AUROC
加速度计 0.68±0.013 0.762±0.030 0.635±0.017 0.771±0.012
MARG 0.555±0.095 0.688±0.451 0.470±0.379 0.586±0.097
姿态信息 0.887±0.008 0.857±0.009 0.890±0.015 0.948±0.008

新窗口打开| 下载CSV


3.2.2. 网络层数对开-关期预测的影响

为了验证网络层数对开-关期检测准确率的影响,构建更深层次的网络. 为了应对深层神经网络训练收敛的问题,20层及以上的神经网络均使用ResNet的结构. 实验结果如图6所示. 在提升网络层数后,使用MARG运动传感器可以获得约88%的检测准确率,与姿态信息的准确率相近,这表明增加网络层数可以提取到MARG运动传感器更多的隐层特征. 即使最深层的ResNet 155,也仅比ResNet 20提升了0.5%的准确率和0.003的AUROC,因此可以认为20层的ResNet网络能够提供较稳定的帕金森病开-关期检测能力. 更深层的ResNet网络只能带来微小的性能提升,加速度计配合陀螺仪、磁力计3种设备所能够提供的信息随着网络层数的增加而达到瓶颈,无法继续提高开-关期分类的准确性. 姿态信息在更深层网络下一直保持大于88%的精确度,与传感器数据接近,这是由于姿态解算不会额外带来信息量上的补充,浅层CNN网络的结果基本达到准确率的最大值.

图 6

图 6   各层神经网络的验证集准确率

Fig.6   Accuracy of various neural networks on validation


与直接使用MARG运动传感器数据相比,姿态信息可以使网络更早达到较稳定的准确率. 从图7训练过程中的验证集准确率可以看出,无论是CNN网络还是ResNet网络,在使用姿态信息时都能够在25个训练周期后达到大于85%的准确率,使用MARG运动传感器数据在ResNet网络上需要50个以上的训练周期达到类似准确率. 对运行时间的统计可以得出,CNN模型的训练时间不到ResNet模型训练时间的1/120,预测时间是ResNet模型的32.5%. 从九轴传感器原始数据通过滤波再进行姿态解算的过程可以实时在嵌入式片上系统STM32上完成. 综上可知,使用姿态数据的CNN模型可以在大幅减小计算量、降低训练预测时间的同时,保持较好的帕金森病开-关期状态分类性能,姿态信息在帕金森病及其他运动障碍疾病的诊断与检测上具有潜在的应用价值.

图 7

图 7   传感器原始数据与姿态信息在训练中的性能分析

Fig.7   Training profile on raw sensor data and quaternion


3.2.3. 患者自由动作开-关期检测结果

在模型训练和验证的过程中,使用的均为患者完成UPDRS评估时产生的数据. 为了验证提出基于姿态信息的CNN网络在非限定自由动作上的泛化能力,使用9位患者在服药后4 h内的完整数据进行测试,每分钟输出开-关期预测结果,以模拟患者在日常病房环境中进行自由动作时的开-关期实时检测. 实验结果显示,整体开期的预测准确率为0.915±0.110,整体关期的预测准确率为0.944±0.048. 该结果表明,提出的模型能够以患者日常生活中的动作作为检测数据,较准确地预测开-关期状态. 与UPDRS测试中的结果相比,自由动作检测准确率的提高主要得益于输出频率的降低,每分钟由24个数据窗口中的多数决定开-关期状态,类似于低通滤波器,有效地减少了输出中的离群点,提高了整体的准确率.

为了展示与分析该过程,以其中一位晚期患者为例,将4 h内的预测结果绘制在图8中. 图中,P为预测开关期概率,散点表示每分钟模型给出的预测值,0表示关期,1表示开期. 对散点进行拟合,可知拟合曲线呈现出明显的低-升高-高-降低走向,表明患者从关期到服药后运动症状逐渐改善,进入开期,在药效衰退后恢复回关期的过程. 图8中的浅色部分表示医生标定的关期,深色部分表示开期,介于中间的灰色表示医生认为患者正处于好转/恶化的过程中,但还未达到开期/关期标准的中间状态. 可以看出,除少量预测错误的离群点外,模型预测结果与医生标定具有良好的一致性. 在中间阶段预测结果存在一些波动,这与患者在此期间进行UPDRS评估的结果类似,均无法得出开-关期状态判断. 在测试的最终阶段,对于关期的预测确信度低于测试开始,通过分析患者此时的UPDRS评分,可以认定患者在这一时段内运动症状相对于测试开始时有一些改善,这导致模型虽然推断出关期状态,但确信度没有开始时高. 对整个测试流程的预测结果表明,提出的帕金森病开-关期检测方法能够有效地预测患者用药前、后所处的状态,特别是在较明显的开期和关期状态下能够持续、稳定地给出正确的开-关期预测结果.

图 8

图 8   患者在整个测试过程中的开-关期预测结果

Fig.8   Predictions of patient's ON/OFF state corresponding to UPDRS score during whole test period


4. 结 语

本文提出基于腕部姿态信息的帕金森病开-关期状态检测方法. 利用佩戴在手腕处的MARG运动传感器,开展姿态解算,获得腕部姿态信息,在设计的卷积神经网络上进行帕金森病开-关期状态分类. 实验结果表明,在腕部佩戴的运动传感器能够用于帕金森病开-关期状态检测,姿态信息可以在较低的模型复杂度下实现良好的开-关期检测性能. 在未来的工作中,将从以下角度进一步挖掘与探索. 1)实验将扩展到包括院内病房、门诊以及居家环境在内的日常环境和全天时间中. 2)考虑引入迁移学习以构建个性化的模型,或采用自适应方法降低患者个体差异对模型的影响. 3)9位患者组成的数据集体量较小,需要更多的数据完善实验,以进一步证实姿态信息对检测的有效性.

参考文献

DORSEY E R, CONSTANTINESCU R, THOMPSON J P, et al

Projected number of people with Parkinson disease in the most populous nations, 2005 through 2030

[J]. Neurology, 2007, 68 (5): 384- 386

DOI:10.1212/01.wnl.0000247740.47667.03      [本文引用: 1]

ZHANG Z X, ROMAN G C, HONG Z, et al

Parkinson's disease in China: prevalence in Beijing, Xian, and Shanghai

[J]. Lancet, 2005, 365 (9459): 595- 597

DOI:10.1016/S0140-6736(05)70801-1      [本文引用: 1]

DAVIE C A

A review of Parkinson's disease

[J]. British Medical Bulletin, 2008, 86 (1): 109- 127

DOI:10.1093/bmb/ldn013      [本文引用: 1]

JANKOVIC J

Parkinson's disease: clinical features and diagnosis

[J]. Journal of Neurology, Neurosurgery and Psychiatry, 2008, 79 (4): 368- 376

DOI:10.1136/jnnp.2007.131045      [本文引用: 1]

COTZIAS G C, PAPAVASILIOU P S, GELLENE R

Modification of Parkinsonism-chronic treatment with L-Dopa

[J]. The New England Journal of Medicine, 1969, 280 (7): 337- 345

DOI:10.1056/NEJM196902132800701      [本文引用: 1]

KEIJSERS N L, HORSTINK M W, GIELEN S C

Ambulatory motor assessment in Parkinson's disease

[J]. Movement Disorders, 2006, 21 (1): 34- 44

DOI:10.1002/mds.20633      [本文引用: 3]

HSSAYENI M D, BURACK M A, GHORAANI B. Automatic assessment of medication states of patients with Parkinson's disease using wearable sensors [C]// Proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Orlando: IEEE, 2016: 6082-6085.

[本文引用: 3]

HSSAYENI M D, BURACK M A, M D, et al. Wearable-based mediation state detection in individuals with Parkinson's disease [EB/OL]. (2019–12–10) [2020–11–02]. https://arxiv.org/abs/1809.06973.

[本文引用: 1]

SAMÀ A, PÉREZ-LOPEZ C, ROMAGOSA J. Dyskinesia and motor state detection in Parkinson's disease patients with a single movement sensor [C]// Proceedings of the 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego: IEEE, 2012: 1194-1197.

[本文引用: 2]

HAMMERLA N Y, FISHER J, ANDRAS P, et al. PD disease state assessment in naturalistic environments using deep learning [C]// 29th AAAI Conference on Artificial Intelligence. Austin: AAAI, 2015: 1742-1748.

[本文引用: 2]

ESKOFIER B M, LEE S I, DANEAULT J F, et al. Recent machine learning advancements in sensor-based mobility analysis: deep learning for Parkinson's disease assessment [C]// Proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Orlando: IEEE, 2016: 655-658.

[本文引用: 2]

TSIPOURAS M G, TZALLAS A T, FOTIADIS D I, et al. On automated assessment of Levodopa-induced dyskinesia in Parkinson's disease [C]// Proceedings of the 33rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Boston: IEEE, 2011: 2679-2682.

[本文引用: 3]

GOETZ C G, TILLEY B C, SHAFTMAN S R, et al

Movement disorder society-sponsored revision of the unified Parkinson’s disease rating scale (MDS-UPDRS): scale presentation and clinimetric testing results

[J]. Movement Disorders, 2008, 23 (15): 2129- 2170

DOI:10.1002/mds.22340      [本文引用: 1]

O'SUILLEABHAIN P E, DEWEY R B J

Validation for tremor quantification of an electromagnetic tracking device

[J]. Movement Disorders, 2001, 16 (2): 265- 271

DOI:10.1002/mds.1064      [本文引用: 2]

BEUTER A, GEOFFROY A, CORDO

The measurement of tremor using simple laser systems

[J]. Journal of Neuroscience Methods, 1994, 53 (1): 47- 54

DOI:10.1016/0165-0270(94)90143-0      [本文引用: 1]

ZITO G A, GERBER S M, URWYLER P, et al. Development and pilot testing of a novel electromechanical device to measure wrist rigidity in Parkinson’s disease [C]// Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. [S. l. ]: IEEE, 2018: 4885–4888.

[本文引用: 1]

ALLEN D P, PLAYFER J R, ALY N M

On the use of low-cost computer peripherals for the assessment of motor dysfunction in Parkinson's disease-quantification of Bradykinesia using target tracking tasks

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2007, 15 (2): 286- 294

DOI:10.1109/TNSRE.2007.897020      [本文引用: 2]

PASTOR M A, JAHANSHAHI M, ARTIEDA J, et al

Performance of repetitive wrist movements in parkinson's disease

[J]. Brain, 1992, 115 (3): 875- 891

DOI:10.1093/brain/115.3.875      [本文引用: 1]

LONINI L, DAI A, SHAWEN N, et al

Wearable sensors for Parkinson's disease: which data are worth collecting for training symptom detection models

[J]. NPJ Digital Medicine, 2018, 1 (1): 64- 71

DOI:10.1038/s41746-018-0071-z      [本文引用: 1]

PATEL S, LORINCZ K, HUGHES R, et al

Monitoring motor fluctuations in patients with Parkinson's disease using wearable sensors

[J]. IEEE Transactions on Information Technology in Biomedicine, 2009, 13 (6): 864- 873

DOI:10.1109/TITB.2009.2033471      [本文引用: 2]

MANCINI M, PRIEST K C, NUTT J G, et al. Quantifying freezing of gait in Parkinson's disease during the instrumented timed up and go test [C]// Proceedings of the 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego: IEEE, 2012: 1198-1201.

[本文引用: 1]

VINCE J. Geometric algebra for computer graphics [M]. London: Springer, 2008: 39-48.

[本文引用: 1]

HEMINGWAY E G, O'REILLY O M

Perspectives on Euler angle singularities, gimbal lock, and the orthogonality of applied forces and applied moments

[J]. Multibody System Dynamics, 2018, 44 (1): 31- 56

DOI:10.1007/s11044-018-9620-0      [本文引用: 1]

KRIZHEVSKY A, SUTSKEVER I, HINTON G E

ImageNet classification with deep convolutional neural networks

[J]. Communications of the ACM, 2017, 60 (6): 84- 90

DOI:10.1145/3065386      [本文引用: 1]

HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.

[本文引用: 1]

HE K M, ZHANG X Y, REN S Q. Identity mappings in deep residual networks [C]// European Conference on Computer Vision. Cham: Springer, 2016: 630-645.

[本文引用: 1]

/