表1(Table 1)
2. 中国科学院 移动计算与新型终端北京市重点实验室, 北京 100190;
3. 中国科学院大学, 北京 100049;
4. 加州大学尔湾分校, 美国 加利福尼亚州 92697
2. Beijing Key Laboratory of Mobile Computing and Pervasive Device, Chinese Academy of Sciences, Beijing 100190, China;
3. University of Chinese Academy of Sciences, Beijing 100049, China;
4. University of California Irvine, California 92697, USA
自闭症谱系障碍(autism spectrum disorders, ASD)[1-2]是一种广泛发展障碍, 特点为不同程度的沟通困难、社会障碍、行为异常以及重复性行为.
特别地, 面对面社交沟通方面的缺陷在自闭症患者身上最普遍[3], 自闭症患者因此而容易被孤立, 无法很好地融入社会.
社交距离(proximity)是社交活动中非常重要的因素, 它是6个基本非语言社交因素(包括：微笑、点头、眼神交流、手势、社交距离以及肢体接触[4])之一.很好地把握社交距离对成功的社交有着至关重要的作用.反之, 在社交距离上的不当表现往往会让对方感觉个人空间受到了侵犯(带来强烈的不适感), 也会造成社交意图的误解(如人身攻击、漠不关心等)[5].
社交中如何判断合适的社交距离是一个复杂的动态过程[6], 并且与众多因素有关, 例如年龄、性别、情绪、文化以及人物关系等.尽管社交距离的判断如此复杂, 但绝大多数正常人在5岁左右[7]就已经具备了这一能力[8].对于自闭症患者来说, 难以很好地掌握, 从而导致社交中的行为异常[9].这些异常行为会让社交的其他人感到不适, 直接影响了自闭症患者的生活[10].
目前, 对于社交技能的训练, 最佳的做法倾向于通过视频模式下在虚拟场景中学习[11]或者通过移动应用来提供逐步骤的指导[12].虽然这些系统可以为自闭症患者提供必要的指导, 但他们无法实现在实际应用场景中提供实时的帮助.一个能够在普适环境下, 根据实际应用场景来提供实时帮助的系统, 例如帮助自闭症患者在社交距离上的行为, 能够极大地提高自闭症患者的社交能力.考虑到普适性, 这种系统应该不依赖于环境和其他人员的参与, 仅仅穿戴在自闭症患者身上就能够提供辅助.
本文针对自闭症患者在社交距离上的障碍, 设计并实现了ProCom (proximity comfortable)原型系统.该系统包括一个可穿戴设备和移动应用程序, 能够帮助自闭症患者正确理解并运用社交距离.ProCom系统是一个单用户可穿戴系统, 自闭症患者在与其他人进行面对面社交沟通的时候, 只需要将设备佩戴在胸前, 就能够获得反馈, 不需要环境中其他设备的辅助和社交对象的参与, 从而实现环境无关的普适性.在实验场景下, 验证了系统的可行性和有效性以及精度.本文的工作能够实现帮助自闭症患者在面对面交流时社交距离的获取、反馈以及辅助等.另外, ProCom能够帮助其他研究人员和医生等更进一步了解自闭症患者在社交距离上的表现, 从而研究如何帮助他们.
1 背景和相关工作 1.1 社交距离社交距离是人在沟通交流以及社交互动时很重要的条件[13].一般情况下, 不同的社交距离构成了一个人身体周围一定范围内的空间, 这个空间往往和人如影随形, 这一空间的大小根据环境以及其他条件动态变化.Edward[5]的研究将这一空间形象化表示为一个以人为圆心、由若干个同心圆组成的区域.该区域由内到外包括4个部分：私密空间(intimate space)、个人空间(personal space)、社交空间(social space)和公共空间(public space), 如图 1所示[14].大多数人都很注意保护个人空间不被侵犯, 一旦有陌生人进入个人空间以内, 则会有相应的紧张、害怕、愤怒等情绪[5].
|
图 1 社交距离模型及距离范围 Fig. 1 Social distance model and its distance range |
在该模型中, 私密空间一般用于拥抱、抚摸或窃窃私语；个人空间可以与好朋友或者家人进行互动；社交空间是与一般人之间进行互动的范围；公共空间是与陌生人在公共场合保持的距离.该模型已经广泛应用于帮助发育障碍儿童社交能力的教育中[15-16].另外, 社交距离除了与其他人之间的远近外, 还包括与其他人之间的相对方向.对于不是很亲密的两个人, 在拥挤的空间内, 往往并排站立比面对面站立会使得他们更自然舒适.针对方向的研究, Marshall等[17]提出用“F-formation”理论框架来描述在社交活动中人与人之间常见的方位关系.对于两个人的面对面社交情景, 根据他们肩膀以及面部的朝向, 典型的位置关系包括“face-to-face”(面对面)或者“L-shape”(肩并肩).另外, 还有相关的研究提出视觉编码(visual code)的概念[14]来描述社交中一个人的视线范围, 包括平视(looking straight forward)、凝视(gazing directly at others)、扫视(scanning)以及无眼神交流(not making visual contact).这些相关的工作为本文设计ProCom系统提供了相关的参考.
1.2 社交距离的测量已有的针对社交距离的测量方法有很多种, 包括基于定位的方法、基于视觉的方法以及基于传感器的方法.基于定位的方法包括室外的基于GPS的定位方法以及室内基于无线信号、地磁场、声音信号及其他由移动设备采集的传感器信号的定位方法[18].该类方法首先对每个个体进行定位, 然后通过位置的共享来测量相对距离.随着移动智能设备的发展, 基于定位的方法可以很容易地部署在可穿戴应用中, 但该类方法往往只能在标定的环境中使用, 并且精确到m的定位精度仅仅针对大范围的定位应用有效, 针对社交场景这种小尺度的应用, 定位精度无法满足要求.
基于视觉的方法在已有的关于自闭症的研究中被广泛采用.例如基于视频的方法测量距离, 并用该距离特征自动检测和识别自闭症儿童与机器人的主动及被动交互[19].该方法有以下两方面的挑战：1) 鉴于自闭症患者同正常人相比, 不具有相同的判断社交距离的能力, 因此与机器人的交互不能够准确地判断社交的质量；2) 这种基于视觉的方法需要在实验空间的顶部安装摄像机来实时获取室内所有人和物体的位置, 计算相对距离和方向.这种繁重的设备部署不仅成本高, 布设困难, 还有可能引起参与者的不适或行为的不自然.除上述研究之外, 一些商业产品(例如谷歌的Tango项目和微软Kinect)利用计算机视觉的方法来得到位置.将Tango设计的应用场景限定为在室内, 并且有效距离为0.5~4.0 m, 对于所研究的社交场景, 不能够满足.Kinect虽然精度更高, 但是需要接入电脑并且需要固定位置, 无法实现普适场景下的应用.
此外, 便携式设备的传感器为社交距离的测量提供了另外一些方法.例如, Dearman等[20]提出一种方法, 在社交活动中, 所有人手持手机并用后置摄像头拍摄一张地面照片；然后通过对比照片上的共同部分, 得到所有人的位置关系及方向关系.该方法不需要额外的设备, 但仅适用于简单场景, 例如只有两个人的社交场景, 并且两个人站立的距离要在1.5 m以内.Gessaroli等[10]在自闭症儿童个人空间特征的研究中, 采用数字激光测距仪来测量自闭症儿童和交谈对象的脚之间的距离.该方法为临床相关的研究提供了高精度的数据, 但激光测距仪在测试距离时使用了可见光, 会在被测者身上显示一个光点, 有可能引起被测者的不适.另一种方法是基于声学的测距传感器[21], 例如超声波传感器, 它可以达到cm级别的精度, 在测量时, 传感器发出声音脉冲；该脉冲遇到障碍物后立即返回, 通过测量发射到接收到回波信号的之间经过的时间来换算为距离.然而, 超声波传感器在测量人之间的距离时效果不好, 因为衣服的材料及表面的不光滑会吸收超声波.
1.3 自闭症社交辅助的相关研究面向自闭症患者社交辅助的研究越来越多地被普适计算领域的研究者关注.近年来, 交互式技术在自闭症研究中的应用取得了相当大的进展[22].互动电脑游戏是该类技术的一个例子, 该游戏的目的是提高自闭症儿童在多人协作方面的能力.Boyd等[23]研究通过一个多人协作的平板电脑游戏来研究利用辅助技术如何能够帮助自闭症儿童建立社会关系意识.另外, 关于帮助自闭症儿童提升个人的社交能力, Escobedo等[12]提出MOSOCO应用.该应用能够指导自闭症儿童在实际场景中如何逐步完成一个社交过程(包括眼睛交流、空间距离、开始话题、提问、分享兴趣以及结束话题).该研究表明社交中即时互动的重要性[24], 例如实时调整社交距离对于动态的社交活动是非常重要的环节.
除了交互式技术, 虚拟现实(virtual reality, VR)已被应用于自闭症患者社交辅助. Wang等[25]通过研究自闭症青少年在三维虚拟现实下的行为, 采集他们在不同场景下的个体行为、协作行为、社交行为等数据.虚拟现实被应用于研究自闭症患者在与虚拟人社交时的交互行为[26].尽管虚拟现实技术使得针对自闭症患者行为的研究能够在接近实际的场景中进行, 但是目前缺乏针对多人面对面的虚拟现实交互研究.
除了交互式技术和虚拟现实的技术, 基于可穿戴设备的研究已广泛存在.已经有很多的研究表明, 基于可穿戴设备的研究能够有效地帮助提高自闭症患者的生活质量.Gabriela等[27]提出面向自闭症儿童的可穿戴摄像头, 用于从自闭症儿童的视角来记录他们的日常行为, 并且实时反馈给他们的父母.该系统能够有效地帮助自闭症儿童的家长从孩子的视角观察其行为, 更好地了解孩子的所需以及鼓励孩子进行更多的社交活动.另外, El Kaliouby等[28]提出行为追踪可穿戴设备, 该设备包括一个摄像头和其他一些运动传感器, 能够记录自闭症患者的面部表情以及肢体动作, 能够有效实现自然场景下自闭症的诊断, 并且帮助他们学习和提高社交肢体语言.本文可以看作是该工作的一个衍生, 进一步实现了基于单一用户可穿戴设备的社交距离感知与辅助系统.
上述相关工作说明了社交中即时互动的重要性, 例如实时调整社交距离对于动态的社交活动是非常重要的环节.社交距离的感知是普适计算研究领域具有挑战性的问题, 针对该问题的研究能够有效地帮助自闭症患者提高社交能力.
2 ProCom系统的设计与实现 2.1 应用场景已有的研究表明, 自闭症患者由于社交障碍而往往会被孤立.如果没有适当的干预, 自闭症患者很难进行正确的社交活动, 而社交距离是社交技能的重要因素.针对该问题, 为了帮助自闭症患者能够感知、理解社交活动中的社交距离并且作出正确的行为, 研究并开发了可穿戴原型系统ProCom, 帮们他们感知社交距离(包括与社交对象间的相对距离及方向).设计的应用场景为自闭症患者站在室内(家庭、教室、咖啡厅等)的某个位置, 当有一个人来与他进行面对面社交时, 利用ProCom系统检测到该社交对象, 并且不断追踪该社交对象, 进而获得社交距离信息, 最后通过手机上的应用为自闭症患者提供可视化的反馈.
2.2 ProCom系统架构设定ProCom系统的设计原则为单用户、便携式、低成本以及高精度.如图 2所示为ProCom系统的实际效果及系统架构.ProCom系统由一个自己搭建的可穿戴设备和手机应用程序组成.使用时, 用户将可穿戴设备佩戴在胸前, 从而能够持续地获得传感器数据并通过蓝牙发送到手机端.应用程序对数据进行预处理, 并且通过基于粒子滤波的算法来追踪社交对象, 获得距离和方向信息, 然后通过图形化的方式来给用户提供反馈.
|
图 2 ProCom系统实际效果图及系统架构 Fig. 2 ProCom system real scenario and system architecture |
ProCom可穿戴设备外观为一个3D打印的方形盒子, 如图 3所示.盒子顶部有2个红外距离传感器(infrared sensor)以及1个伺服电机(Servo).盒子内部包括1个Arduino Uno开发板、蓝牙通信模块和9 V电池. 2个红外传感器的选择是根据要应用的场景及传感器本身的特性综合决定的, 包括合适的有效范围、测量精度、功耗等.为了给自闭症患者提供社交过程中的距离反馈, 覆盖的区域包括用户的私密空间、个人空间、及社交空间.参考Hall[5]的研究可知, 覆盖这3个空间需要传感器的有效范围为0~370 cm.另外, 测量精度要保证不受衣物材质的影响.经过调研对比, 选择2个SHARP红外传感器IR1(GP2Y0A710K0F, 有效范围为100~50 cm)和IR2(GP2Y0A02YK0F, 有效范围为20~150 cm), 从而能够覆盖20~370 cm的范围.由于红外传感器是通过反射波的角度来测量距离的, 不受反射物体材质的影响, 满足笔者的要求.0~20 cm的盲区在本文中不会有很大影响, 因为在极少数情况下社交对象会进入用户的20 cm以内的范围.另外, 由于红外传感器具有非常窄的视角范围( < 15°), 为了能够测量与社交对象之间的相对方向, 使用伺服电机来带动红外传感器往复摆动, 类似于雷达扫描, 能够在短时间内获取准确的方向测量.具体而言, 红外传感器获取数据的频率f=1 Hz, 即每一秒获得一个距离和方向.Arduino控制板读取来自红外传感器的数据后, 通过蓝牙发送到手机应用程序.
|
图 3 ProCom硬件可穿戴设备 Fig. 3 ProCom hardware device |
为了能够覆盖私密空间、个人空间、社交空间, 需要寻找一个有效距离范围为0~370 cm的传感器.据笔者所知, 没有一个低成本的红外传感器的工作范围能够覆盖整个社交空间、个人空间和私密空间, 因此将2个红外传感器融合使用.其中一个有效范围为20~150 cm, 另一个有效范围为100~550 cm.如图 4所示, 2个传感器的有效范围在100~150 cm内是重叠的, 这使得笔者能够实现测量时无缝地在2个传感器间切换.
|
图 4 红外传感器的有效范围和重叠区域以及切换点设置 Fig. 4 Effective range and overlap area of infrared sensor and setting of switching point |
起初, 将重叠区域的中心位置(125 cm)设定为切换点.当距离大于125 cm时, 使用IR1;当距离小于125 cm时, 使用IR2.在实验中发现, 当用户与社交对象间的距离约为125 cm时, 2个传感器会来回切换, 造成系统不稳定.设置了两个独立的切换点(110 cm和140 cm), 当距离由近到远大于140 cm时, 切换到IR1；当距离由远及近小于110 cm时, 使用IR2.这样的设置方式使得2个传感器避免了来回切换, 从而使系统更加稳定.
2.3.3 红外传感器校准红外传感器的输出不是距离, 而是一个与距离相关的电压.该电压随着测量距离的由小变大, 会先增后减, 呈现非线性变化.由于传感器间的差异, 距离与输出电压间的关系没有统一的函数式.需要在使用前, 对两个传感器进行校准, 找到输出电压和距离之间的函数关系.在实验中, 保持传感器对着一个被测物体, 然后不断改变它们之间的相对距离, 以5 cm为一个单位进行递增.对于IR1, 实验距离为5~700 cm；对于IR2, 实验距离为5~200 cm.在每一个距离下, 采集100次输出电压, 然后求平均数, 绘制了如图 5所示的曲线.图中, D为距离, U为输出电压.观察曲线可以发现, 由于2个传感器在距离很近时(IR1小于80 cm, IR2小于10 cm), 输出电压随着距离的减小而减小, 从而造成了和另一个较远的距离一同对应同一个电压, 函数非单调.使用时要避免该范围的距离.在传感器的有效距离范围(单调区间)内, 距离和输出电压为非线性反相关关系.
|
图 5 红外传感器电压输出与距离的关系 Fig. 5 Relationship of infrared sensors' voltage output and measuring distance |
通过Matlab中的“CFtool”工具箱[29]对有效范围内的曲线进行拟合, 选择了5种常见的非线性函数形式, 包括：指数函数、倒数函数、三次多项式、六次多项式及幂函数, 进行曲线拟合.通过线性回归分析中的确定系数(R-square)和均方根误差(root mean squared error, RMSE)来评价拟合结果. R-square的取值为0~1.0, 越接近1, 表示拟合得越好. RMSE是拟合标准误差, 越接近0的RMSE说明该模型具有越小的随机误差成分, 表明预测更有效.所有5种函数的拟合结果如表 1所示.表中, x为传感器输出电压, y为距离.
|
表 1 5种函数进行曲线拟合及拟合精度 Table 1 5 kinds of functions for curve fitting and fittingprecision |
从表 1可以看出, 倒数函数和六次多项式函数都能够取得很好的拟合效果.考虑到高次多项式的计算复杂度高于倒数函数, 高的计算复杂度需要很多的能量和时间消耗.采用基于倒数形式的拟合函数, IR1和IR2的电压输出和距离的关系如下所示：
| $ {\rm{di}}{{\rm{s}}_{{\rm{I}}{{\rm{R}}_{\rm{1}}}}} = 27{\rm{ }}810/({V_{{\rm{I}}{{\rm{R}}_{\rm{1}}}}}-226.3) + 1.795, $ | (1) |
| $ {\rm{di}}{{\rm{s}}_{{\rm{I}}{{\rm{R}}_{\rm{2}}}}}{\rm{ = 12 310/(}}{V_{{\rm{I}}{{\rm{R}}_{\rm{2}}}}}{\rm{ + 3}}{\rm{.766)-2}}{\rm{.241}}{\rm{.}} $ | (2) |
为了能够在社交活动中为自闭症患者提供实时的社交距离信息, 要测量用户与社交对象之间的相对距离和方向.红外传感器只能够测量到障碍物的距离, 无法区分该障碍物是人还是物体.一般情况下, 室内陈设的位置都是固定不变的, 能够来回走动的只有人.可以通过算法检测到该社交对象, 然后不断追踪, 从而获得准确的社交距离信息.设计的应用场景为自闭症患者站立在房间(家庭、教室、咖啡厅等)的某一个位置, 然后社交对象走过来与之交谈, 从而被检测到, 随后两人能够小范围地自由走动并交谈.图 6中，a为角度，d为用户到周围物体的距离.如图 6所示, 在社交对象到来之前, ProCom系统会对周围环境进行扫描, 获取到周围各个障碍物的距离, 构建环境背景模型dbg.当社交对象出现在有效范围内时, 能够通过对比获取到的距离数据dt与背景模型的差异来发现社交对象, 然后通过粒子滤波不断追踪以获取实时社交距离信息.
|
图 6 ProCom系统获得社交距离信息 Fig. 6 ProCom system obtains social distance information |
粒子滤波[30]是一种基于贝叶斯公式递归的后验概率密度估计算法, 它避免了非线性滤波问题中随机量必须满足高斯分布的约束条件；随机量的分布空间可以是非线性的, 初始状态和噪声分布可以是任何分布形式的.假设被追踪对象的状态表示为矢量xt, Zt={z1, …, zt}, 表示截止到t时刻的观测序列, 则粒子滤波经常用于当后验概率p(xt|Zt)和观测概率p(zt|xt)为非高斯情况下的状态估计.
粒子滤波的核心思想是通过对样本S={(s(n), w(n))|n=1, …, N}加权求和来近似逼近概率分布.每一个样本s(n)表示目标的一个可能状态, 并且相应的离散采样概率为w, 同时满足所有的样本权值之和为1,
粒子集合的更新是按照系统模型状态转移方程来传播的, 然后每一个粒子根据观测值给予一个权重w(n)=p(zt|xt=st(n)).根据权重的大小进行重要性重采样(sampling importance resampling, SIR)以更新权重, 最后目标的状态估计通过加权粒子来得到.
| $ E\left( S \right) = \sum\nolimits_{n = 1}^N {{w^{\left( n \right)}}{\boldsymbol{s}^{\left( n \right)}}.} $ | (3) |
粒子滤波算法提供了一个鲁棒的跟踪算法框架.由于粒子滤波对状态分布不作任何假设, 具有更广泛的应用.
如图 7所示, 提出的基于粒子滤波的识别和追踪模型分为3个步骤：1) 构建环境背景模型；2) 通过不断对比, 实时采集距离数据与背景模型发现社交对象；3) 通过粒子滤波算法追踪社交对象并获得社交距离信息.
|
图 7 基于粒子滤波算法的目标追踪 Fig. 7 Particle filter based target tracking algorithm |
1) 环境背景模型构建.
由于红外线传感器只能探测到目标, 并测量距离目标的远近, 但它无法识别该目标是否是人.考虑到一般情况下, 在室内环境里, 只有人员可以走动, 而室内陈设位置均固定.通过背景差方法可以发现社交对象, 获取初始状态, 包括位置和方向.
在本文工作中, 对于方向的定义, 将用户身体正前方的朝向定义为0°, 向左用负数度数表示, 向右用正数度数表示.红外传感器的视线范围定义为{θi|i=1, 2, …, 91}={-45°, -44°, …, 45°}.当用户开启了ProCom系统时, 红外传感器在-45°到45°之间进行周期性地往复扫描, 扫描时的步长每次为1°, 然后测量该角度上到障碍物的距离.在t时刻的周期内, 能够得到一个包括91个距离的向量dt=[dt1, dt2, …, dti, …, dt91]∈R91.为了能够利用基于背景差的方法来检测到社交对象, 首先需要对背景环境进行建模.当环境中没有其他人的时候, 利用红外传感器得到的观测序列会保持稳定.通过计算相邻的两个周期观测序列差值的二范数Δd=|dt-dt-1|来计算相似性.当该差值满足Δd＜dbg_thres时, 表示背景模型稳定, 设定背景模型为dbg=[dbg1, dbg2, …, dbgi, dbg91]=dt.
2) 基于背景差方法的社交对象初始状态获取.
在构建完背景模型后, 当社交对象进入ProCom的监测范围时, 如图 6所示, 此时的观测序列dt与背景相比, 将会发生明显的变化.可以发现, 社交对象出现的位置在观测序列上只可能是极小值点出现的位置, 因此在每一个周期得到观测序列dt后, 首先求观测序列的所有极小值点{plocal_min}={(dti, θi)|dti＜dti±Δi}, 表示在方向θi上有极小值点, 距离为dti.然后对比这些极小值点上的距离dti与背景模型在相应角度θi上的距离.当满足Δdi=dti-dbgi≥δ时, 表示社交对象所在位置是p=(dti, θi), δ通过实验确定.当有两个或以上极小值点满足这个关系时, Δdi最大的那个点表示的位置是社交对象所在的位置.将该位置点设为社交对象的初始状态x0={d0, θ0}={dti, θi}, 然后用粒子滤波算法来追踪.
3) 基于粒子滤波的人物追踪
在社交沟通过程中, 社交对象的位置移动在短时间内不会很大.采用欧氏距离来更新粒子滤波计算的先验分布.在每一次位置更新中, 每一个粒子的状态为s=[d, θ], 表示相对于ProCom用户的距离和方向.
粒子的状态转移方程如下所示：
| $ {\boldsymbol{s}_t} = \boldsymbol{A}{\boldsymbol{s}_{t-1}} + {\boldsymbol{Q}_t}. $ | (4) |
式中：A为状态转移矩阵, 是模型中的确定性成分，
Qt为多元高斯随机变量, 表示系统的随机噪声.为了给定粒子的权重, 引入基于欧式距离的权重计算方法, 用粒子距离上一时刻目标的位置远近来给定权重.每一个粒子的状态表示为st(n)=[dt(n), θt(n)].在目标追踪阶段, 状态更新估计是根据观测量来判断的.观测量是新一个周期采集的距离数据向量dt=[dt1, dt2, …, dti, …, dt91].在一个周期内, 追踪目标不会有很大的位置移动, 通过粒子与上一时刻目标的位置点st-1的距离来计算每个粒子st(n)的权重.首先给定距离计算公式：
| $ \begin{array}{l} d\left[{\boldsymbol{s}_t^{(n)}, {\boldsymbol{x}_{t-1}}} \right] = \\ \sqrt {{{(d_t^{(n)} -{d_{t -1}})}^2} + {{\left( {\frac{{\theta _t^{(n)} \times d_t^{(n)} \times {\rm{\pi }}}}{{180}} -\frac{{{\theta _{t - 1}} \times {d_{t - 1}} \times {\rm{\pi }}}}{{180}}} \right)}^2}} . \end{array} $ | (5) |
较小的距离d应该具有更大的权重, 但不是所有的粒子均会给予权重, 如追踪目标只可能出现在序列的极小值上.通过观测序列dt=[dt1, dt2, …, dti, …, dt91]来给定粒子权重.首先计算粒子的概率, 对于满足st(n)是极小值点且‖dt(n)-dtθ(n)t‖＜ε的粒子(ε由实验确定), 它的概率为
| $ P_{\rm{r}}^{(n)} = \frac{1}{{\sqrt {2{\rm{\pi }}\sigma } }}{\rm{exp}}\left( {- \frac{{{{(d[\boldsymbol{s}_t^{(n)}, {\boldsymbol{s}_{t-1}}])}^2}}}{{2{\sigma ^2}}}} \right), $ |
其他的粒子概率均置为0.对概率进行归一化, 求得权重：
| $ w_{\rm{t}}^{(n)} = \frac{{P_{\rm{r}}^{(n)}}}{{\sum\nolimits_{n = 1}^N {P_{\rm{r}}^{(n)}} }}. $ | (6) |
最后在t时刻的目标状态估计为
| $ {\boldsymbol{x}_t} = E[{\boldsymbol{S}_t}] = \sum\nolimits_{n = 1}^N {w_t^{(n)}\boldsymbol{s}_t^{(n)}} . $ | (7) |
综上所示, 基于粒子滤波的目标位置追踪算法步骤总结如下.
算法1 基于粒子滤波的社交对象追踪
输入：
xt-1：t-1时刻的状态值；dt：t时刻的观测序列
输出：
xt：t时刻的状态估计
算法步骤：
IF, t=1, THEN
0) 初始化粒子：
根据目标的初始状态x0生成粒子集合s0={s0(1), s0(2), …, s0(N)}, 粒子的概率为{w0(1), w0(2), …, w0(N)}, 然后执行步骤1)~4).
ELSE
1) 粒子传播：
| $ \boldsymbol{s}_t^{(n)} = \boldsymbol{As}\prime _{t-1}^{(n)} + \boldsymbol{Q}_t^{(n)} $ |
2) 观测：
(a)计算St中各粒子距离上一时刻状态值的距离d[st(n), xt-1]
(b)根据观测序列dt计算各粒子权重wt(n)
3) 状态估计：
| $ {\boldsymbol{x}_t} = E[{\boldsymbol{S}_t}] = \sum\nolimits_{n = 1}^N {w_t^{(n)}\boldsymbol{s}_t^{(n)}} $ |
4) 重采样：
(a)对所有的粒子计算积累概率c′t
| $ \begin{array}{l} c_t^{(0)} = 0\\ c_t^{(n-1)} = c_t^{(n-1)} + w_t^{(n)}\\ c\prime _t^{n-1} = c_t^{(n)}/c_t^{(N)} \end{array} $ |
(b)随机生成一个概率r∈[0,1]
(c)找到满足c′t(j)≥r的最小的j
(d)令s′t(n)=st(j)
ENDIF
2.4.2 ProCom应用软件的可视化反馈ProCom应用程序通过获得硬件设备的数据, 计算得到距离社交对象的实时距离和方向信息, 然后按照个人空间模型的形式在手机界面上呈现.如图 8所示, 反馈界面包括一个位于屏幕下方的白色小人以及以小人为圆心、包括90°范围的三层扇形虚线.按照第一视角的模式, 中心小人代表自闭症患者, 黑色的小人表示社交对象, 并且通过不同符号来表示该距离适宜与否(对勾表示该距离适宜, 圆圈表示该距离适中, 叉号表示该距离不适宜), 另外在页面上方有准确的数字显示角度和距离.
|
图 8 图形化界面 Fig. 8 Graphical interface |
具体来说, 在与陌生人面对面交流时, 根据文献[5]可知, ProCom系统在两个人距离不断接近的过程中, 实时显示社交对象的位置和方向.借鉴人们对于交通信号灯的惯有意识, 引入了绿色、黄色和红色来表示该距离的合适程度.对于普通朋友或者陌生的两个人, 最佳的距离范围是在社交空间内(120~370 cm)；个人空间(45~120 cm)次之；私密空间(在45 cm以内)非常不适合, 因为太过靠近.另外, 一般人的可视范围会形成一个扇形, 笔者将该范围限制为90°.当社交对象不在该视线范围内的时候, 提示用户“out of view”.
由于社交距离的合适程度判断与社交对象的关系有关, 在软件界面上设置了人物关系模式的选择, 包括家人、朋友和陌生人.ProCom系统主要针对的是自闭症患者扩展社交范围, 主要面向的是和陌生人社交的场景, 因此默认的模式是陌生人.对于家人和朋友, 适宜社交的更倾向于较近的距离.选择不同的模式, 则颜色模式会相应改变, 如表 2所示.
|
|
表 2 不同关系模式下的符号反馈设定 Table 2 Symbol feedback setting in different relation modes |
为了评估ProCom技术上的可行性和有效性, 选择了一个有自然陈设的房间.如图 9所示, 该房间内有沙发、书架、柜子等家具, 面积为4.3 m×5.1 m, 测试ProCom系统在距离和方向上的测量精度.让一个11岁自闭症男孩, 使用ProCom系统并且进行一组简短的实验.
|
图 9 ProCom系统测试实验场地(一个自然陈设的房间) Fig. 9 ProCom system testing environment (natural furnished room) |
为了验证ProCom测量距离的准确性, 让两个实验者面对面站立在如图 9所示的房间, 其中一个人把ProCom可穿戴设备佩戴在胸前.然后, 让另一个人走近, 并且不断改变两个人之间的相对距离, 从20至400 cm, 以20 cm为一个单位递增.在每一个距离条件下, 通过ProCom系统获取20个距离测量值, 然后计算20个距离中的最大值、最小值和平均值.通过对比用卷尺测量得到的实际物理距离和ProCom获得的距离, 可得如图 10所示的结果.图中, dm为测量距离, 斜线表示测量距离等于实际距离, 偏差为测量值与真实值的最大差值.可以看出, ProCom测量的距离与实际的物理距离误差非常小, 最大误差在17 cm以内；随着距离的减小, 误差随之减小.该测量精度完全能够满足ProCom系统为自闭症患者提供距离的准确反馈.
|
图 10 ProCom系统距离测量精度 Fig. 10 ProCom system distance measurement accuracy |
对ProCom系统测量方向的精度进行验证.在同样的实验环境下, 佩戴ProCom的实验者转动自己的身体, 使得另一位实验者相对他的方向不断改变；在实验中, 对两人之间的距离不作限制.分别测试了两人相对角度从-45°到45°变化时的精度, 以每5°为一个单位增加；然后记录ProCom采集的10次角度输出, 并且与用量角器测得的实际角度对比.和距离类似, 统计10次结果中的最大值、最小值、均值及最大偏差.结果如表 3所示, 其中最大的角度偏差出现在真实角度为-25°时, 此时的偏差为3°.
|
|
表 3 ProCom测量方向精度统计 Table 3 ProCom's direction measurement accuracy |
在验证了ProCom系统的可行性符合预期后, 为了进一步验证了该系统在实际的部署应用中的可靠性, 邀请一位诊断有自闭症的11岁男孩穿戴ProCom系统, 与一位陌生人(实验志愿者)进行时长为1 min的面对面交流, 如图 11所示.
|
图 11 ProCom系统部署实验 Fig. 11 ProCom system deployment experiment |
实验的场景设置如下.当ProCom系统识别到陌生人后, 该陌生人站在预先设定的固定位置, 让自闭症患者从距离该陌生人4 m远的地方开始向陌生人走过去；然后在自己觉得适当的距离站立, 并进行简单的交流, 交流内容涉及社交中初次见面的简单沟通.通过ProCom系统对整个过程中两人之间的相对距离和方向进行测量和记录, 结果如图 12所示.
|
图 12 ProCom系统距离测量得到的距离和方向数据(在一次面对面沟通交流试验中) Fig. 12 Distance and orientation measured by ProCom system (in one actual face-to-face communication test) |
如图 12所示, o为两人间方向，自闭症男孩在实验开始后不断接近陌生人, 最终在两人距离约为66 cm的时候停下来开始与之交谈, 并且保持相对稳定的距离不变.两人之间的方向在自闭症男孩接近过程中越来越接近于0°, 说明男孩在一边走的过程中, 一边调整了方向, 最终以正面面对的形式开始交谈.
对上述的实验重复了8次, 每两次后更换一次陌生人(实验志愿者).为了对比ProCom系统对用户的反馈的作用, 在8次试验中, 4次让男孩手持手机, 从而能够看到反馈, 另外4次仅在胸前佩戴硬件设备.8次实验的条件和结果如表 4所示.表中，s1为用户首次停止时两用户间的距离，ps为社交对象在用户视线范围内的时间比例.
|
|
表 4 ProCom部署实验的条件和结果 Table 4 Conditions and results of ProCom deployment experiment |
在试验中, 统计了自闭症男孩首次停留时距离陌生人的距离；在整个过程中, 自闭症男孩是否一直保持陌生人在他的正前方视线范围内(-45°~45°).根据表 4可知, 在有手机反馈的情况下, 自闭症男孩的社交距离平均值为131.87 cm；在没有手机反馈的情况下, 平均社交距离为97.547 5 cm.可以看出, 通过使用ProCom系统, 能够有效地帮助该男孩调整社交距离.
4 结语本文针对自闭症患者社交障碍中社交距离方面的问题, 研究相关工作, 总结出帮助自闭症患者建立社交距离意识的系统能够在任何时间、任何环境、在无需环境设备辅助以及他人参与的条件下提供辅助.按照单用户、低成本、高精度的原则, 设计并实现了ProCom可穿戴系统, 能够帮助自闭症患者建立社交距离意识.该系统包括一个自主设计的可穿戴硬件和应用程序, 通过红外传感器实时获得自闭症患者与社交对象之间的距离和方向.以图形化的方式反馈给用户, 帮助他们理解不同场景下的社交距离, 以辅助他们提升社交技能.实验证明, ProCom系统能够在距离和方向的获取上实现高精度, 满足应用的需要, 并且在自然场景下能够追踪用户.ProCom系统不仅可以使自闭症患者直接受益, 而且能够为自闭症相关科研学者以及医护人员提供相应的研究基础.通过ProCom采集自闭症患者的行为数据, 进一步了解自闭症患者在社交距离方面的问题.本文只是初步的工作, 下一步将在更多、更复杂的环境下测试ProCom系统的性能, 并且在自闭症患者中部署及测试, 以逐步提高系统的实用性.
| [1] |
陈顺森, 白学军, 张日昇. 自闭症谱系障碍的症状、诊断与干预[J].
心理科学进展, 2011, 19(12501): 60–72.
CHEN Shun-sen, BAI Xue-jun, ZHANG Ri-sheng. The symptom, diagnosis and treatment for autism spectrum disorder[J]. Advances in Psychological Science, 2011, 19(12501): 60–72. |
| [2] | WHITE S W, KEONIG K, SCAHILL L. Social skills development in children with autism spectrum disorders: a review of the intervention research[J]. Journal of Autism and Developmental Disorders, 2007, 37(10): 1858–1868. DOI:10.1007/s10803-006-0320-x |
| [3] | GATICA-PEREZ D. Automatic nonverbal analysis of social interaction in small groups: a review[J]. Image and Vision Computing, 2009, 27(12): 1775–1787. DOI:10.1016/j.imavis.2009.01.004 |
| [4] | HARGIE O, SAUNDERS C, DICKSON D. Social skills in interpersonal communication[M]. London: Psychology Press, 1994. |
| [5] | EDWARD H. The hidden dimension[J]. Anchor Books, 1966, 14: 103–124. |
| [6] | KENNEDY D P, ADOLPHS R. Violations of personal space by individuals with autism spectrum disorder[J]. PloS One, 2014, 9(8): e103369. DOI:10.1371/journal.pone.0103369 |
| [7] | LOMRANZ J, SHAPIRA A, CHORESH N, et al. Children's personal space as a function of age and sex[J]. Developmental Psychology, 1975, 11(5): 541. DOI:10.1037/0012-1649.11.5.541 |
| [8] | HALL E T, BIRDWHISTELL R L, BOCK B, et al. Proxemics and comments and replies[J]. Current Anthropology, 1968, 9(2/3): 83–108. DOI:10.1086/200975 |
| [9] | GARFIN D G, LORD C. Communication as a social problem in autism[M]. New York: Plenum Press, 1986: 133-151. |
| [10] | GESSAROLI E, SANTELLI E, DI PELLEGRINO G, et al. Personal space regulation in childhood autism spectrum disorders[J]. PloS One, 2013, 8(9): e74959. DOI:10.1371/journal.pone.0074959 |
| [11] | EHRLICH J A, MILLER J R. A virtual environment for teaching social skills: AViSSS[J]. IEEE Computer Graphics and Applications, 2009, 29(4): 10–16. DOI:10.1109/MCG.2009.57 |
| [12] | ESCOBEDO L, NGUYEN D H, BOYD L A, et al. MOSOCO: a mobile assistive tool to support children with autism practicing social skills in real-life situations [C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. Austin: ACM, 2012: 2589-2598. |
| [13] | PERRY A, NICHIPORUK N, KNIGHT R T. Where does one stand: a biological account of preferred interpersonal distance[J]. Social Cognitive and Affective Neuroscience, 2016, 11(2): 317–326. DOI:10.1093/scan/nsv115 |
| [14] | HALL E T. A system for the notation of proxemic behavior[J]. American Anthropologist, 1963, 65(5): 1003–1026. DOI:10.1525/aa.1963.65.issue-5 |
| [15] | BOYD L A, MCREYNOLDS C, CHANIN K. The social compass curriculum: a story-based intervention package for students with autism spectrum disorders[M]. Baltimore: Brookes Publishing, 2013. |
| [16] | STANFIELD J. Social boundaries: the circles curriculum. social and life skills programs, school to work programs, conflict management, special education programs social boundaries: the circles curriculum. [2016-03-21]. http://www.stanfield.com/products/family-life-relationships/social-skills-circles-curriculum-intimacy-relationships/. |
| [17] | MARSHALL P, ROGERS Y, PANTIDI N. Using F-formations to analysis spatial patterns of interaction in physical environments [C]//Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. Hangzhou: ACM, 2011: 445-454. |
| [18] | TORRES-SOLIS J, FALK T H, CHAU T. A review of indoor localization technologies: towards navigational assistance for topographical disorientation[M]. Vienna: INTECH Open Access Publisher, 2010. |
| [19] | FEIL-SEIFER D, MATARIC M. Automated detection and classification of positive vs. negative robot interactions with children with autism using distance-based features [C]//Proceedings of the 6th International Conference on Human-robot Interaction. Lausanne: ACM, 2011: 323-330. |
| [20] | DEARMAN D, GUY R, TRUONG K. Determining the orientation of proximate mobile devices using their back facing camera [C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. Austin: ACM, 2012: 2231-2234. |
| [21] | MISRA P, KANHERE S S, JHA S, et al. Sparse representation based acoustic rangefinders: from sensor platforms to mobile devices[J]. IEEE Communications Magazine, 2015, 53(1): 249–257. DOI:10.1109/MCOM.2015.7010542 |
| [22] | BOUCENNA S, NARZISI A, TILMONT E, et al. Interactive technologies for autistic children: a review[J]. Cognitive Computation, 2014, 6(4): 722–740. DOI:10.1007/s12559-014-9276-x |
| [23] | BOYD L E, RINGLAND K E, HAIMSON O L, et al. Evaluating a collaborative iPad game's impact on social relationships for children with autism spectrum disorder[J]. ACM Transactions on Accessible Computing, 2015, 7(1): 3. |
| [24] | TENTORI M, HAYES G R. Designing for interaction immediacy to enhance social skills of children with autism [C]//Proceedings of the 12th ACM International Conference on Ubiquitous Computing. Copenhagen: ACM, 2010: 51-60. |
| [25] | WANG X, LAFFEY J, XING W, et al. Exploring embodied social presence of youth with Autism in 3D collaborative virtual learning environment: a case study[J]. Computers in Human Behavior, 2016, 55: 310–321. DOI:10.1016/j.chb.2015.09.006 |
| [26] | IACHINI T, COELLO Y, FRASSINETTI F, et al. Body space in social interactions: a comparison of reaching and comfort distance in immersive virtual reality[J]. PloS One, 2014, 9(11): e111511. DOI:10.1371/journal.pone.0111511 |
| [27] | GABRIELA M, DEY A K, KIESLER S. Parent-driven use of wearable cameras for autism support: a field study with families [C]//Proceedings of the 2012 ACM Conference on Ubiquitous Computing. Pittsburgh: ACM, 2012: 401-410. |
| [28] | EL KALIOUBY R, TEETERS A, PICARD R W. An exploratory social-emotional prosthetic for autism spectrum disorders [C]//International Workshop on Wearable and Implantable Body Sensor Networks (BSN'06). Cambridge: IEEE, 2006: 2-4. |
| [29] | Matlab CFTool. [2016-03-21]. http://www.mathworks.com/help/curvefit/curvefitting-app.htmlrequestedDomain=www.mathworks.com. |
| [30] | NUMMIARO K, KOLLER-MEIER E, VAN GOOL L. An adaptive color-based particle filter[J]. Image and Vision Computing, 2003, 21(1): 99–110. DOI:10.1016/S0262-8856(02)00129-4 |