近年来，机器人因其对当今世界的重要性和应用的广泛性逐渐成为研究的热点. 由于技术的不断进步，对机器人的需求和提供的服务不断增加，人们针对不同的需求选择一系列环境传感器耦合在机器人上，用于执行复杂任务^[1]. 触觉的产生是复杂且难以复现的生理过程，涉及皮肤深层及表皮的多种触觉感受器，机器人难以生成甚至理解这一感觉. 传感器的发展使得静态和无生命的物体能够具备像人类一样的感知能力，在如今智能机器人的发展中起着至关重要的作用^[2]. 目前对触觉传感器用于物体识别的研究较多，Eguíluz等^[3]提出递归多模态材料识别的方法，利用材料振动的频率响应和热特性进行识别. Yang等^[4]将触觉和温度传感元件异质集成在柔性衬底上，以感知触觉. 本文选择PVDF(聚偏氟乙烯)材料制成的压电触觉传感器(下文以PVDF代称)来采集机器人原始触觉数据，经时频域处理后馈送至深度学习模型中. 目前在信号处理领域存在相关算法的尝试，如卷积神经网络(convolutional neural network, CNN)^[5-9]、支持向量机(support vector machine, SVM)^[10-13]、聚类算法^[14-15]等.

卷积神经网络在20世纪90年代广泛兴起^[16]，而后随着支持向量机的出现，CNN逐渐不再是计算机视觉的主流技术. Krizhevsky等^[17]在Image-Net视觉识别挑战赛上的高精度图像分类重新将CNN拉回主流视野中. R-CNN的提出^[18]将图像检测的平均精度提高了30%以上，推动了CNN在图像处理中的广泛应用.

本文采取2种网络模型来进行触觉识别，从实验结果来看，这2种方法都存在触感相似的材质分类混淆的问题，严重影响了识别结果. 在网络架构部分提出渐进式级联卷积神经网络，由2层独立训练的网络连接构成. 实验数据表明，该网络模型在同一数据集下的平均识别准确率有显著提升.

本文介绍了建立机器人触觉识别系统的过程，选取若干具有代表性的生活中常见物体作为识别对象，收集机器人手指触摸物体时传感器与材质摩擦产生的压电信号，经过去噪、去除异常值及标准化等操作后构建为数据集. 根据模型的分类结果进行分析反馈，设计对比测试，在不同方面对模型进行改进，得到较高的分类准确率，对机器人触觉的发展有重要意义.

PVDF压电薄膜传感器具有韧性高、结构稳定、压电特性好等优点，能够记录薄膜表面的微小变化. 当PVDF受到法向方向的外力产生形变时，压电薄膜内部会出现极化效应，内部微单元会在表面细微纹理颗粒挤压的形变效应下造成表面电荷分布不均（PVDF压电薄膜的转换模型示意图见图1），产生与所受力相匹配的电荷信号. 此时，可将薄膜短暂视为电容器，可存储的电容量为

(1) $ C = {\varepsilon _0}{\varepsilon _{{\rm{k}}}}S/H. $

式中： $ {\varepsilon }_{0} $为真空中介电常数， $ {\varepsilon }_{\mathrm{k}} $为薄膜材料介电常数， $ S $为薄膜面积， $ H $为薄膜厚度. 经电压放大器放大后，输出电压 $ {U}_{\mathrm{o}\mathrm{u}\mathrm{t}} $的幅值为

(2) $ {U}_{\mathrm{o}\mathrm{u}\mathrm{t}}=\frac{A{F}_{\mathit{{\rm{sin}}}\,\alpha }H}{{\varepsilon }_{0}{\varepsilon }_{{\rm{k}}}S} . $

式中： ${F}_{\mathrm{sin}\,\alpha }$为法向力， $ A$为比例放大系数.

在后级采用电压放大模块对信号进行放大处理，使输出电压保持在固定的水平区间内，保证单片机能够识别采集的电压信号.

PVDF传感器安装在机械手指末端，传感器的外观如图2的左侧部分所示，表面的凹凸纹路可以模拟人体手指指纹，增大摩擦. 如图2的右侧部分所示为传感器剖面示意图，传感器尺寸接近人体手指节大小，约为1.8 cm×1.7 cm，整体分为4层. 上、下两层分别为透明橡胶和硅胶基底，起到保护内部元件、减少传导过程中载荷能量损耗的作用. 铜箔层连接2根漆包线，将电荷从压电薄膜正、负两极导出. 铜箔表面为压电薄膜层，整体设计为拱形增大了表面受力时的压电薄膜形变程度，提高了传感器的灵敏度.

Okamoto等^[19]提出3个心理物理维度对触觉纹理有着显著性的影响：坚硬/柔软程度、粗糙/平滑程度及表面的温度. 其中温度的影响虽然重要，但不作为该实验所考虑的影响因素，将前2种维度作为主要的材料选择标准，对多种生活中常见的材质进行评估，保证了触觉识别的普适性. 开展材质选择的预实验. 共招募4名预实验的参与者（2名男性、2名女性），将2种维度进行量化，每名参与者被要求用0~10为所触摸的材质的坚硬或柔软程度及粗糙或平滑程度进行打分. 根据分数挑选15种材质，较均匀地分布在2个维度坐标轴构成的平面内，如图3所示.

在确定实验所需的材质类型后，将每种材料裁成15 cm×5 cm尺寸的矩形，包裹在圆筒形卷轴外侧，用双面胶固定. 与常见的在材料上移动传感器来收集振动数据的方法不同，为了节省实验设备所占用的空间、控制传感器移动的速度及距离，将材料包裹在圆筒外围，通过电机匀速带动圆筒，使材质相对于传感器进行圆周运动，保证可以在有限的空间内收集高质量摩擦数据.

如图4所示为搭建的数据采集平台，为了保证数据的准确性与一致性，消除无关因素对数据的影响，机械手指与样本以固定的面积和压力接触. 圆筒转动时，手指匀速划过样本，传感器发生形变并输出电信号. 电机转速设置为30 r/min，传感器的采样率为1 kHz. 取1.8 s作为基础采样时间，每种材质的一个样本由1800个采样点构成，每种材质收集500组样本. 使用STM32F767IGT6 的 ADC 模块对采集到的信号进行模数转换后，得到原始触觉数据. 若将全部表征周期信号输入网络，则会造成特征维度过多，梯度收敛慢，识别不准确. 为了降低网络的输入规模，减轻计算负担，对时间序列进行处理. 触觉信号的采集过程中会出现2种主要干扰：原点漂移和振动噪音. 对触觉信号采取的主要处理方法如下. 1）使用双向线性数字滤波器进行去噪，在去除噪声的同时防止了数据的相位移动. 2）计算数据的统计性描述，开展数据的异常值分析，剔除与平均值的偏差超过标准差的3倍的异常值. 3）采用z-score方法标准化数据，将数据按比例缩放到零点附近. 选取3种代表性的材质， 原始数据、去噪后的数据、剔除异常值后的数据进行标准化的数据如图5所示.

图5中，3个纵行分别表示所选取的3种材质（泡沫塑料、无痕布、软牛仔裤），第1行波形为传感器收集的原始数据，第2行波形为经过去噪处理后得到的结果. 将异常数据去除并进行标准化后得到第3行所示波形，此时信号数据可以直接送入深度学习模型中进行训练. 在将数据送入2-D CNN前，对数据进行从时域到频域的转化，以栅格文件袋材质为例，给出处理后的数据结果，如图6所示. 图中，t为时间，f为频率，α为归一化的数据幅值.

受文献[20]的思路启发，设计充分提取时域信号特征的模块化卷积神经网络. 通过前馈、反向传播迭代更新进行训练，网络结构如图7所示.

网络包含6个卷积层、3个池化层和连接Softmax分类器的全连接层. 所有卷积层由tanh函数激活. tanh函数将前一层输出的结果转换到 (−1,1)上. 比较大的负数无限接近于 −1，比较大的正数无限接近于1. 最大池化层输出先前卷积块的卷积结果的最大值. 输入层之后的每两个卷积层与池化层交替相连，每层的池化层抽取前一层神经元传播的二维映射. 通过BP算法进行训练. 输入层接受输入信号，将其完整地通过足够数量的卷积核进行前向传播，在最后一个池化的输出处估计决策向量.

在前向传播过程中，假设第 $ l $ 层的第 $ i $个特征值为 ${{\boldsymbol{a}}}_{i}^{l}$，则有

(3) $ {{\boldsymbol{a}}}_{i}^{l}={{\boldsymbol{b}}}_{i}^{l}+\sum _{j=1}^{{m}^{l-1}}{\rm{conv1D}}\left({{\boldsymbol{w}}}_{i,j}^{l},{{\boldsymbol{s}}}_{j}^{l-1}\right);\;i=\mathrm{1,2},\cdots ,{m}^{l}. $

(4) $ {{\boldsymbol{s}}}_{i}^{l}=f\left({\boldsymbol{a}}_{i}^{l}\right). $

式中： ${{\boldsymbol{b}}}_{i}^{l}$ 为特征信号的偏移量， ${{\boldsymbol{s}}}_{i}^{l}$为输出值， ${{\boldsymbol{s}}}_{j}^{l-1}$为前一层的第 $ j $个特征信号的输出， ${{\boldsymbol{w}}}_{i,j}^{l}$为第 $ l $层第 $ j $个特征信号和第 $ i $个特征信号之间的滤波器权值向量， $f\left({\boldsymbol{x}}\right)$为非线性激活函数 $ \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h} $.

通过反复实验验证，确定了原始触觉信号周期特征提取的1-D CNN参数配置，如表1所示. 基于上述网络的分类结果混淆矩阵如图8所示. 图中，A_cc为准确率. 从图8可以看出，1-D CNN对于某几种特定材料的分类效果较好. 在调整参数不断训练的过程中发现，对于某些材质相近的材料（如材料4和材料8，分别为泡沫塑料和塑料片），会出现图8所示的容易混淆的情况，在使用2-D CNN分类模型时该问题未彻底得到解决. 提出基于级联神经网络的信号分类模型，将在2章中详细说明.

设计以时频图作为输入的2-D CNN作为对照，时频图的二维矩阵可以用于提取PVDF传感器信号所传递的特征. 短时傅里叶变换（short-time Fourier transform, STFT）是目前被广泛使用的基于傅里叶变换的函数，可以帮助深度学习网络高效地从频谱图中提取信号特征，常被用在CNN和长短期记忆(long short term memory, LSTM)模型中^[21]. 如图9所示为原始触觉信号在网络中训练的过程.

使用的网络由4个卷积层和2个最大池化层构成，卷积运算在图像处理领域中用于检测上一层的局部特征，如边缘检测、模糊处理. 在处理频谱图时，通过卷积和池化操作提取的特征，可以很容易地识别出该信号的调制模式. 池化过程通过将多个相似的特征合并，提高模型的可泛化性. 模型带有2个Dropout层，使网络在正向训练过程中以概率P丢弃一定的神经元，再次提高模型的泛化能力，防止过拟合. 结合时频分析和CNN这2个过程，综合它们的优点重新设计网络的拓扑结构.

从图10的分类结果可以看出，与1-D CNN相比，输入更多信息的2-D CNN在分类效果上有着一定的提升，分类完全正确的类别数有一定提升，但对于易混淆的材料难以有效地区分.

针对上述工作中出现的相近材料易混淆的情况，提出渐进式的级联神经网络结构，由独立训练的2个网络相互连接构成，将待分类的15种材料进行预先的粗粒度归类. 第1层网络先将所有材料粗分类，抽取出截至Softmax层前的向量参数作为第2层网络的输入，对粗粒度归类方式及细粒度网络构成进行多次实验，构建分类效果最优的级联神经网络.

对于所有的实验材料，共选择4种粗分类方式：由聚类算法进行的四分类、五分类及实验人员通过肉眼和常识判定较接近的四分类、五分类.

聚类的目标是识别形成同质化的样本集，在形成的聚类中，来自相同类别样本之间形成的距离(包括但不限于欧氏距离)度量最小，来自不同类别样本之间的相似度最小. 在分类好的集群上建模比在原始数据集上建模更加容易，因此预先使用聚类算法对某些特性上相似度较高的材料进行预分类，开展下一步分类，解决1.2.1节的混淆问题. 具有一定时间序列特性的聚类技术在诸多领域被证明十分有效^[22-24]，选择K-Medoids聚类算法. 设n个具有p个变量的对象被分成k (k < n)个簇，其中k是给定的. 根据选择的度量方法计算所有对象两两之间的距离，对于每一个对象 $ j $，求出对应的距离度量 $ {v}_{j} $，通过下式计算：

(5) $ {v}_{j}=\sum _{i=1}^{n}\frac{{d}_{ij}}{\displaystyle\sum _{l=1}^{n}{d}_{il}} . $

式中： $ {d}_{ij} $为变量间的距离. 将所有 $ {v}_{j} $升序排列，选择具有前k个最小值的k个对象作为初始中心点（Medoids），将每个对象分配给最近的中心点来获得初始聚类结果，计算所有对象到最近中心点的距离之和. 通过不停替换新的中心点，更新每个集群中的当前总距离. 当总距离和不再更新时，结束算法.

时间序列数据可以分成若干时间帧，多个时间帧串联成的观察向量可以描述材质表面细微的变化，但由于采样点在时间上会具有一定的偏移，在比较多个序列的相似度时会遇到诸多问题，如时间起点不一致、序列长度不同、维度不同等. 若使用欧氏距离度量难以计算有效的相似度^[25-26]，则在选用度量方法时选择动态时间规整（dynamic time warping, DTW）方法. DTW度量方法根据动态规划原理，局部拉伸或压缩应用于2个时间序列对象的时间轴，更好地对齐时间序列^[27]，如图11所示.

设2个长度不同的时间序列分别为C和Q，其中 $Q=\{{q}_{1}，{q}_{2}，{q}_{3}，\cdots ，{q}_{{n}}\}$ , $C={\{c}_{1}，{c}_{2}，{c}_{3}，\cdots ， $ $ {c}_{m}\}$. 传统的欧氏距离定义 $\mathrm{D}\mathrm{E}\left(Q,C\right)$及DTW距离定义的表达式分别为

(6) $ {\rm{DE}}\left( {Q,C} \right) = \sqrt {\sum\limits_{i = 1}^{{\rm{min }} \; \left\{ {m,n} \right\}} {{{({q_i} - {c_i})}^2}} } , $

(7) $ {\rm{DTW}}\left(Q,C\right)=\sqrt{\omega (i,j)} . $

式中： $ \omega (i,j) $为累计的距离，边界条件为： $\omega \left(\mathrm{1,1}\right)= $ $ d\left(\mathrm{1,1}\right)$， $ \omega \left(m,n\right)=d(m,n) $，则有

(8) $ \begin{array}{l} \omega \left( {i,j} \right) = \\ d\left( {{q_i},{c_j}} \right) + {\rm{min}}\;\left\{ {\omega \left( {i - 1,j - 1} \right),} \right.\left. {\omega \left( {i - 1,j} \right),\omega \left( {i,j - 1} \right)} \right\}. \end{array} $

DTW的表达式类似于动态规划的递推状态转移方程，根据要对比的信号生成代价矩阵. 矩阵中的每一个元素都代表Q和C中2个时间帧的对齐. DTW算法的目的是寻找出一条穿过整个矩阵的路径，如图12的点集所示. 绿色路径上的每一个点都可以视为2段时间序列的一次对齐.

图13中，e为分离系数. 可以看出，采用欧氏距离度量时数据之间的距离普遍较大，耦合程度较差，聚类中心与轮廓相差较大，不能很好地代表所聚类的数据. 当采用DTW作为度量时，轮廓系数更优，相同类别的数据相似性更高.

考虑所有可能影响聚类结果的因素，从分类规则层面考虑了人主观和算法的差异，从分类结果上考虑了分类数量不同的区别. 根据这些材料在现实中的触感，将类别数 k 分别设置为4和5，在不同情况下实现K-Medoids聚类算法，分析维度压缩后的分类结果. 实验数据显示，不同的粗粒度归类下，人工和算法2种不同的方式分类准确率存在较大差异，如表2所示.

选择此前的2-D CNN作为粗粒度分类模块，将2-D CNN的Flatten层参数提取出来输入到细分类网络中，用粗分类结果和原始标签共同指导第2层网络的训练. 由于粗分类已有较好的分类结果，第2层网络的主要意义是区分聚类算法所归类的极相似的材料.

在选择损失函数时，选择交叉熵损失函数(cross entropy)^[28]. 使用Softmax函数，可以将拉平的特征向量转化成各分类结果的概率，在计算损失时需要计算输出概率和期望概率的差. 交叉熵函数可以有效地计算该数值，交叉熵越小，分类准确率越高. 在多分类中，交叉熵损失函数的表达式为

(9) $ {\rm{Loss}} = \frac{1}{{N}}\sum\nolimits_{i} {{{L}_{i}}} = - \frac{1}{{N}}\sum\nolimits_{i} {\sum\nolimits_{{c} = 1}^{M} {{y_{{ic}}}} } {{\rm{ln}}}\; {P}_{{ic}} .$

式中： $ M $为分类数量， $ {y}_{ic} $表示样本 $ i $的真实类别是否与预测结果 $ c $相符， $ {P}_{ic} $ 为样本 $ i $的观测值等于 $ c $的概率.

2层网络的总架构如图14所示.

如图15所示为整体的分类混淆矩阵. 如图16所示，选取分类错误率较高的几对材质进行量化分析. 图中，柱状图的横轴表示易混淆的不同材料对，如4-8标签表示模型将4号材质分类为8号的情况. 从图16可见，2种CNN分别对某几种相似材料有较高的区分度，但各有不足之处. 最终的渐进式级联神经网络对于所有易混淆的材质均有着极高的分类正确率.

提出的所有分类模型均由Python语言搭建，使用开源库TensorFlow^[29]，该库由Google为深度学习而开发. 训练CNN模型需要大量的计算能力和训练时间，实验装置包括配备了Intel i9 10900X的服务器， 64 GB的RAM、1TB SSD硬盘驱动器和2块Nvidia RTX 2080 TI GPU. 对输入数据进行分割，75%的数据用于训练，25%用于测试. 在训练过程中，使用10倍交叉验证.

根据PVDF优秀的压电特性，开发触觉传感器. 通过上位机与传感器的有机耦合，建立高度集成的硬件系统，对传感器的输入信号进行实时处理. 在数据处理部分，通过构建2个步骤的级联网络完成这一操作. 针对原始触觉信号设计CNN模型，研究该模型的性能. 通过开发的CNN模型解决相近材质易混淆的情况，提高检测性能. 将输入信号转换为时间和频率的二维图像数据.

采用的分类算法结果比较如表3所示. 可见，当粗分类数为5时，提出的分类方法在几乎所有的类别下都出现了100%的分类正确率，尤其在易混淆的材料上有着较高的分离度，较单步卷积神经网络模型有较大的提升.

本文构建的渐进式分类模型的平均准确率为97.01%，保证机器人对于训练过的材料有极高的成功识别率，为下一步的交互控制夯实了基础. 本研究的优点是使用PVDF传感器与卷积神经网络结合的方式进行触觉识别，将训练于二维图像数据的流行模型的权重转移到对一维信号的分类中，打破了深度模型构建和训练阶段的约束，灵活地使用K-Medoids聚类算法，显示出较好的分类性能. 建立小型数据库，数据的重复处理导致机器人记忆了训练数据，仅能对已有的材质类型进行分类，对没有记录过的测试数据识别效果有待提升. 进一步的研究方向是利用该模型来帮助机器人学习从未触摸过的材质，反馈未知材质与数据库中已存在记录的相似程度，帮助机器人构建类人的触觉产生机理.