物体的三维形状为人类和机器人对环境的感知和操作提供了丰富的信息^[1]. 视觉通常被用于感知物体的全局三维形状，但在一些极端情况下会面临显著的挑战，例如光照不佳、存在反射或遮挡. 相比之下，触觉感知更擅长捕获物体的局部和细节三维形状，并且不受上述不利条件的限制^[2]. 为了让机器人具备类似于人类的触觉感知能力，基于多种传导原理的不同类型的触觉传感器被相继研发出来，包括压阻式、压电式、电容式以及光学传感器^[3-4].

传统的触觉传感器多为阵列式结构，由众多小型触觉感知单元紧密排列而成. 然而，这类传感器的空间分辨率较低，难以捕捉触觉接触时物体的具体几何形态，限制了其在高精度触觉感知中的应用^[5]. 近年来，视触觉传感器作为一种光学触觉传感器，因高空间分辨率的触觉信息捕捉能力受到了广泛的关注^[6-8]. 这类传感器通常使用相机捕捉弹性体表面的形变来测量接触信息，代表性工作包括TacTip^[9]、GelForce^[10]和 FingerVision^[11]传感器等. 然而，这些视触觉传感器大多局限于平面感知，无法获取接触区域的完整三维几何形状信息.

作为主流视触觉传感器之一，GelSight传感器^[12]创新性地采用光度立体算法来重建接触表面的高精度三维几何形状，在机器人触觉感知和操作领域取得了丰富的研究成果^[13-14]. 为了增强传感器的灵活性，研究人员进一步在GelSight的基础上改进结构，设计带有曲面接触面的GelSight类传感器^[15-17]. 然而，由于光度立体算法本身的局限性，这些曲面传感器在三维几何形状估计中存在较大的误差，同时光学路径设计复杂，制造工艺难度较高. 除了GelSight类传感器，一些研究团队还开发了其他能够感知三维接触几何形状的曲面视触觉传感器. 例如，SoftBubble传感器^[18]利用深度相机捕捉弹性体表面的形变，实现了三维触觉重建. 然而，这类传感器通常成本高昂，制造工艺复杂，且在实际应用中仍有较大的改进空间. 为了解决上述问题，近期Cui等^[19]提出GelStereo视触觉传感器，采用双目立体视觉算法重建接触表面的三维几何形状. 该传感器具有较高的触觉点云重建精度，并且传感器形状易于扩展至曲面，为曲面视触觉传感器的设计提供了新的思路. 在此基础上，Hu等^[20]设计了一种曲面手掌视触觉传感器，可以更灵活地感知复杂物体表面的三维形状. 然而，其触觉感知深度范围仍然有限，显著接触点提取效率有待提高.

经过多介质折射的双目立体视觉一直是水下三维重建领域的重要研究方向. Sorensen等^[21]提出折射立体光线追踪(refractive stereo ray tracing, RSRT)模型，使用光线追踪技术来建模相机到多重介质后三维点的光线轨迹. Gu等^[22]在此基础上，提出RSRT模型的参数标定方法，使得三维重建更加准确. Kunz等^[23]、Yoon等^[24]和She等^[25]进一步将RSRT模型扩展到曲面折射面场景. 然而，这些研究都是针对范围较为广阔的水下场景，模型的假设和标定方法不适用于尺度较小的视触觉传感器.

为了解决以上问题，提出一种新颖的曲面手掌视触觉传感器结构. 使用基于RSRT的三维触觉点云重建及标定方法来获取精准三维触觉点云，并提出触觉点云显著性检测算法来提取显著接触点云. 改进后的传感器不仅具备更大的接触深度范围，还能稳定、实时地提取显著接触点云，显著提升了数据处理效率与感知精度.

提出的曲面手掌视触觉传感器硬件结构设计如图1(a)所示，主要由3个核心模块组成：双目相机模块、框架模块以及凝胶模块. 双目相机模块负责获取双目触觉图像，为后续的三维重建提供高分辨率的原始数据；框架模块在提供传感器整体结构支撑的同时，集成了均匀分布的照明光源，以确保成像质量和标记点识别的稳定性；凝胶模块是传感器实现高灵敏度触觉感知的关键部件，其设计直接影响传感器的感知范围和精度. 传感器实物如图1(b)所示，整体直径和高度分别为80.0 mm和78.5 mm，半球形凝胶模块的直径为65.0 mm.

凝胶的材料选用Smooth-On品牌的SOLARIS全透明硅胶和Slacker硅触变剂. 在制作过程中，将SOLARIS的A、B组分和Slacker按照1∶1∶5的比例混合，并搅拌均匀. 将混合的硅胶液体倒入组装好的模具中，在23 ℃下经过24 h凝固成型. 经过专业检测机构测试，凝固后硅胶的硬度为45 Shore 00，折射率为1.41，泊松比为0.46，弹性模量为4.52×10⁵ Pa.

标记点的形状和排列方式如图2所示，由11圈圆形标记点构成环形分布. 标记点的间距（即空间分辨率）为1.67~2.24 mm. 这种标记点布局设计能够确保双目相机在共同视野内全面捕获凝胶层表面的标记点图像. 通过双目立体视觉算法，传感器可以重建标记点的高精度三维点云，以准确感知传感器表面的接触几何形状，满足均匀性环境下的精细触觉感知需求，为未来拓展至非均匀性环境中的复杂触觉感知奠定基础.

相比于此前的曲面手掌视触觉传感器结构，本研究所提传感器中的凝胶模块经过显著的改进，如图3所示. 传统的凝胶模块为球壳状，其凝胶层厚度仅为约5.5 mm，极限接触深度较小，限制了触觉感知能力. 改进后的凝胶模块采用半球形设计，半径为32.5 mm，凝胶层厚度增加，形变范围显著扩大. 这种设计不仅提高了传感器对复杂接触情况的适应能力，还使得触觉感知更加灵敏和准确. 此外，半球形凝胶模块的几何形状更利于提高标记点的分布均匀性，从而进一步提升三维重建的精度和稳定性. 新的设计为传感器在机器人触觉感知任务中的应用奠定了坚实基础，特别是在复杂表面形状的高精度感知中展现出显著优势. 在实际应用中，传感器样机已被安装在机械臂末端进行了连续2 a的物体感知实验，累计完成了数千次接触数据采集. 在此期间，传感器始终处于正常运行状态，未出现明显的性能退化或材料损坏迹象，初步证明了其良好的耐久性.

三维触觉点云重建的流程如图4所示，整体分为2个阶段：初始化阶段（T=0）和实时感知阶段（T>0）. 在初始化阶段（T=0），传感器处于未接触状态，通过双目相机获取初始的双目触觉图像. 随后，标记点检测模块对图像中的标记点进行中心位置的检测，提取每个标记点的像素坐标. 接着，中心坐标被输入到标记点立体匹配模块中进行匹配处理. 由于标记点的环形排列具有固定的几何结构，标记点排序变得简单且高效. 最后，利用基于折射模型的RSRT算法对标记点进行三维重建，从而生成初始状态下的三维触觉点云数据.

在实时感知阶段（T>0），当传感器表面与外界物体接触后，标记点的位置发生变化. 此时，通过标记点跟踪模块对标记点进行动态跟踪，以确保每个标记点的双目立体匹配关系保持一致，从而避免因标记点移动导致的匹配错误. 当传感器表面发生按压时，标记点的检测和跟踪效果如图5(a)所示，基于这些标记点重建的三维触觉点云如图5(b)所示，能够清晰地反映接触表面的几何形状变化.

具体而言，RSRT模型通过分析双目立体视觉系统中光线在不同介质中的传播轨迹，将标记点从二维图像映射到三维空间，从而实现高精度的三维触觉点云重建. 如图6所示，从标记点$ {\boldsymbol{P}} $反射的光线依次经过硅胶、亚克力和空气3种介质的传播，最终进入左、右目相机的镜头中. 图中，${d_{xy}}$为左相机光心到折射平面的垂直距离，$\left[ {{n_x},{n_y},{n_z}} \right]$为折射平面的法向量，$ {\mu }_{0}、{\mu }_{1}、{\mu }_{2} $分别为空气、亚克力和硅胶的折射率.

给定某标记点在左、右目图像中的像素坐标，RSRT模型利用双目相机参数、介质的折射率参数$ {\phi _{\text{r}}} = \left\{ {{\mu _0},{\mu _1},{\mu _2}} \right\} $以及传感器的结构参数$ {\phi _{\text{s}}} = \{ {d_{xy}},{n_x}, {n_y},{n_z} \} $计算2条光线轨迹的交点作为三维空间中的点$ {\boldsymbol{P}} $. 其中，双目相机参数可以通过张氏标定法获得，而折射率参数${\phi _{\text{r}}}$和结构参数${\phi _{\text{s}}}$可能受环境条件（如温度、湿度等）的影响而发生变化，从而影响模型的重建精度. 因此，为了保证RSRT模型的准确性，必须在传感器使用前对模型的物理参数进行标定. 对${\phi _{\text{r}}}$和${\phi _{\text{s}}}$的标定可视为以目标函数$F$为优化目标的问题，通过最小化误差函数来确定最优参数值：

(1)$ {\phi _{\text{r}}},{\phi _{\text{s}}} = \mathop {{\text{argmin}}}\limits_{{\phi _{\text{r}}},{\phi _{\text{s}}}} \;F\left( {\boldsymbol{P}} \right). $

在标定的过程中，将棋盘格按压在没有涂层的凝胶层表面，同时拍摄双目图像，如图7(a)所示. 使用棋盘格角点已知的几何约束来构建$F$，如图7(b)所示，欧氏距离和垂直性可以用来约束棋盘格角点的几何关系. 棋盘格角点数量为$M \times N$，每个单元的长度为$l$，${{\boldsymbol{C}}_{i,j}}$、${\boldsymbol{C}}_{k,g} $分别表示第$i$行第$j$列、第k行第g列的角点. ${{\boldsymbol{C}}_{i,j}}$和$ {{\boldsymbol{C}}_{k,g}} $角点之间的欧氏距离可以表示为

(2)$ {\left\| {{{\boldsymbol{C}}_{i,j}} - {{\boldsymbol{C}}_{k,g}}} \right\|_2} = l\sqrt {{{\left( {k - i} \right)}^2}+{{\left( {g - j} \right)}^2}} . $

欧氏距离的目标函数${F_1}$可以设计为

(3)$ \begin{split} {F_1} =& \frac{1}{{{{\left( {NM} \right)}^2}}}\mathop \sum \limits_{i = 0}^{N - 1} \mathop \sum \limits_{j = 0}^{M - 1} \Bigg( \mathop \sum \limits_{k = 0}^{N - 1} \mathop \sum \limits_{g = 0}^{M - 1} \Big| {{\left\| {{{\boldsymbol{P}}_{i,j}} - {{\boldsymbol{P}}_{k,g}}} \right\|}_2} -\\& {{\left\| {{{\boldsymbol{C}}_{i,j}} - {{\boldsymbol{C}}_{k,g}}} \right\|}_2} \Big| \bigg).\end{split} $

式中：${{\boldsymbol{P}}_{i,j}}$、${{\boldsymbol{P}}_{k,g}}$为$ {{\boldsymbol{C}}_{i,j}} $、${{\boldsymbol{C}}_{k,g}}$经过RSRT模型重建后的三维点. 该函数描述了棋盘格角点之间的欧氏距离三维重建误差.

由于棋盘格的水平边缘垂直于竖直边缘，表示垂直性的目标函数可以设计为

(4)$ {F_2} = \frac{1}{{NM}}\mathop \sum \limits_{i = 0}^{N - 1} \left( {\mathop \sum \limits_{j = 0}^{M - 1} \frac{{\left| {\left( {{{\boldsymbol{P}}_{i,M-1}}-{{\boldsymbol{P}}_{i,0}}} \right) \cdot {\left({{\boldsymbol{P}}_{N-1,j}}-{{\boldsymbol{P}}_{0,j}}\right)} } \right|}}{{\left| { {{{\boldsymbol{P}}_{i,M-1}}-{{\boldsymbol{P}}_{i,0}}} } \right| \cdot \left| { {{{\boldsymbol{P}}_{N-1,j}} , {{\boldsymbol{P}}_{0,j}}} } \right|}}} \right). $

该目标函数表示图7(b)右图中红线对应的向量垂直于蓝线对应的向量.

最终的目标函数设计为${F_1}$和${F_2}$的线性组合：

(5)$ F = {\omega _1}\overline {{F_1}} +{\omega _2}\overline {{F_2}} . $

式中：$\overline {{F_1}} $和$\overline {{F_2}} $分别为归一化的${F_1}$和${F_2}$，${\omega _1}$和${\omega _2}$分别为2个目标函数的比例因子. 在实际实验中，将${\omega _1}$和${\omega _2}$分别设置为0.8和0.2.

经过标定后，${d_{xy}}$= 35.344 mm，$\left[ {{n_x},{n_y},{n_z}} \right]$= [0.009,0.009,1.000]. 将亚克力和硅胶看作一体，$ {\mu }_{0}、{\mu }_{1}、{\mu }_{2} $标定的值分别为1.000、1.316、1.316.

为了从重建的完整触觉点云中提取发生接触的部分，针对GelStereo Palm 2.0传感器提出触觉点云显著性检测算法，算法流程如图8所示. 首先，判断传感器是否与物体发生稳定接触. 在传感器初始化、未发生接触时，记录三维触觉点云的初始位置${{\boldsymbol{T}}_0} \in {{R}^{N \times 3}}$. 接着，计算三维点云的位移：

(6)$ {{\boldsymbol{D}}_i} = {{F}_{{\text{L}}2}}\left( {{{\boldsymbol{T}}_0},{{\boldsymbol{T}}_i}} \right);\;i = 1,2,3, \cdots . $

式中：${{\boldsymbol{D}}_i} \in {\bf{R}}^{{N}}$为$i$时刻的点云位移向量，${{\boldsymbol{T}}_i} \in {\bf{R}}^{N \times 3}$为$i$时刻三维点云的位置，${{F}_{{\text{L}}2}}\left( \cdot \right)$表示欧氏距离函数，$N$为三维点云中点的个数.

如果${{\boldsymbol{D}}_i}$中的最大值大于阈值$l$，则认为传感器发生了1次接触事件. 定义$i$时刻的接触事件计数器${n_i}$为

(7)$ {n_i} = \left\{ \begin{array}{ll} {n_{i - 1}}+1,&{d_i} > l\; , \;i > 0; \\ 0,&{d_i} \leqslant l\; 或 \;i = 0.\end{array} \right. $

式中：${d_i} = \max\;\left( {{{\boldsymbol{D}}_i}} \right)$，max ( )表示矢量中元素的最大值. 若${n_i}$大于阈值$s$，则认为发生了稳定的接触. 在实际实验中，将$l$和$s$的值分别设为2.00 mm和10.

在发生稳定接触后，使用基于自适应阈值的方法来提取显著点云${\boldsymbol{C}} \in {\bf{R}}^{M \times 3}$：

(8)$\left.\begin{split} &{\boldsymbol{C}} \Leftarrow {{{\boldsymbol{T}}}_i}\left[ j \right];{{{{D}}}_i}\left[ j \right] > \alpha d_i ，{\text{ }}j \in \left\{ {0,1,2, \cdots ,N} \right\}.\\&d_i = \max\;\left( {{{\boldsymbol{D}}}_i} \right).\end{split} \right\} $

式中：${{{\boldsymbol{T}}}_i}\left[ j \right]$为触觉点云${\boldsymbol{T}}$中的第$j$个触觉点，$ \Leftarrow $表示将${{{\boldsymbol{T}}}_i}\left[ j \right]$放入显著点云${\boldsymbol{C}}$的集合空间；$ {{{D}}_i}\left[ j \right] $为第$j$个触觉点的位移；$N$和$M$分别为原始触觉点云和显著点云中触觉点的个数；$\alpha $为自适应调节阈值的比值，在实际实验中，将$\alpha $设为0.2.

为了验证传感器结构和触觉感知算法的鲁棒性，设计定量实验来评估传感器三维触觉点云重建的精度. 实验平台如图9所示，将未添加标记点和涂层的传感器固定在基座上，在高精度三维直线导轨上固定探针，设定探针的移动轨迹，使得探针按照标记点的位置在传感器表面进行按压. 每个按压位置以0.5 mm的步长从0到4.0 mm的深度进行8次按压；一共设置397个按压位置. 每次按压时记录双目图像，并从中提取探针的中心位置. 使用标定过的RSRT模型对每次按压的点进行三维重建. 该过程重复5次，一共采集397×8×5=15 880组数据.

计算重建的三维点位置${{\boldsymbol{P}}_{{\text{es}}}}$和探针真值${{\boldsymbol{P}}_{{\text{gt}}}}$之间的欧氏距离，作为三维重建误差：

(9)$ {E_{\text{p}}} = {\left\| {{{\boldsymbol{P}}_{{\text{es}}}} - {{\boldsymbol{P}}_{{\text{gt}}}}} \right\|_2}. $

第r圈$\left( r=1,2, \cdots ,11\right) $不同按压位置的平均三维点云重建误差${E_{\text{m}}}$如表1所示. 每圈的平均误差在0.20 mm左右波动，总的平均误差为0.20 mm. 另外，前10圈位置的误差较小，最后1圈的误差较大，这可能是因为最外圈相机获取的视觉图像的畸变程度较大.

总结现有基于标记点的曲面视触觉传感器的性能数据，包括平均三维点云重建误差${E_{\text{m}}}$、标记点空间分辨率$R$、标记点数量$n$和标记点尺寸$z$，如表2所示. 与现有传感器相比，本研究提出的传感器在多个方面展现出显著优势：大多数现有传感器缺乏三维点云重建能力，而本研究提出的传感器能够实现高精度的三维触觉点云重建，感知精度达到0.20 mm；同时，实现了最高的标记点空间分辨率 (1.67~2.24 mm)，能够捕捉更细微的触觉形变；标记点数量显著多于现有传感器，标记点尺寸也足够小，为高精度触觉感知提供了更丰富的数据支持. 这些优势使得提出的传感器在复杂触觉感知任务中表现出色，为机器人触觉感知技术的发展提供了新的解决方案.

为了进一步验证传感器的性能和触觉感知算法的有效性，设计物体形状感知实验. 实验选用6种不同形状的3D打印物体、3种日常物品（如螺丝、剪刀、U盘）以及手指来验证传感器的形状感知性能. 首先，使用物体或手指分别在传感器表面施加不同大小的按压力，定性观察触觉感知算法在不同接触条件下提取的显著点云的变化情况，实验结果如图10所示. 图中，第1列展示感知实验中使用的物体实物图，其余列依次展示按压过程中在不同力作用下提取的显著点云. 可以看出，随着按压力的增大，物体与传感器表面的接触深度和接触面积逐渐增加，显著点云逐步覆盖更大的区域. 同时，提取的显著点云形状逐渐接近实际物体的轮廓，能够准确反映物体的三维几何形状特征. 这表明提出的触觉点云显著性检测算法在不同接触条件下具有良好的鲁棒性. 此外，实验结果还表明该算法对不同形状和材质的物体具有较强的泛化能力. 在面对具有复杂几何形状的3D打印物体时，算法依然能够准确提取关键的显著点云，且在按压过程中保持形状的连贯性和稳定性. 这一结果证明了本方法在复杂触觉感知任务中的广泛适用性，为机器人在真实环境中的触觉感知与操作奠定了坚实的基础.

为了验证传感器按压的最大感知范围，将图10中不同形状的3D打印物体安装在三维导轨末端对传感器的中心位置进行按压. 结果表明，最大按压深度可以达到10 mm. 为了定量观察传感器对不同形状物体的感知精度，对传感器的中心位置进行不同深度的按压. 其中，最大深度设置为10 mm，按压步长设置为2 mm. 每次按压时记录显著三维触觉点云${{\boldsymbol{S}}_{{\text{es}}}}$，将其与物体模型的真实点云${{\boldsymbol{S}}_{{\text{gt}}}}$进行比较，并计算平均欧氏距离误差：

(10)$ {E_{\text{s}}} = \frac{1}{{\left| {{{\boldsymbol{S}}_{{\text{es}}}}} \right|}}\sum\limits_{{\boldsymbol{p}} \in {{\boldsymbol{S}}_{{\text{es}}}}} {\mathop {\min }\limits_{{\boldsymbol{q}} \in {{\boldsymbol{S}}_{{\text{gt}}}}} {{\left\| {{\boldsymbol{p}} - {\boldsymbol{q}}} \right\|}_2}}. $

式中：${\boldsymbol{p}}$和${\boldsymbol{q}}$分别表示传感器估计的显著触觉点的三维坐标和物体模型的真值三维坐标.

实验结果如表3所示，其中d_p表示按压深度. 对于不同形状的物体，传感器的平均形状感知误差在0.20 mm左右波动，展现了其在不同物体上的稳定性能. 随着d_p的增加，平均误差略有上升，这可能是由凝胶模块在大形变范围内表现出的非线性特性所致. 尽管如此，传感器在所有实验条件下的总平均形状感知误差仅为0.21 mm，充分证明了其在物体形状感知任务中具有高精度和强鲁棒性，能够满足复杂触觉感知场景的需求.

另外，为了验证传感器感知的实时性，对传感器三维触觉点云的感知速度进行测试. 在双目相机帧率为30帧/s的情况下，三维触觉点云重建速度达到30帧/s. 这一帧率能够满足日常的实时性需求. 在大多数机器人触觉感知任务中（如物体抓取、表面探索），30帧/s的触觉点云重建帧率已经能够提供流畅的感知体验.

本研究提出了一种新颖的曲面手掌视触觉传感器，并针对其结构设计和算法进行全面的优化与验证. 首先，对传感器的凝胶模块进行改进，采用具有更大形变范围的半球形设计，使传感器具备更深的感知深度和更高的灵敏度，从而能够适应复杂的接触场景. 其次，三维触觉点云重建算法能够实现实时高精度的触觉感知. 另外，设计并实现了三维触觉点云显著性检测算法，用于自动提取显著接触点云. 该算法有效提高了触觉感知的效率和鲁棒性，能够稳定地在不同按压条件下提取出关键的触觉信息.

通过一系列三维触觉点云重建和形状感知实验，验证了改进后的传感器结构设计在复杂触觉感知任务中的稳定性，并证明了显著性检测算法在不同形状物体感知中的泛化能力和精确性. 实验结果表明，传感器能够以0.2 mm的精度感知触觉点云，最大按压深度可以达到10 mm. 重建的三维几何形状准确反映了物体的表面特征，展现了其在实际应用中的优越性能.

综上所述，本研究提出的曲面手掌视触觉传感器在结构设计、三维触觉点云重建和显著点云检测等方面取得了显著进展，为机器人在复杂环境下实现类人触觉感知提供了新的解决方案. 未来可以结合深度学习等机器学习方法，训练更高效的触觉模式识别模型，以增强触觉手掌对复杂触觉信息（如纹理识别、材质分类）的解析能力. 此外，将触觉手掌与其他感知模态（如视觉、力觉）相结合，构建多模态感知系统，可以进一步提升机器人对环境的综合理解能力. 例如，在机器人抓取任务中，触觉信息可以与视觉信息融合，实现更精确的物体定位与操作. 结合机器人的主动控制策略，研究传感器在物体形状主动探索、物体推动等任务中的应用也是重要研究方向之一. 通过设计智能触觉探索算法，机器人可以更高效地获取未知物体的几何与力学特性，为自主操作提供支持.