人体动作识别技术^[1]是指计算机算法从原始数据（如图像、视频等）中抽取和分析动作信息，从而识别出人体在三维空间场景中的行为与动作的技术. 基于人体骨架的动作识别算法具备抽象性高、鲁棒性好以及安全性高等天然优势，已成为动作识别领域中重要的研究热点. 其中，无监督的人体骨架动作识别算法^[2-4]无须人工标注即可实现训练，显著降低了成本，近年来受到了广泛关注.

基于无监督学习的人体骨架动作识别算法主要包括预训练与下游任务阶段，其中无监督预训练阶段是算法的核心. 研究人员通过设定一系列代理任务如骨架重建^[5]、潜在表示预测^[6]以及实例判别^[7]等，让模型在无标注数据上学习不同动作的骨架序列在时间与空间结构上的特点，输出具有区分性的骨架特征表示. 现有的无监督人体骨架动作表示学习方法一般基于对比学习方法^[2]及其改进方法^[3,8]，让模型学习不同增强样本间的特征一致性. 然而，无监督骨架编码器通常参数量较小，对于变化多样的复杂动作的编码能力有限，对于某些动作的识别准确度仍然欠佳，例如阅读、鼓掌等. 为此，一些近期的研究工作尝试引入大模型为骨架表示学习提供额外的辅助信息. Xiang等^[9]使用动作标签，为骨架样本生成文本描述. Qu等^[8]将标签文本作为大语言模型输出的监督信号，使用LoRA^[10]微调大语言模型，并将模型应用于下游分类任务. Zhu等^[11]结合生成的全局以及局部语义描述，设计自适应分区模块，对骨架序列的全局和局部特征进行语义对齐，从而在零样本动作识别任务中实现了高效的跨模态知识迁移. 虽然上述方法在性能上取得了一定提升，但是大模型生成的文本内容往往存在2类噪声：1）生成的动作描述与实际类别不匹配；2）生成的动作描述不包含任何动作区分性信息. 现有工作忽视了噪声文本对骨架表示学习的干扰，缺乏对噪声文本的识别和处理，最终限制了多模态大模型在骨架表示学习中发挥的作用.

为了解决大模型生成文本中存在的噪声问题，提出噪声鲁棒的无监督骨架表示学习方法，借助多模态大模型生成高质量文本以辅助骨架表示学习，进一步增强模型对精细动作的骨架表示学习能力. 为了保证大模型生成文本的正确性，并降低噪声文本对无监督骨架表示学习的干扰，提出联合噪声估计方法，对生成的动作描述文本进行质量分析，增强方法的噪声鲁棒性. 具体地，针对动作描述与实际类别不匹配的噪声样本，提出基于异常检测的噪声估计方法，通过计算集合内句子的语义相似度来识别出在语义上存在偏差的“离群”样本；针对不包含任何动作区分性信息的噪声文本，用信息熵衡量每个句子包含的信息量，将信息熵较大的句子视为“模糊”样本. 对于生成的每个描述文本，模型都从以上两方面进行噪声估计，最后综合样本中2种噪声的强度调整其在无监督训练时的权重. 通过在多个相关数据集上的实验，验证了2种噪声估计方法的有效性以及互补性.

基于多模态大模型的噪声鲁棒无监督人体骨架表示学习方法的整体框架如图1所示. 在先前无监督人体骨架编码器^[2]的基础上，利用大模型生成描述骨架动作的文本，以辅助表示学习，并通过联合噪声估计来优化学习目标，从而提升方法的噪声鲁棒性.

如图1所示，骨架模态与文本模态数据经各自的编码器处理后被投影至公共特征空间，并在该公共空间中进行无监督对比学习.

1）骨架模态输入. 将每个骨架模态的输入样本记为${\boldsymbol{x}} \in {{\bf{R}}^{{T_{\text{s}}} \times C \times V}}$，其中${T_{\text{s}}}$、$C$和$V$分别为帧数、通道数和关节点数.

2）动作描述文本生成. 如图1中多模态特征编码网络的左下部分所示，对于每个RGB视频，首先采用间隔采样法抽取视频关键帧，再使用Grounding DINO方法^[12]进行主体裁剪，并使用多模态大模型LLaVA^[13]生成动作描述^[14]. 对于每1个关键帧，生成1句关键帧的动作描述文本，记为${\boldsymbol{t}}$，该动作描述文本可以提供丰富的动作信息. 在此基础上，收集同一个视频生成的动作描述文本，记为文本集合${{T}} = {\{{\boldsymbol{t}}^1}, {{\boldsymbol{t}}^2}, \cdots ,{{\boldsymbol{t}}^G\}}$，其包含了$G$个不同的动作描述文本. 文本生成模块的参数保持冻结状态，不参与模型训练，以降低模型的训练开销. 此外，所有的描述文本仅用于训练阶段的骨架表示学习；在模型的推理阶段，仅使用骨架模态输入，不依赖于动作描述文本，以保证模型在推理阶段的计算效率.

3）公共空间映射. 在将骨架模态输入映射到同一维度的嵌入空间后，分别使用骨架编码器和文本编码器对骨架和2种文本模态进行编码，以获得骨架和文本模态的特征表示. 由于编码过程不是主要研究内容，将编码过程简化表示为

(1)$ {\boldsymbol{s}} = {g_{\text{s}}}({\mathrm{Skeleton}}\_{\mathrm{Encoder}}\;({\boldsymbol{x}})), $

(2)$ {\boldsymbol{l}} = {g_{\text{t}}}({\mathrm{Text}}\_{\mathrm{Encoder}}\;({\boldsymbol{t}})). $

式中：骨架、文本投影层${g_{\text{s}}}{\text{(}} \cdot )$、${g_{\text{t}}}( \cdot )$均为单线性映射层；${\boldsymbol{s}} \in {{\bf{R}}^{{D_{{\text{dc}}}}}}$为投影后的归一化骨架特征表示；${\boldsymbol{l}} \in {{\bf{R}}^{G \times {D_{{\text{dc}}}}}}$为投影后归一化的文本特征表示；${\text{Skeleton}}\_ {\text{Encoder}}( \cdot )$表示骨架编码器对特征的处理，其编码策略与先前工作^[2]相同；${\text{Text}}\_{\text{Encoder}}( \cdot )$表示完全冻结的预训练文本编码器对特征的处理.

一些细节信息在骨架输入中区分度较低，而在文本输入中具有明显的差异，因此使用额外文本特征作为骨架编码器的监督学习信号. 以实例判别任务为代理任务，利用文本模态特有的辨别性信息指导骨架编码器的表示学习. 经过文本、骨架编码以及公共编码空间映射，可以得到骨架特征${\boldsymbol{S}} \in {{\bf{R}}^{N \times {D_{{\text{dc}}}}}}$和文本特征${\boldsymbol{L}} \in {{\bf{R}}^{N \times G \times {D_{{\text{dc}}}}}}$，其中$N$为1个批次中的骨架样本数目，每个骨架样本特征对应$G$个动作文本描述特征. 采用归一化温标交叉熵损失函数^[15]进行参数优化，提升骨架与对应动作文本描述之间的相似度，并最小化该骨架与其他骨架的动作文本描述相似性，学习目标为

(3)$ \mathcal{L}_{\mathrm{CL}}\left(\boldsymbol{S}, \boldsymbol{L}, \boldsymbol{I}_{\mathrm{B}}\right)=-\displaystyle\sum_{j=1}^G I_{\mathrm{B}}^{i j} \ln \dfrac{\exp \left(\operatorname{sim}\left(\boldsymbol{S}_i \cdot \boldsymbol{L}_i^j\right) / \tau\right)}{\displaystyle\sum_{k=1, k \neq i}^N \exp \left(\operatorname{sim}\left(\boldsymbol{S}_i \cdot \boldsymbol{L}_k^j\right) / \tau\right)} . $

式中：${{\boldsymbol{S}}_i}$为批次内第$i$个骨架样本，${\boldsymbol{L}}_i^j$、$\boldsymbol{L}_k^j $为第$i$、$k $组文本描述的第$j$个动作描述，$\tau $为温度系数，${\text{sim }}( \cdot , \cdot )$为余弦相似度计算函数，${{\boldsymbol{ I}}_{\mathrm{B}}}$为骨架特征与文本特征之间的原始硬标签，$I_{\mathrm{B}}^{ij}$为对应样本的原始权重.

大模型生成的文本往往面临着潜在的噪声问题，因此提出基于异常样本检测与信息熵的联合噪声估计方法. 前者利用文本编码器本身对语义空间中离群的动作描述文本进行评估，后者对批次内描述文本的信息熵进行评估. 将2种方法的估计结果与原始标签进行线性融合，得到噪声鲁棒的新优化学习目标.

对于每一个骨架样本，利用多模态大模型生成包含$G$个句子的描述文本集合. 由于每个集合内的句子描述的是同一个骨架，集合内所有句子在语义上十分接近，即拥有较小的语义距离. 如果某个句子和其他句子的语义存在明显差异，那么该句子有较大概率是带有噪声的. 基于此假设，提出基于异常样本检测的噪声估计方法，利用冻结的预训练文本编码器获取所有句子的语义表示，找出每个集合内“离群”的动作文本描述并加以区分.

具体来说，采用余弦相似度函数衡量句子间的语义距离，得到文本间相似度矩阵$ \boldsymbol{W}=\boldsymbol{L} \boldsymbol{L}^{\mathrm{T}} /\|\boldsymbol{L}\|_2^2$；$\boldsymbol{W} \in \mathbf{R}^{N \times G \times G}$为某一骨架样本对应的所有动作文本描述之间两两计算得到的余弦相似度. 如图2所示，当集合内多数描述文本均含有近似的动作信息时，语义空间中少量的离群样本与其他样本之间存在较大的平均距离.

为了简单、高效地估计样本的离群程度，计算骨架样本数据中每个文本描述与其他文本描述之间的平均余弦相似度：

(4)$ \boldsymbol{I}_{\mathrm{L}}=\dfrac{1}{G} \displaystyle\sum_{k=1}^G \boldsymbol{W}_{[:,:, k]}. $

式中：$\boldsymbol{I}_{\mathrm{L}} \in \mathbf{R}^{N \times G}$为每个文本与组内其他$G - 1$个文本之间的平均余弦相似度；$ \boldsymbol{W}_{[:,:, k]}$表示对三维张量$\boldsymbol{W} \in \mathbf{R}^{N \times G \times G}$进行切片，取出第1~3维中所有索引为k的元素. 由于平均余弦相似度可以反映离群样本与其他样本的差异，可以将${{\boldsymbol{I}}_{\text{L}}}$作为模型优化时的学习目标之一.

如果某个句子的语义表示与多个不同骨架表示的相似度均为较高值，说明该句子的描述十分笼统、模糊，无法准确地对应某个特定动作. 由于模糊样本不能为无监督骨架表示学习提供精细化的动作描述，且会降低训练效率，有必要在训练过程中识别出这些低质量的模糊样本，降低其对模型训练的影响. 采用信息熵来衡量句子$ {\boldsymbol{t}} $所包含的信息量：

(5)$ H(\boldsymbol{t})=-\displaystyle\sum_{i=1}^N p_i(\boldsymbol{t}) \ln p_i(\boldsymbol{t}). $

式中：${p_i}(\boldsymbol{t})$为句子$\boldsymbol{t}$匹配第$i$个骨架动作的概率. 当概率分布$\left\{ {p_1}(\boldsymbol{t}),{p_2}(\boldsymbol{t}), \cdots ,{p_N}(\boldsymbol{t})\right\} $趋向于均匀分布时，信息熵$H(\boldsymbol{t})$的值较大，表明句子$\boldsymbol{t}$所包含的动作信息较少. 根据此规律，提出基于信息熵的噪声估计方法，如图3所示. 该方法通过计算当前动作描述文本与批次内所有骨架的相似度，得到该动作描述文本的归一化信息熵. 该信息熵可以衡量当前文本与批次内所有骨架之间的分布是否具有确定性：如果当前动作描述文本表示与批次内骨架样本表示均相似，则信息熵接近于1；如果与某些特定的骨架样本表示之间具有较大的相似度，而与其他骨架表示的相似度较小，则信息熵的值接近于0.

用$\boldsymbol{P}(\boldsymbol{L}, \boldsymbol{S}) \in \mathbf{R}^{N \times G \times N}$表示批次内每个句子与骨架表示之间的匹配概率：

(6)$ \boldsymbol{P}(\boldsymbol{L}, \boldsymbol{S})=\rho\left(\dfrac{\boldsymbol{L} \boldsymbol{S}^{\mathrm{T}}}{\|\boldsymbol{L}\|_2\cdot \|\boldsymbol{S}\|_2}\right). $

式中：$\rho ( \cdot )$为标准指数归一化函数. 动作描述文本与批次内所有骨架样本之间的信息熵${\boldsymbol{H}}(\boldsymbol{L}, \boldsymbol{S})$的计算公式为

(7)$ \boldsymbol{H}(\boldsymbol{L}, \boldsymbol{S})=-\dfrac{\displaystyle{\sum}_{i=1}^N \boldsymbol{P}_{[:,:, i]}(\boldsymbol{L}, \boldsymbol{S}) \ln \left(\boldsymbol{P}_{[:,:, i]}(\boldsymbol{L}, \boldsymbol{S})\right)}{\ln N} . $

信息熵越大，表明该句子所包含的信息量越少，因此执行取反操作，并填充负样本学习目标后，可以得到基于信息熵的噪声估计学习目标$\boldsymbol{I}_{\mathrm{E}} \in \mathbf{R}^{N \times G}$：

(8)$ \boldsymbol{I}_{\mathrm{E}}={1}-\boldsymbol{H}(\boldsymbol{L}, \boldsymbol{S}) . $

将上述噪声指标${{\boldsymbol{I}}_{\mathrm{L}}}$、${{\boldsymbol{I}}_{\mathrm{E}}}$与文本-骨架匹配标签${{\boldsymbol{I}}_{\mathrm{B}}}$进行融合，得到噪声鲁棒的学习目标为

(9)$ \tilde{\boldsymbol{I}}=(1-\alpha-\beta) \boldsymbol{I}_{\mathrm{B}}+\alpha \boldsymbol{I}_{\mathrm{L}}+\beta \boldsymbol{I}_{\mathrm{E}} . $

式中：$\alpha $、$\beta $为超参数. 通过上述方式，提出的噪声估计方法能够利用文本编码器以及骨架编码器的记忆效应筛选并剔除有噪声的动作文本描述，从而为骨架编码器的学习提供更加有效的学习目标，降低噪声带来的负面影响.

骨架与文本在表示学习之初尚未对齐，因而在文本辅助的骨架表示学习过程中，过早地引入联合噪声估计方法不能很好地区分噪声样本与正常样本，反而会影响骨架表示学习的质量. 受Andonian等^[16]工作的启发，采用渐进式学习策略来逐步适应来自文本模态的监督信号. 具体来说，在训练时将批次内样本分为2部分，一部分使用原始对应关系${\boldsymbol{I}_{\mathrm{B}}}$进行训练，另一部分采用联合噪声估计方法生成的噪声鲁棒的学习目标${\tilde {\boldsymbol{I}}}$进行优化，其中使用学习目标${\tilde{\boldsymbol{I}}}$的数据比重随着训练轮次的增加不断增大，具体过程如下.

通过定义超参数$ {\alpha _0} $，将当前骨架批次划分为规模为${N_{\mathrm{h}}}$与${N_{\mathrm{s}}}$的2部分：

(10)$ {N_{\text{h}}} = {\alpha _0}N,\;\; {N_{\text{s}}} = N - {\alpha _0}N. $

经过上述数据划分，最终噪声鲁棒的人体骨架表示学习损失函数为

(11)$ \mathcal{L}_{\mathrm{h}}=\mathcal{L}_{{\mathrm{C L}}}\left(\overline{\boldsymbol{S}}, \boldsymbol{L}, \boldsymbol{I}_{\mathrm{B}}\right) ,\;\; \mathcal{L}_{\mathrm{s}}=\mathcal{L}_{{\mathrm{C L}}}(\underline{\boldsymbol{S}}, \boldsymbol{L}, \tilde{\boldsymbol{I}}),$

(12)$ \mathcal{L}=\alpha_0 \mathcal{L}_{\mathrm{h}}+\left(1-\alpha_0\right) \mathcal{L}_{\mathrm{s}} . $

式中：$\overline{\boldsymbol{S}} \in \mathbf{R}^{N_{\mathrm{h}} \times D} $、$ \underline{\boldsymbol{S}} \in \mathbf{R}^{N_{\mathrm{s}} \times D}$分别对应于规模为$ {N}_{{\mathrm{h}}} $与$ {N}_{{\mathrm{s}}} $的骨架数据. 值得注意的是，为了保证模型在训练以及推理阶段的计算效率，文本生成与编码分支的参数始终处于冻结状态，不对其进行任何优化. 此外，模型仅在训练阶段使用文本数据来辅助模型理解并进行文本去噪，在推理阶段只使用骨架数据，从而保证模型在实际应用中的计算效率.

参照先前的研究工作^[2,17]，选用3个被广泛使用的数据集：NTU RGB+D 60^[18]、NTU RGB+D 120^[19]与PKU-MMD^[20]. 其中，NTU RGB+D 60数据集提供2种标准评估设置：跨视角（x-view）设置，利用3台呈120度环形布设的摄像机采集数据，其中视角2、3下采集的数据构成训练集，视角1的数据作为测试集；跨受试者（x-sub）设置，将50%受试者的动作样本作为训练数据，剩余受试者的数据用于测试. NTU RGB+D 120数据集将行为类别扩展至120种，涵盖113945个动作实例，在32种实验配置下对106名受试者完成采集. 该数据集新增了跨配置（x-setup）评估设置，即采用偶数序号的配置样本构建训练集，将奇数配置样本构成测试集. PKU-MMD数据集最初专为动作检测任务构建，现已成为无监督骨架表示学习研究中的主流评估数据集，包含I、II 2个子集. 其中PKU-MMD II涵盖51类行为，共7 000个运动序列，每个动作类别的数据采集自1或2名受试者，因显著的视角多样性而具有更高的挑战性，被广泛应用于相关研究工作.

骨架动作识别是用于评估无监督骨架表示学习效果的重要任务之一.具体流程为：将无监督训练模型的代理任务投影头去除，并冻结整个模型，在此冻结模型的输出层之后添加1层全连接层作为分类头，并在训练集上对分类头进行微调，最后在测试集上测试骨架动作分类的Top-1准确率.

在骨架动作检索任务中，通过计算模型输出的骨架序列表示之间的余弦相似度，从所有样本中检索最相似的动作，评估二者所属的动作类别是否相同. 显然，骨架动作检索性能反映了模型在表示学习阶段学习到的特征质量.

表1总结了不同模型在多个骨架数据集上进行人体骨架动作识别的结果. 其中，A为Top-1准确率，NTU RGB+D 60、NTU RGB+D 120以及PKU-MMD II数据集分别被简写为N60、N120和P-II，x-sub、x-view和x-setup为不同的评估设置. 在无监督学习的设定下，提出的方法在性能上以显著的优势超越了其他同类工作. 现有方法中性能最优的模型C²VL^[14]也使用了多模态大模型，除人体骨架序列模态外，还额外使用了视觉与文本模态信号，用于无监督表示学习. 所提文本辅助学习方法的Top-1准确率显著超越了C²VL，证明了噪声评估后的文本模态信号优于C²VL使用的“视觉+文本”信号.

表2总结了所提方法与先进无监督骨架表示学习方法在骨架检索任务上的性能比较结果. 与其他方法相比，所提方法在NTU RGB+D 60和NTU RGB+D 120数据集上的性能均有较大幅度的提升. 这意味着噪声评估后的动作描述文本可以为骨架动作识别提供高质量的监督信号，使得人体骨架特征表示具备更明显的差异性，从而使模型可以更好地区分不同类别的动作.

针对半监督学习，实验遵循文献[2]中的设置，采用NTU RGB+D 60数据集. 为了深入探索不同方法在半监督学习中的性能，随机抽取不同比例（1%、10%）的标注数据参与模型训练. 表3展示了不同设置下的Top-1准确率，其中r_s、r_v分别为x-sub、x-view设置下的标注数据比例. 可以看出，提出的方法在不同数据集以及标注数据比例下均显著优于对比方法. 值得注意的是，相较于10%的标注数据，当仅使用1%的标注数据时本研究方法相对于其他方法的优势更加显著. 这一现象意味着当资源受限时，多模态大模型提供的动作描述文本可以为训练提供关键的动作信息，有效缓解了标注数据稀缺对模型性能带来的负面影响.

通过迁移学习范式对模型的跨数据集泛化性能展开验证. 在实验过程中，模型首先在源数据集上进行无监督表示学习，随后在目标数据集上进行骨架动作识别性能评估. 所有评估均在x-sub设置下实施. 实验结果详见表4，其中N60、N120分别表示以NTU RGB+D 60、NTU RGB+D 120为源数据集. 可以看出，所提方法以明显的性能优势超越了其他方法，充分证实了所提方法即使在跨场景的情况下，也能够更有效地捕获固定的骨架运动模式，并将其应用于骨架动作分类.

为了讨论噪声估计方法的失效边界，考虑到生成文本的错误率难以精确统计，设计简单实验：将不同比例的生成文本替换为随机的错误文本，测试去噪方法在这种情况下能否正常工作. 实验结果表5所示，其中基线模型舍弃了骨架-文本配对损失，因此其性能不受文本质量的影响；r_t为随机文本比例. 随着随机文本比例的上升，所提方法的性能逐步下降. 当90%的文本为错误文本时，所提方法的动作识别准确率为78.8%，接近于基线模型的78.7%. 由于使用了联合噪声估计方法，即使文本错误比例很高，也并未使模型性能受到严重影响而导致模型崩溃，且始终优于不使用文本进行训练的基线模型的性能.

为了验证所提方法中不同模态的输入数据的重要性，在NTU RGB+D 120数据集上进行消融实验，下游任务为骨架动作识别. 实验结果见表6. 当仅使用文本模态作为监督信号进行训练时，模型在骨架动作识别任务上的性能较低，其原因是缺乏来自骨架间表示学习的监督信号. 加上骨架模态后，模型性能达到了最佳，这表明骨架模态对于无监督骨架表示学习而言不可或缺，而加入文本模态的监督信号可以为骨架表示学习提供额外的补充信息.

为了探讨基于异常样本检测的噪声估计方法（记为方法1）与基于信息熵的噪声估计方法（记为方法2）的有效性，在NTU RGB+D 120数据集上进行消融实验，下游任务为骨架动作识别. 实验结果如表7所示. 当引入大模型生成的文本t而忽略噪声问题时，模型性能相较于不使用外部文本的基线模型进一步降低，说明使用未经筛选的噪声文本对于训练反而是有害的. 而在基线模型上使用不同的文本噪声估计方法均实现了性能提升，其中基于信息熵的方法带来的提升效果更为明显. 当同时使用2种方法进行噪声估计时，模型性能得到进一步提升，证明了2种噪声估计方法的互补性.

提出基于多模态大模型的噪声鲁棒骨架表示学习方法，引入多模态大模型生成的动作文本描述，以辅助无监督人体骨架表示学习. 针对动作文本描述中包含噪声的问题，提出联合噪声估计方法，为辅助学习筛选出更有区分性的文本. 在多个数据集上的实验结果表明，联合噪声估计方法与多模态大模型共同为骨架表示学习提供了强有力的支撑，提升了表示学习的质量. 通过实验发现，提出的多模态大模型辅助训练也可以与其他先进的骨架表示学习模型相结合，进一步提升其生成的骨架特征质量. 提出的方法为骨架动作识别领域提供了由大模型指导的无监督且噪声鲁棒的解决方案；此外，其中的噪声估计方法具有通用性，可以被拓展至其他相关领域.