多模态会话情感识别(multimodal emotion recognition in conversation, MERC)是自然语言处理领域中的重要任务^[1]，目的是识别说话人的情感状态. MERC任务在推荐系统^[2-3]、社交媒体分析^[4-5]、人机交互^[6-7]等应用场景中具有广泛的应用价值，逐渐受到工业界和学术界的关注^[8].

MERC任务面临两大核心挑战，一是上下文信息的精准提取，二是多模态特征的有效融合. 图神经网络(graph neural network, GNN)强大的关系建模能力被用于捕捉更灵活和丰富的上下文结构^[1]. 例如，Ghosal等^[9-11]通过构建全连接图来传递全局信息. 这种做法忽略了会话中并非所有话语都存在强关联，往往会引入噪声干扰. 有研究者为此构建有向无环图，建模说话人之间及自身话语间的情感依赖^[12-13]. 这种方法过度依赖说话人关系，未能充分整合其他潜在语义线索，导致上下文信息提取不够全面. 可见，现有方法在精细化建模多角度上下文信息方面仍存在不足. 在多模态特征融合方面，早期方法仅将多模态信息进行简单相加或拼接^[14]，未能模拟复杂的跨模态交互. 多模态融合方法被引入Transformer结构^[15-19]，利用自注意力机制促进跨模态信息交互. 这在一定程度上增强了融合能力，但不同模态的特征源自独立编码器，直接交互易引入噪声和冗余信息，从而影响融合效果. 此外，传统Transformer中的多头注意力机制默认所有注意力头具有同等重要性，忽略了表征能力的差异，导致低质量的注意力矩阵对模型性能产生负面影响.

本研究1）提出多视角解耦融合(multi-view decoupled fusion, MDF)框架，设计多视图上下文提取模块，从说话人信息、话语顺序以及目标话语的邻近上下文等多个视角，全面捕捉从近距离到远距离的情感线索. 2）结合有监督和无监督的学习策略，优化特征表示空间，以增强情感识别的准确性和鲁棒性. 3）在多模态融合阶段，提出多视角模态解耦融合模块，在不同模态视角下进行信息互补. 4）在融合过程中，引入Top-K掩码机制来过滤无关或冗余信息，结合注意力头重要性学习，自适应地调整各注意力头的贡献，从而显著提升融合质量和模型表达能力. 5）通过上述多视角解耦机制的协同作用，解决现有方法在上下文建模全面性与模态交互鲁棒性方面的局限，为提升复杂会话场景下的情感识别性能提供新的研究视角与技术路径.

Ghosal等^[9]提出对话图卷积网络(dialogue graph convolutional network, DialogueGCN)，通过建模说话人内部及说话人间的语境依赖，为会话建模引入图结构. Ishiwatari等^[20]提出关系图注意力网络(relational graph attention networks, RGAT)，通过引入关系位置编码，增强了图结构中的时序信息，实现了结构信息与序列信息的结合. Hu等^[10]提出多模态融合图卷积网络(multimodal fused graph convolutional network, MMGCN)，在会话图中引入多模态特征节点，使模型能够同时建模模态间依赖与说话人间结构关系. 为了提升信息传递的方向性，Shen等^[12]提出有向无环图(directed acyclic graph, DAG)情感识别模型DAG-ERC，利用说话人身份和位置关系构建DAG，从而模拟上下文信息流. 在此基础上，Nguyen等^[13]将DAG构图策略扩展至多模态任务中，提出多模态DAG课程学习模型MultiDAG+CL，结合课程学习机制(curriculum learning, CL)提升对情绪转变和数据不平衡的鲁棒性. Hu等^[11]提出多模态动态融合网络(multimodal dynamic fusion network, MM-DFN)，通过动态调整融合图结构，缓解模态冗余问题，增强了语义表达. Tu等^[21]提出自适应交互图网络(adaptive interactive graph network, AdaIGN)，引入Gumbel Softmax和节点边选择机制，从图结构本身出发，实现信息交互的自适应优化. Li等^[22]提出基于图结构的新型端到端ERC模型——FrameERC.

Li等^[15]提出基于Transformer的上下文与说话人敏感的会话情感检测模型(Transformer-based context- and speaker-sensitive model, HiTrans)，用于建模局部与全局上下文. Lian等^[16]提出对话Transformer网络(conversational Transformer network, CTNet)，利用Transformer结构建模模态内和跨模态交互. Li等^[23]引入情感胶囊模型(emotion capsule-based model, EmoCaps)，通过情感向量重构多模态特征，并结合上下文分析，进一步提升模型的分类性能. Yang等^[24]提出自适应上下文与模态交互建模框架(self-adaptive context and modal-interaction modeling, SCMM) ，通过Transformer的结构建模全局信息. Ma等^[18]提出基于自蒸馏的Transformer多模态会话情感识别模型(Transformer-based model with self-distillation, SDT)，通过Transformer捕获模态内和模态间的交互，利用分层门控融合模块动态地为每个模块派生特定于任务的增强表示. Zhang等^[17]提出跨模态上下文融合与语义细化网络(cross-modality context fusion and semantic refinement network, CMCF-SRNet)，设计跨模态局部约束Transformer，用于研究多个模态交互.

如图1所示，MDF由话语编码器、多视图上下文提取模块、特征对齐、多视角模态解耦融合和情感分类器构成.

给定一段由$ N\geqslant 2 $句话语组成的会话序列$ D = \{{u}_{1},{u}_{2},\cdots,{u}_{N}\} $，会话由$ M\geqslant 2 $个说话人参与，第i句话语对应说话人$ {s}_{i} $. 此外，每句话语有音频、文本和视觉3种模态的信息，第$ i $句话语$ {u}_{i}=\{\boldsymbol{u}_{i}^{a},\boldsymbol{u}_{i}^{t},\boldsymbol{u}_{i}^{v}\} $. 音频特征$ \boldsymbol{u}_{i}^{a}\in {{R}}^{{{d}_{a}}} $利用OpenSmile^[25]提取，文本特征$ \boldsymbol{u}_{i}^{t}\in {{R}}^{{{d}_{t}}} $利用RoBERTa^[26]提取，视觉特征$ \boldsymbol{u}_{i}^{v}\in {{R}}^{{{d}_{v}}} $利用DenseNet^[27]提取. MERC的任务是通过处理多模态信息来识别会话中每句话语的情感状态.

将3个模态的输入映射到同一维度，采用BiGRU对每个模态的话语序列编码：

(1)$ {\tilde{\boldsymbol{x}}}_{i}^{m},\boldsymbol{c}_{i}^{m}={\mathrm{BiGRU}}^{m}(\boldsymbol{W}_{0}^{m}\boldsymbol{u}_{i}^{m}+\boldsymbol{b}_{0}^{m},\boldsymbol{c}_{i-1}^{m}). $

式中：$ m=\left\{a,v,t\right\} $为模态；$ {\tilde{\boldsymbol{x}}}_{i}^{m} $与$ \boldsymbol{c}_{i}^{m}\in {{R}}^{{{d}_{0}}} $分别为BiGRU在$ m $模态下第$ i $句话的输出和隐藏状态. 在每个模态中加入说话人信息^[18]：

(2)$ \boldsymbol{x}_{i}^{m}={\tilde{\boldsymbol{x}}}_{i}^{m}+{\omega }^{m}\boldsymbol{W}_{s}^{m}{o}({s}_{i}). $

式中：$ {\omega }^{m} $为超参数，表示$ m $模态下的说话者信息的权重；$ \boldsymbol{W}_{s}^{m}\in {{R}}^{{{d}_{0}}\times M} $为可训练的说话人参数矩阵；$ {o}({s}_{i})\in {{R}}^{M} $为第$ i $句话说话人的one-hot编码；$ {\boldsymbol{X}}^{m}=\left\{\boldsymbol{x}_{1}^{m},\boldsymbol{x}_{2}^{m},\cdots,\boldsymbol{x}_{N}^{m}\right\}\in {{R}}^{N\times {{d}_{0}}} $为会话序列.

话语情感受多因素影响，如自身内容及上下文语境、说话人身份. 为此设计多视图上下文提取（multi-view context extraction, MCE）模块来捕捉话语间复杂情感的动态变化，该模块的算法如算法1所示. 具体来说，通过构建多个基于距离的信息通道，形成不同“视图”，确保从前1句话到前$ D $句话之间的上下文信息均被充分整合. 多视角上下文提取结构在3个模态中共享，本节以文本模态为例，说明MCE模块的构建方式与信息交互机制.

算法1　多视图上下文提取算法

输入：$ m $模态下特征$ {\boldsymbol{H}}^{0}\in {{R}}^{N\times {{d}_{1}}} $、视图层数$ D $

1. 初始化第0层特征$ {\boldsymbol{H}}^{0}\leftarrow \mathrm{FC}\;({\boldsymbol{X}}^{t}) $

2. 　for $ d=1\rightarrow D $ do

3. 　　利用静态GRUCell捕捉第$ d $层中第$ 1 $句话的静态状态表示，$ \boldsymbol{s}_{{1}}^{d}\leftarrow \mathrm{GRUCell}\left(\boldsymbol{W}_{{\mathrm{s}}}^{m}\left[\boldsymbol{h}_{{1}}^{{0}}||\mathbf{0}\right]\right) $

4. 　　利用动态GRUCell捕捉第$ d $层中第$ 1 $句话的动态状态表示$ \boldsymbol{d}_{{1}}^{d}\leftarrow \mathrm{GRUCell}\left(\boldsymbol{W}_{{\mathrm{d}}}^{m}\left[\boldsymbol{h}_{{1}}^{d-{1}}||\mathbf{0}\right]\right) $

5. 　　得到第$ d $层第$ 1 $句话的表示$ \boldsymbol{h}_{0}^{d}\leftarrow \boldsymbol{s}_{0}^{d}+\boldsymbol{d}_{0}^{d} $

6. 　　for $ i=2\rightarrow N $ do

7. 　　　根据传递规则聚合历史上下文信息$ \boldsymbol{g}_{i}^{d}\leftarrow \boldsymbol{\alpha }_{i,i}^{d}\boldsymbol{h}_{i}^{d-1}+\boldsymbol{\alpha }_{i,j}^{d}\boldsymbol{h}_{j}^{d}+\boldsymbol{\alpha }_{i,k}^{d}\boldsymbol{h}_{k}^{d} $

8. 　　　利用静态GRUCell捕捉第$ i $句话的静态信息$ \boldsymbol{s}_{i}^{d}\leftarrow \mathrm{GRUCell}\left(\boldsymbol{g}_{i}^{d},\boldsymbol{W}_{{\mathrm{s}}}^{m}\left[\boldsymbol{h}_{i}^{0}||\boldsymbol{s}_{i-1}^{d}\right]\right) $

9. 　　　利用动态GRUCell捕捉第$ i $句话的动态信息$ \boldsymbol{d}_{i}^{d}\leftarrow \mathrm{GRUCell}\left(\boldsymbol{g}_{i}^{{d}},\boldsymbol{W}_{{\mathrm{d}}}^{m}\left[\boldsymbol{h}_{i}^{d-1}||\boldsymbol{d}_{i-1}^{d}\right]\right) $

10. 　　得到第$ i $句话的表示$ \boldsymbol{h}_{i}^{d}\leftarrow \boldsymbol{s}_{i}^{d}+\boldsymbol{d}_{i}^{d} $

11. 　end for

12. 　end for

13. 拼接所有层的输出$ {\boldsymbol{Y}}^{m}\leftarrow \left[{\boldsymbol{H}}^{0}||{\boldsymbol{H}}^{1}||\cdots ||{\boldsymbol{H}}^{D}\right] $

输出：$ m $模态下多视角融合后的表示$ {\boldsymbol{Y}}^{m}\in {{R}}^{N\times d} $

通过文本模态下的表示$ {\boldsymbol{X}}^{m} $获得初始视图下每句话语的表示：

(3)$ {\boldsymbol{H}}^{0}=\mathrm{FC}\;({\boldsymbol{X}}^{t}). $

式中：$ {\boldsymbol{H}}^{0}=\left\{\boldsymbol{h}_{1}^{0},\boldsymbol{h}_{2}^{0},\cdots,\boldsymbol{h}_{N}^{0}\right\}\in {{R}}^{N\times {{d}_{1}}} $为文本模态下通过全连接网络FC得到的初始视图下的表示. 对于第$ d $个视图$ (1\leqslant d\leqslant D) $，设计3条传递规则来决定传递到第$ i $句话的话语：1)第$ i $句话上的第$ d-1 $个视图的信息传递到第$ d $个视图；2)在第$ d $个视图下，第j句话的信息传递到下一句与第$ j $句话相同说话人的第$ i $句话，其中$ j \lt i $；3)在第$ d $个视图下，第$ k $句话语的信息传递到第$ i $句话语，其中$ i=k+d $. 以第1层和第2层为例，为多距离视图构建规则如图2所示. 根据以上的信息传递规则可以得到第$ i $句话语在第$ d $个视图下的上下文交互表示：

(4)$ \boldsymbol{g}_{i}^{d}=\boldsymbol{\alpha }_{i,i}^{d}\boldsymbol{h}_{i}^{d-1}+\boldsymbol{\alpha }_{i,j}^{d}\boldsymbol{h}_{j}^{d}+\boldsymbol{\alpha }_{i,k}^{d}\boldsymbol{h}_{k}^{d}. $

式中：$ \boldsymbol{\alpha }_{i,i}^{d} $、$ \boldsymbol{\alpha }_{i,j}^{d} $和$ \boldsymbol{\alpha }_{i,k}^{d}\in {{R}}^{d\times d} $均为通过注意力学习到的权重，$ \boldsymbol{\alpha }_{i,i}^{d}+\boldsymbol{\alpha }_{i,j}^{d}+\boldsymbol{\alpha }_{i,k}^{d}=1 $.

该子模块主要由2个结构构成：1）静态GRUCell用于促进第$ d $个视图与初始视图间的交互；2）动态GRUCell用于促进第$ d-1 $个视图与第$ d $个图之间的交互. 前者旨在引导每一层视图在演化过程中持续保留初始视图下的话语语义；后者动态捕捉连续视图之间的信息传递变化. 通过视图间的交互得到第$ d $个视图下第$ i $句话语的表示：

(5)$ \boldsymbol{s}_{i}^{d}=\mathrm{GRUCell}\left(\boldsymbol{g}_{i}^{d},\boldsymbol{W}_{{\mathrm{s}}}^{m}\left[\boldsymbol{h}_{i}^{0}||\boldsymbol{s}_{i-1}^{d}\right]\right), $

(6)$ \boldsymbol{d}_{i}^{d}=\mathrm{GRUCell}\left(\boldsymbol{g}_{i}^{d},\boldsymbol{W}_{{\mathrm{d}}}^{m}\left[\boldsymbol{h}_{i}^{d-1}||\boldsymbol{d}_{i-1}^{d}\right]\right), $

(7)$ \boldsymbol{h}_{i}^{d}=\boldsymbol{s}_{i}^{d}+\boldsymbol{d}_{i}^{d}. $

式中：$ \boldsymbol{W}_{{\mathrm{s}}}^{m} $和$ \boldsymbol{W}_{{\mathrm{d}}}^{m}\in {{R}}^{d\times 2d} $均为可学习的参数. 将$ D+1 $个视图的表示拼接起来，得到文本模态下第$ i $句话语的序列表示：

(8)$ {\boldsymbol{Y}}^{t}=\left[{\boldsymbol{H}}^{0}||{\boldsymbol{H}}^{1}||\cdots||{\boldsymbol{H}}^{D}\right]. $

其中$ || $表示拼接操作. 同样地，得到音频和视觉模态的序列表示. 因此$ m $模态下的表示记为$ {\boldsymbol{Y}}^{m}= \left\{\boldsymbol{y}_{1}^{m},\boldsymbol{y}_{2}^{m},\cdots,\boldsymbol{y}_{N}^{m}\right\}\in {\mathbf{R}}^{N\times d} $.

为了进一步提升模型效果，在融合多模态特征之前，引入无监督模态对齐和有监督语义增强学习策略，进行特征对齐. 前者有效增强不同模态间相同语义信息的一致性，后者提升同一情感类别内特征的紧致性，从而提高模型整体的判别能力. 无监督学习用于实现模态间的对齐，有监督学习用于在单模态内部对齐同类标签的话语表示. 通过特征对齐模块来增强跨模态与标签内的特征一致性.

同一话语在不同模态下的特征表示视为正样本对，不同话语间的模态特征视为负样本对. 损失函数定义如下：

(9)$ \mathrm{sim}\;({\boldsymbol{l}}_{1},{\boldsymbol{l}}_{2})=\exp\; (({\boldsymbol{l}}_{1}\cdot \boldsymbol{l}_{2}^{\mathrm{T}})/\tau ), $

(10)$ L_{{\mathrm{u}}}^{m,m'}=-\frac{1}{N}\sum \limits_{i=1}^{N}\log \frac{\mathrm{sim}\;(\boldsymbol{y}_{i}^{m},\boldsymbol{y}_{i}^{m'})}{{\displaystyle\sum }_{j}{{I}}_{j\neq i}\mathrm{sim}\;(\boldsymbol{y}_{i}^{m},\boldsymbol{y}_{j}^{m'})}, $

(11)$ {L}_{{\mathrm{u}}}=L_{{\mathrm{u}}}^{a,v}+L_{{\mathrm{u}}}^{a,t}+L_{{\mathrm{u}}}^{t,v}. $

式中：$ \tau $为相似度缩放因子；$ {{I}}_{j\neq i} $为指示标志，当$ j\neq i $时取值为1，否则为0.

同一模态下，标签相同的话语对构建为正样本对，标签不同的话语对作为负样本对. 损失函数定义如下：

(12)$L_{{\mathrm{s}}}^{m}=-\frac{1}{N}\sum \limits_{i=1}^{N}\frac{1}{|P(i)|}\sum \limits_{p\in P(i)}\log \frac{\mathrm{sim}\;(\boldsymbol{y}_{i}^{m},\boldsymbol{y}_{p}^{m})}{{\displaystyle\sum }_{k}{{I}}_{k\neq i}\mathrm{sim}\;(\boldsymbol{y}_{i}^{m},\boldsymbol{y}_{k}^{m})}, $

(13)$ {L}_{{\mathrm{s}}}=L_{{\mathrm{s}}}^{a}+L_{{\mathrm{s}}}^{v}+L_{{\mathrm{s}}}^{t}. $

其中$ P(i) $为与第$ i $句话语标签相同的话语集合.

直接融合多模态特征容易受到噪声干扰，且传统多头注意力机制忽视注意力头质量差异. 为此，设计多视角模态解耦融合模块，包含Top-K掩码机制、注意力头重要性建模及多模态解耦融合策略. 该解耦策略^[28]并非简单地将各模态完全分离，而是通过构建主辅模态架构，辅以注意力机制中的精细化控制，以减少模态间的直接干扰和噪声，从而更有效地融合信息. 3个模态均采用相同结构，本节以文本模态为主模态，音频和视觉模态为辅助模态为例说明.

计算各模态的查询与键参数矩阵，生成各个模态下第$ h $个头的基础注意力矩阵：

(14)$ {\tilde{\boldsymbol{a}}}_{h}^{m}=({\boldsymbol{Y}}^{m}\boldsymbol{W}_{h}^{{Q}_{m}}){({{\boldsymbol{Y}}^{m}}{\boldsymbol{W}_{h}^{{K}_{m}}})}^{\mathrm{T}}. $

式中：$ \boldsymbol{W}_{h}^{{Q}_{m}} $与$ \boldsymbol{W}_{h}^{{K}_{m}}\in {{R}}^{d\times {{d}_{h}}} $分别为第$ h $个注意力头上的查询投影矩阵和键投影矩阵；定义$ {{\tilde{\boldsymbol{A}}}}^{m}=[{\tilde{\boldsymbol{a}}}_{1}^{m},{\tilde{\boldsymbol{a}}}_{2}^{m},\cdots, {\tilde{\boldsymbol{a}}}_{{L}_{h}}^{m}] \in {{R}}^{{{L}_{h}}\times N\times N} $为$ m $模态下的初始多头注意力矩阵；$ {L}_{h} $为注意力头数，$ {d}_{h}=d/{L}_{h} $. 文本模态为主模态，因此以文本模态的视角，筛选高质量注意力元素：

(15)$ {{\boldsymbol{\varTheta}}}^{m}=\sigma \left(\frac{{\boldsymbol{Y}}^{t}{({{\boldsymbol{Y}}^{m}})}^{\mathrm{T}}}{\sqrt{d}}\right). $

式中：$ {\boldsymbol{\varTheta}}^{m}\in {{R}}^{N\times N} $为$ m $模态下注意力相关性矩阵，$ \sigma $表示Sigmoid激活函数. 依据注意力得分$ {\boldsymbol{\varTheta}}^{m} $，将得分排名前80%的元素标记为1，其余为0，得到掩码矩阵$ {\boldsymbol{\varOmega }}^{m}\in {{R}}^{N\times N} $：

(16)$ {{\varOmega }}_{i,j}^{m}=\begin{cases} 1, & {{\varTheta }}_{i,j}^{m}\geqslant K; \\0, & 其他.\end{cases} $

式中：$ K $为动态确定的阈值. 将掩码矩阵$ {\boldsymbol{\varOmega }}^{m} $应用于基础注意力矩阵，得到处理后的注意力矩阵：

(17)$ {\overline{\boldsymbol{a}}}_{h}^{m}={\boldsymbol{\varOmega }}^{m}\odot {\tilde{\boldsymbol{a}}}_{h}^{m}. $

式中：$ \odot $表示逐元素乘法，定义$ {{\overline{\boldsymbol{A}}}}^{m}=\left[{\overline{\boldsymbol{a}}}_{1}^{m},{\overline{\boldsymbol{a}}}_{2}^{m},\cdots,{\overline{\boldsymbol{a}}}_{{L}_{h}}^{m}\right] \in {{R}}^{{{L}_{h}}\times N\times N} $为$ m $模态下去噪后的多头注意力矩阵.

多头重要性建模模块通过自适应学习各个注意力头的权重，以提高模型性能. 权重计算公式为

(18)$ {{\tilde{\boldsymbol{c}}}}^{m}=\mathrm{GAP}\;({{\overline{\boldsymbol{A}}}}^{m}), $

(19)$ {\boldsymbol{c}}^{m}=\sigma\; (\mathrm{Conv}1\mathrm{D}\;({{\tilde{\boldsymbol{c}}}}^{m})). $

其中$ {{\tilde{\boldsymbol{c}}}}^{m}\in {{R}}^{{{L}_{h}}} $由$ {{\overline{\boldsymbol{A}}}}^{m} $通过全局平均池化$ \mathrm{GAP} $压缩得到. 利用卷积核大小为3的一维卷积$ \mathrm{Conv}1\mathrm{D} $在头部维度上建模局部交互关系，得到头部重要性权重$ {\boldsymbol{c}}^{m}\in {{R}}^{{{L}_{h}}} $，用于优化注意力矩阵：

(20)$ {\boldsymbol{A}}^{m}={\boldsymbol{c}}^{m}\circ {{\overline{\boldsymbol{A}}}}^{m}. $

其中$ {\boldsymbol{A}}^{m}=\left[\boldsymbol{a}_{1}^{m},\boldsymbol{a}_{2}^{m},\cdots,\boldsymbol{a}_{{L}_{h}}^{m}\right] \in {{R}}^{{{L}_{h}}\times N\times N} $表示$ m $模态下最终优化后的多头注意力矩阵，$ \circ $表示逐头加权操作.

得到各个模态的多头注意力矩阵后，通过解耦融合^[24]得到文本模态的融合特征：

(21)$ \boldsymbol{r}_{h}^{t}=\mathrm{Softmax}\left(\frac{{\displaystyle\sum }_{m=\{a,v,t\}}\boldsymbol{a}_{h}^{m}}{\sqrt{{d}_{h}}}\right)({\boldsymbol{Y}}^{t}\boldsymbol{W}_{h}^{{V}_{t}}), $

(22)$ {{\hat{\boldsymbol{Z}}}}^{t}=\mathrm{LN}\left(\mathrm{FFN}\left[\boldsymbol{r}_{1}^{t}||\boldsymbol{r}_{2}^{t}||\cdots||\boldsymbol{r}_{{L}_{h}}^{t}\right]\right). $

式中：$ \boldsymbol{W}_{h}^{{V}_{t}}\in {{R}}^{d\times {{d}_{h}}} $为第h个头上的值投影矩阵，LN和FNN分别为层归一化和前馈神经网络. 同理，得到音频和视觉模态的融合特征. $ m $模态下的融合特征表示为$ {{\hat{\boldsymbol{Z}}}}^{m}=\left[{\hat{\boldsymbol{z}}}_{1}^{m},{\hat{\boldsymbol{z}}}_{2}^{m},\cdots,{\hat{\boldsymbol{z}}}_{N}^{m}\right] \in {{R}}^{N\times d} $.

将得到的模态融合特征拼接后输入情感分类器，进行最终的预测：

(23)$ {\boldsymbol{p}}_{i}=\mathrm{Softmax}\;({\boldsymbol{W}}_{c}\mathrm{ReLU}\left[{\hat{\boldsymbol{z}}}_{i}^{a}||{\hat{\boldsymbol{z}}}_{i}^{v}||{\hat{\boldsymbol{z}}}_{i}^{t}\right]+{\boldsymbol{b}}_{c}). $

式中：$ {\boldsymbol{W}}_{c}\in {{R}}^{C\times 3d} $和$ {\boldsymbol{b}}_{c}\in {{R}}^{C} $分别为可学习的权重矩阵和偏置项，$ {\boldsymbol{p}}_{i}\in {{R}}^{C} $为第$ i $句话语最终特征映射到情感类别的概率分布，$ C $为情感类别数量. 对于第i句话语，最终预测标签选择概率最大的类别：

(24)$ {{\hat{\boldsymbol{e}}}}_{i}=\underset{k}{\arg \max }\;({\boldsymbol{p}}_{i}[k]). $

式中：$ {\boldsymbol{p}}_{i}[k] $为第$ i $句话语在类别$ k $上的预测概率. 采用交叉熵损失来优化分类器参数：

(25)$ {L}_{{\mathrm{cls}}}=-\frac{1}{N}\sum \limits_{i=1}^{N}\sum \limits_{k=1}^{C}{\boldsymbol{z}}_{i,k}\log \;({\boldsymbol{p}}_{i}[k]). $

其中$ {\boldsymbol{z}}_{i,k} $为真实标签的one-hot编码. 最终模型的总损失函数综合无监督损失和有监督学习策略的损失以及分类损失，

(26)$ L={L}_{{\mathrm{cls}}}+{\gamma }_{{\mathrm{u}}}{L}_{{\mathrm{u}}}+{\gamma }_{{\mathrm{s}}}{L}_{{\mathrm{s}}}. $

其中$ {\gamma }_{{\mathrm{u}}} $和$ {\gamma }_{{\mathrm{s}}} $均为超参数.

介绍实验所采用的数据集与实现细节，开展消融实验与参数敏感性分析，验证模型各组件与关键超参数的有效性.

实验选用2个常用多模态会话情感识别基准数据集：IEMOCAP^[29]和MELD^[30]. IEMOCAP分为6个类别：快乐、悲伤、中性、愤怒、兴奋和沮丧. MELD分为7个类别：中性、惊讶、恐惧、悲伤、喜悦、厌恶和愤怒. 遵循以往工作^[21]，数据集划分和详细信息如表1所示. 采用准确率Acc和加权平均F1分数W-F1作为主要评估指标，衡量模型的整体性能；报告每个情绪类别的F1分数，反映模型在各类情绪上的识别表现.

将MDF与先进的基线方法进行比较：DialogueRNN^[31]采用3个GRU建模全局状态、角色状态及情感表示；MMGCN^[10]利用图结构融合来捕捉多模态依赖关系与说话人信息；CTNet^[16]利用Transformer建模模态内和模态间的交互；MM-DFN^[11]引入动态融合机制以降低模态冗余并增强互补性；SCMM^[24]集成上下文建模、模态交互和路径选择模块以融合多模态特征；CMCF-SRNet^[17]将Transformer与图结构精炼机制结合，探索模态交互与语义关系；MultiDAG^[9]使用DAG和课程学习解决情感转变与数据不平衡问题；FrameERC^[22]是基于图形的模型，在特征级强调高频信号；AdaIGN^[21]引入自适应图神经网络建模说话人间的依赖关系.

为了实验的公平性，所有实验都在NVIDIA GeForce RTX 4090 GPU上进行，PyTorch和CUDA版本分别为2.4.1和12.1. 对于IEMOCAP和MELD，批大小分别为20和28，学习率分别为1.0×10⁻⁴和2.0×10⁻⁴；音频-视觉-文本模态下说话者身份权重$ {\omega }^{m} $分别设为2-0-1和0.5-0.5-1.5；上下文距离参数$ D $分别设为4和3；有监督学习损失系数$ {\gamma }_{{\mathrm{u}}} $分别为0.015和0.007；无监督学习损失系数$ {\gamma }_{{\mathrm{s}}} $在2个数据集上均设为0.005. 注意力头数$ {L}_{h} $设置为4和5. 丢弃率（dropout）分别设为0.4和0.15. 最大训练轮数分别为50和60. 所有结果值均在5次随机运行后取平均值.

不同模型在2个数据集上的性能评估指标对比结果分别如表2和表3所示. #和$表示结果分别来自MM-DFN^[11]和原始论文，*表示较AdaIGN^[21]有显著改善(p < 0.05). MELD中“恐惧”和“厌恶”类别相应的训练样本不足，无法得出具有统计意义的结论，表3报告了其他5类情感的F1分数. 可以看出，MDF在2个数据集上均取得最优的整体性能. 具体来看，相比当前对比模型中表现最优的基线方法AdaIGN，MDF在IEMOCAP上的Acc和W-F1分别提升了2.38和2.31个百分点，在MELD上的分别提升了0.44和0.13个百分点. 经显著性检验验证，MDF的整体性能相较于基线方法具有显著提升. 从各个情绪类别的F1分数来看，MDF的大部分情绪分类优于基线. 在IEMOCAP中，对比所有基线，除“愤怒”、“兴奋”和“沮丧”3个情感类别的没有显著提升效果，其余情感类别的F1分数均有显著提升，并已通过显著性检验验证. 在MELD中，大部分情绪类别的识别效果均有所提升，尤其是“悲伤”和“愤怒”类别.

不同模态及其组合在2个数据集上的性能表现如表4所示，其中 A、V、T 分别代表音频、视觉与文本模态. 可以看出，在单模态设置中，文本模态始终获得最优性能，视觉模态表现最弱，说明文本信息在会话情感识别中仍然具有最直接和最显著的情绪指示性. 进一步地，任意2种模态的组合均优于单模态结果，表明多模态信息有助于模型更全面地理解情绪状态. 文本与音频模态的组合在3组双模态模型中评估指标最佳，这主要是因为这种组合的单模态性能均明显优于视觉模态. 3种模态的联合进一步提升了整体性能，获得了全局最优结果，充分验证了多模态信息融合在会话情感识别任务中的重要性与3种模态之间的互补性.

如表5所示为MDF框架核心模块消融实验结果. 可以看出，移除任一模块均导致性能下降，验证了各模块的必要性和互补性. 移除整个多视图上下文提取模块(w/o MCE)会显著影响模型性能，说明该模块能够有效捕捉飞赴的上下文信息. 分析上下文提取模块中的多视图交互机制，去除动态GRU单元(w/o D-GRU)对模型性能的影响大于去除静态GRU单元(w/o S-GRU)，说明动态建模更有助于捕捉复杂的情绪转变趋势. 当两者同时移除(w/o S-&D-GRU)时，性能进一步下降，反映出静态与动态视图在情感建模中具有良好的互补关系. 去除多视角模态解耦融合模块(w/o MMDF)造成模型性能大幅度降低，说明MMDF的融合策略在提高融合质量方面具有核心作用. 移除Top-K掩码机制(w/o TM)或移除注意力头权重建模(w/o HW)都会导致模型性能下降，联合移除(w/o TM & HW)对模型性能影响更大，说明二者在增强多模态表示能力上的有效性.

实验在多距离上下文建模中距离层数$ D $∈[1, 7]进行. 如图3所示，模型在IEMOCAP上随着$ D $的增加整体性能逐步上升，并在等于4时达到最佳，随后略有波动；在 MELD 上，在$ D $=3时取得最优结果，之后性能略有下降. 实验结果表明，适当的多尺度上下文建模有助于捕捉更丰富的情绪依赖信息，$ D $过大可能引入噪声或冗余上下文，影响识别准确性.

为了分析无监督模态对齐和有监督语义增强在2个数据集上对模型的影响，对2个损失的超参数进行参数敏感性实验，结果如图4所示. 在探索过程中，2个超参数在固定另一参数为最优值时，在不同范围内进行实验. 实验结果表明，模型性能均呈现出先升高后降低的趋势，说明这种损失对模型有益. 上述两项学习策略权重须精细调优以达到最佳性能. 当超参数设置过小时，特征对齐模块的损失在总损失函数中的贡献度不足，导致模型特征对齐效果不佳. 相反，若超参数设置过大，模型可能过度关注对比学习损失，削弱主分类任务损失的作用，这可能导致模型生成的特征虽然在对比任务上表现良好，却不一定是最利于情感分类的，过强的对比约束甚至可能损失分类所需的细粒度判别信息. 因此，2个学习策略的权重须在促进模态内外部特征对齐与保持分类任务的有效性之间取得平衡，以提升多模态会话情绪识别的性能和模型的鲁棒性.

如图5所示，对Top-K掩码机制中阈值K的选择进行敏感性分析. 可以看出，当保留注意力矩阵中约80%的高相关性元素时，模型在2个数据集上均取得最佳性能. 该结果表明，恰当的阈值能够有效平衡信息过滤与保留，若K过低会导致大量重要信息被错误掩盖从而损害性能，K高则未能充分抑制注意力矩阵中的噪声和冗余信息，同样会制约模型的表现.

基于表1的会话长度数据统计，采用第一分位点(Q1)和第三分位点(Q3)划分测试集为短会话、中会话和长会话. 对于IEMOCAP，短会话$ [1,43] $，中会话$ (43,59] $，长会话$ (59,91] $；对于MELD，短会话$ [1,5] $，中会话$ (5,13] $，长会话$ (13,33] $. 如图6所示，MDF在所有会话长度的表现上都优于MultiDAG^[13]. 此外，随着会话长度的增加，模型性能开始下降. 该现象主要归因于长会话中更复杂的语义依赖、情绪的频繁转变以及信息冗余，这些因素共同给模型的情感建模带来了更大挑战. 具体而言，长会话中远距离的上下文信息可能难以被有效捕获，影响模型对关键情感线索的理解和利用. 同时，过长的序列也可能导致自注意力机制在所有位置上分配同等关注，稀释真正重要的信息，降低模型的判别效率. 未来，考虑引入更高效的长序列建模技术，如稀疏注意力或分层Transformer结构，以更好地处理长距离依赖；或者结合外部知识库，辅助模型理解会话中隐含的情感演变，缓解长会话带来的性能下降问题.

本研究提出多视角解耦融合框架，解决上下文建模粗糙和模态融合不足的问题. 引入多视图上下文提取模块，有效捕捉多视角下的情感依赖关系，提取丰富的上下文信息；结合2个学习策略实现特征对齐，增强特征表示的鲁棒性与区分性；设计多模态自适应解耦融合策略，抑制冗余信息并增强多模态特征表示. 在多模态基准数据集上的实验表明，所提框架性能优越，框架各组成模块有效. 未来工作计划进一步探索不同的上下文提取策略，过滤注意力矩阵中噪声或不相关的信息.