基于多任务学习与层叠 Transformer 的多模态情感分析模型

陈巧红,孙佳锦,漏杨波,方志坚

Multimodal sentiment analysis model based on multi-task learning and stacked cross-modal Transformer

Qiao-hong CHEN,Jia-jin SUN,Yang-bo LOU,Zhi-jian FANG

表 1 所提模型在2个数据集上的实验参数设置

Tab.1 Experimental parameter settings of proposed model in two datasets

参数 数值 SIMS MOSEI 训练批度 32 16 学习率 0.001 0.001 文本特征维度 768 768 音频特征维度 33 74 视觉特征维度 709 35 文本特征长度 音频特征长度 视觉特征长度 39 400 55 50 500 375 文本LSTM隐藏层维度 100 100 音频LSTM隐藏层维度 100 100 视觉LSTM隐藏层维度 100 100 Transformer编码层维度 100 100 多头注意力头数 10 10 Transformer层数 2 2 Droupout率 0.1 0.1