基于多任务学习与层叠 Transformer 的多模态情感分析模型
陈巧红,孙佳锦,漏杨波,方志坚

Multimodal sentiment analysis model based on multi-task learning and stacked cross-modal Transformer
Qiao-hong CHEN,Jia-jin SUN,Yang-bo LOU,Zhi-jian FANG
表 1 所提模型在2个数据集上的实验参数设置
Tab.1 Experimental parameter settings of proposed model in two datasets
参数 数值
SIMS MOSEI
训练批度 32 16
学习率 0.001 0.001
文本特征维度 768 768
音频特征维度 33 74
视觉特征维度 709 35
文本特征长度
音频特征长度
视觉特征长度
39
400
55
50
500
375
文本LSTM隐藏层维度 100 100
音频LSTM隐藏层维度 100 100
视觉LSTM隐藏层维度 100 100
Transformer编码层维度 100 100
多头注意力头数 10 10
Transformer层数 2 2
Droupout率 0.1 0.1