基于多任务学习与层叠 Transformer 的多模态情感分析模型

陈巧红,孙佳锦,漏杨波,方志坚

Multimodal sentiment analysis model based on multi-task learning and stacked cross-modal Transformer

Qiao-hong CHEN,Jia-jin SUN,Yang-bo LOU,Zhi-jian FANG

表 6 所提模型在SIMS数据集的样例分析

Tab.6 Sample analysis of proposed model in SIMS dataset

视频编号 多模态信息 视频画面 情感预测结果 真实情感 video_0001/0001 T：我不想嫁给李茶 A：语速较快，语气低沉 V：皱眉，表情沮丧，生气 T：消极 A：消极 V：消极 M：消极 T：消极 A：消极 V：消极 M：消极 video_0009/0002 T：妹妹不敢有任何非分之想 A：语气平静 V：低头，微笑 T：消极 A：中性 V：积极 M：消极 T：消极 A：积极 V：积极 M：消极 video_0054/0032 T：特别尊贵的感觉，感觉很害怕，怎么和他对戏啊， 也不熟两个人也没有演过戏 A：语气紧张 V：微笑，紧握双手 T：积极 A：中性 V：积极 M：积极 T：积极 A：消极 V：积极 M：积极 video_0056/0051 T：拿他护照干吗你又用不了 A：语气平静 V：先皱眉，后微笑，挠头 T：消极 A：中性 V：积极 M：中性 T：中性 A：消极 V：积极 M：中性