基于交通事件短视频资源的多模态情绪特征分析
Multimodal emotional feature analysis based on short video resources of traffic incidents
通讯作者:
收稿日期: 2024-02-26
基金资助: |
|
Received: 2024-02-26
Fund supported: | 国家自然科学基金资助项目(72101014);脑机协同信息行为教育部重点实验室开放课题项目(2023JYBKFKT009). |
作者简介 About authors
董镇滔(2001—),男,博士生,从事脑机交互和人机共驾研究.orcid.org/0009-0004-5957-943X.E-mail:
为了刻画以短视频形式传播的交通事件舆情对公众情绪的导向,通过文本情感分析和多模态生理信号特征提取,构建生理特征图谱. 爬取抖音平台136个高赞视频及38 805条评论,以所有视频为文档集,单个视频为文档,评论为单词,采用隐狄利克雷分布主题模型进行主题挖掘,获得不同主题的评论单词分布和不同视频的主题分布. 使用基于朴素贝叶斯的SnowNLP计算评论单词的情感分数,分析不同舆情主题表达的情感倾向. 开展神经科学实验,采集脑电、眼动、心电和呼吸等多模态生理信号及情绪评分. 统计检验结果表明,不同情感倾向的视频会诱发不同情绪,不同情绪下脑电的相对谱功率、眨眼频率、呼吸标准差和心电极低频功率等多模态生理特征具有特异性,评论文本中蕴含的情感语义会在视频诱发情绪的基础上对公众情绪造成不同方式的影响.
关键词:
In order to portray the public emotion orientation caused by the public opinion on traffic incidents disseminated in short videos, a physiological feature graph was constructed by the text sentiment analysis and the multimodal physiological signal feature extraction. This work collected 136 highly-liked videos with 38 805 comments on TikTok. Considering all videos as a document set, with each video treated as a document and comments as words, the latent Dirichlet allocation topic model was adopted to obtain the distribution of comments under different topics and the distribution of topics under different videos. Naive Bayes-based SnowNLP was utilized to calculate the sentiment scores of comments and analyze the sentiment tendencies expressed by different opinion topics. Neuroscience experiments were carried out to collect multimodal physiological signals such as EEG, eye movement, ECG, and respiration as well as emotion ratings. Statistical test results show that videos with different sentiment tendencies induce different emotions, and the multimodal physiological features such as the relative spectral power of EEG, blinking frequency, respiration standard deviation, and the very low-frequency power of ECG are specific under different emotions. The emotional semantics embedded in the comments influence public emotion in various ways beyond that evoked by videos.
Keywords:
本文引用格式
董镇滔, 徐暟敏, 万清颖, 刘晓菲, 申昊, 李书涵, 奇格奇.
DONG Zhentao, XU Kaimin, WAN Qingying, LIU Xiaofei, SHEN Hao, LI Shuhan, QI Geqi.
交通运输行业舆情管理对政策制定具有重要影响. 随着短视频平台的普及,交通事件舆情呈现传播快、内容广、归因复杂的特点,对实时监测提出了越来越高的要求.
国内外关于舆情分析的研究在许多现实场景中已有较为成熟的应用. Ma等[1]结合社交网络和情感分析,研究气象灾害期间舆论的传播. Jia等[2]基于情感特征词典,提出情感倾向分析模型,分析用户情感特征及舆情演化,使用微博文本数据进行验证. 于群等[3]建立停电事故舆情风险评估模型,结合事件主体、公众关注度和政府调控力度3个维度,使用熵权法和属性数学理论进行风险评估. Ren等[4]分析突发公共卫生事件中的舆情传播动机,基于生命周期理论探讨传播要素的相互作用. Ali等[5]通过OLDA模型提取社交网络中的交通信息,提升了词嵌入准确性. Chen等[6]综述社交媒体在交通信息获取、预测、出行分析及舆情分析中的应用. Qi等[7]提出从Twitter提取交通舆情的框架,通过分析推文的时间轴和语义来评估交通状况. 汤文蕴等[8]构建基于情感分析和主题挖掘的舆情分析模型,研究重大公共事件下的交通管控舆情. 现有研究多集中于图文社交平台(如微博、Twitter),舆情话题相对单一,针对“短平快”短视频平台的交通舆情分析仍缺乏系统性研究. 在情感分析方面,Bai等[9]对微信公众号的文本和图像信息进行情感分析以预测文章阅读量,发现文本中存在情感融合现象. Li等[10]通过计算与视频同步的评论情感强度,自动识别视频精彩片段. 有研究者通过心理生理学实验发现情绪的客观变化. Liu等[11]考虑人类情感的复杂性,使用脑电数据集研究情绪与脑电特征的关系. Pfeiffer等[12]研究大脑在阅读过程中提取单词情感的机制. 赵卿等[13]提出基于模态注意力多路图卷积神经网络的情感识别模型,结合脑电和功能近红外数据进行情感识别. 郑伟龙等[14]提出眼动数据辅助情感识别的跨被试脑电情感模型并进行实证研究. 多数研究的实验仅采集1、2个模态的生理数据,难以全面描述情感,这些视频资源大多为影视片段,相关研究较少关注大众评论造成的情绪导向.
考虑到交通事件短视频具有覆盖范围广、传播速度快、评论特性强等特点,本研究基于这类视频提供的交通舆情资源,量化挖掘语义主题和视频情感,并设计情绪诱发实验,采集和分析多模态生理信号,构建交通舆情生理特征图谱,从本质上描述相关短视频及评论对公众的影响,支撑对舆情态势的准确理解和合理应对.
1. 短视频资源获取与预处理
交通事件是指可能对人们出行产生直接影响的交通事故、交通堵塞、交通违法行为和交通政策调整等,它们通常会成为社交媒体的关注焦点,还会对交通系统的运行效率和社会秩序产生深远影响. 选取属地关键词“北京”以及16组与交通事件相关的搜索关键词:“交通”“飞机”“机场”“高铁”“火车站”“公交”“地铁”“公路”“汽车”“非机动车”“电动车”“停车”“堵车”“无障碍”“共享单车”和“自动驾驶”,使用Python在抖音短视频平台爬取136个点赞数超过2 000次的短视频及其默认排序靠前的共38 805条评论,每条评论包含评论内容和点赞数信息. 清洗提取的本文,删除非单词字符(如特殊符号),分词后去除停用词,生成如图1所示的词云图,评论中出现频率越高的关键词在图中的尺寸越大.
图 1
2. 情感语义挖掘
2.1. 隐狄利克雷分布主题模型
式中:
式中:
2.2. 舆情情感分析
SnowNLP是专门用于中文文本情感分析的Python工具包,实质为基于朴素贝叶斯分类器的二分类模型. 通过统计训练集中每个单词出现的次数来评估单词情感倾向的条件概率,在此基础上计算测试集单词的情感倾向,表达式为
式中:
3. 情绪诱发实验
3.1. 实验方案设计
探究不同类型的交通事件短视频及大众评论对情绪导向的影响程度,为此基于情感语义挖掘结果,选取10个不同主题、不同情感倾向的视频及其评论作为刺激材料,开展多模态神经科学实验. 招募47名被试,均为北京地区在校大学生或研究生,其中男性30名(平均年龄20.5岁,标准差为2.6岁),女性17名(平均年龄20.8岁,标准差为1.4岁),随机分为实验组25人,对照组22人. 所有被试均签署知情同意书并否认心理或神经系统疾病史,视力或矫正视力正常.
实验开始前,由主试告知被试实验的具体流程、注意事项、需要被试完成的任务和问卷含义等,帮助被试佩戴数据采集设备. 实验开始后,被试闭眼静坐3 min平复情绪,之后顺序播放10个视频. 每个视频每名被试均观看2次,每次看完后填写包括愉悦度、唤醒度(情绪受外部刺激影响的程度)和情绪支配度3个维度在内的问卷来记录主观感受. 每个维度的评分范围均为1~9的整数,评分越接近1,表示被试的愉悦度、唤醒度和情绪支配度越低,反之越高. 每次看完视频或完成问卷后,被试敲击键盘的空格键进入下一阶段,避免其他不必要的动作. 实验同步记录被试的脑电、眼动、心电和呼吸等多模态生理数据. 实验组在第一次看完视频后,须观看该视频的评论,对照组不看评论,实验流程如图2所示.
图 2
3.2. 多模态情绪特征
采用ErgoLAB人机环境同步云平台记录并辅助分析被试的多模态生理信号,如图3所示. 该平台用于“以人为中心”的多模态数据同步采集与量化分析,具有智能、可穿戴的特点,可以同步记录被试的心理、生理和行为等多模态数据,实时分析被试的行为表现、认知负荷和情绪唤醒等.
图 3
图 3 ErgoLAB多模态生理信号采集平台
Fig.3 ErgoLAB platform for multimodal physiological signal acquisition
3.2.1. 脑电
脑电信号由16通道的ErgoLAB EEG可穿戴脑电仪记录,采样频率为256 Hz,使用基于Matlab的EEGLAB工具箱预处理脑电数据,包括1~47 Hz带通滤波、坏道删除与插值、独立成本分析(independent component analysis,ICA)去除肌电和眼动等伪影以及平均重参考. 使用基于Python的MNE库进一步提取有用脑电特征并进行统计分析. 使用傅里叶变换提取脑电信号的频域信息,将它划分为5个频带,分别是δ(1~3 Hz)、θ(4~7 Hz)、α(8~13 Hz)、β(14~30 Hz)和γ(31~47 Hz). 分别计算被试每次观看视频期间每个电极在每个频带的功率谱密度PSD、微分熵DE和相对谱功率RSP[18],
式中:
3.2.2. 眼动
眼动数据由Tobii Pro Fusion非接触眼动仪记录,采样频率为250 Hz,使用ErgoLAB的生理分析模块预处理原始数据,包括滑动中值滤波降噪、瞳孔线性插值. 提取每名被试每次观看视频期间的眨眼频率、平均瞳孔直径和平均注视次数等特征.
3.2.3. 心电与呼吸
心电和呼吸数据由ErgoLAB Chest Biosensing穿戴胸带传感器记录,采样频率分别为512、64 Hz. 对于心电数据,经过小波降噪、幅值规整和R峰值提取等预处理操作后,分别提取时域信息(如平均心跳次数)和频域信息(如极低频率功率和低频高频功率比). 对于呼吸数据,经过小波降噪和滤波预处理操作后,提取平均呼吸次数和呼吸标准差特征.
4. 结果分析
4.1. 主题挖掘与情感分析结果
通过分析困惑度和一致性指标评价不同主题数下的短视频主题划分结果. 困惑度越低,一致性越高表明模型对未知数据的泛化能力越强,主题内词语逻辑越紧密,所选择主题数越佳. 根据2个指标随主题数的变化情况,经综合考量,选取主题数为6,此时模型有较低的困惑度(Ip=111.763)和较高的一致性(Ic=0.417),如图4所示. 经过500 000次迭代,136个交通事件视频的舆情主题分布如图5所示,ptop为主题占比. 主题1与交通安全和交通工具及场站有关,主题2与交通警示和指导有关,主题3与各类交通出行的经济性、舒适性和便捷性等体验感有关,主题4与交通政策有关,主题5与市内共享出行有关,主题6与交通线路选择有关. 以归一化的评论点赞数为权重,对每条视频下所有评论的SnowNLP情感分数加权平均,得到每条视频的平均情感分数. 挑出136个视频中最大主题隶属度大于0.8的124个视频,绘制每个主题下所有视频的情感分数SE分布,如图6所示. 主题3的平均情感分数最高(SE=0.544),主题6的平均情感分数最低(SE=0.449),单因素方差分析p=0.439,各主题间的情感分数差异不显著,说明各类主题下均存在积极情绪与消极情绪. 过长的实验持续时间容易引发被试的抵触情绪,进而影响其主客观表现. 考虑到实验总时长以及被试的接受能力,须控制不同主题下的视频数量用于情绪诱发实验. 因此,综合考虑视频的主题隶属度、情感分数、时长、内容适应性等要素,从上述124个视频中选取10个典型视频用于情绪诱发实验,视频编号、摘要、平均情感分数和所属主题编号等信息如表1所示.
图 4
图 4 困惑度和一致性随主题数的变化
Fig.4 Variation of perplexity and coherence with number of topics
图 5
图 5 交通事件舆情主题分布
Fig.5 Distribution of public opinion topics on traffic incidents
图 6
图 6 每个主题下视频的情感分数分布
Fig.6 Distribution of sentiment scores for videos under each topic
表 1 情绪诱发实验选取视频的详细信息
Tab.1
视频编号 | 视频摘要 | 主题编号 | |
42 | 客机起降禁开遮光板,空乘多次提醒,男子拒不配合 | 0.329 | 1 |
120 | 北京,市区到机场,无障碍车 | 0.760 | 3 |
80 | 三轮车逆行被撞得支离破碎,交通事故猛于虎,一次侥幸可能会造成终生不幸 | 0.294 | 2 |
64 | 如何在北京刷手掌乘地铁?今天我来教你 | 0.310 | 2 |
63 | 9月1日起北京取消二环主路公交专用道 | 0.331 | 4 |
123 | 疑似为给小蓝车挪地儿,俩男子将小黄车扔到路中,自行车堆成小山 | 0.328 | 5 |
131 | 北京首批“整车无人”自动驾驶车辆上路测试 | 0.470 | 4 |
117 | 国庆返程高峰,假期最后一天,北京北四环堵车现状;网友:我是自愿上班的 | 0.349 | 6 |
56 | 暴雨后的北京丰台站大量乘客滞留,有乘客准备在车站过夜,还有学生无奈退改签4次 | 0.279 | 1 |
4 | 最高礼仪迎接!C919顺利飞抵北京,商业首航成功,点赞祝贺! | 0.692 | 1 |
4.2. 短视频情绪诱发结果
图 7
图 7 情绪诱发实验问卷汇总结果
Fig.7 Summary results of emotional evocation experiment questionnaire
图 8
图 8 情绪诱发实验问卷统计分析结果
Fig.8 Statistical analysis results of emotional evocation experiment questionnaire
4.3. 基于情感语义的情绪诱发分析
根据主题挖掘和情感分析及问卷统计检验结果,选取6个分属不同主题的代表性视频,分别计算被试第一次观看视频的愉悦度评分和脑电特征间的皮尔逊相关系数,每个主题下16个电极在5个频带的微分熵与愉悦度间的相关关系如图9所示(p<0.05),相关系数rDE-1越大,说明该类主题视频与特定脑区及频带的激活或抑制相关度越高. 研究发现,被试在观看不同主题视频后大脑激活的模式不同,主题1、2与中低频带的相关关系明显,其中主题1体现在δ和α频带,主题2体现在θ和α频带;主题4、5、6与低频带和高频带的相关关系明显,其中主题4体现在θ和β频带,主题5体现在δ、θ、β和γ频带,主题6体现在θ、β和γ频带.
图 9
图 9 脑电-愉悦度评分相关性分析结果
Fig.9 Correlation analysis results of EEG-pleasure ratings
对被试第一次观看视频期间的多模态生理特征进行统计分析(单因素方差分析,p<0.05),选取呼吸标准差、眨眼频率、心电极低频功率和低频高频功率比、平均瞳孔直径及平均注视次数等特征分别进行归一化处理并绘制6维生理特征图谱,如图10所示. 不同主题的视频对应的生理特征图谱具有特异性,对于情感分数较高的主题3,平均瞳孔直径较其他主题的大,平均注视次数较其他主题的小;对于情感分数较低的主题2,眨眼频率也较其他主题的小. 主题6除平均注视次数最大外,其他5个维度的特征值都较小,这表明被试观看此类视频时可能比较专注;主题5的呼吸标准差和心电极低频功率都较大,同时眨眼频率较小,这表明被试观看此类视频时可能情绪起伏较大.
图 10
图 10 短视频诱发情绪的生理特征差异
Fig.10 Differences in physiological characteristics of emotion evoked by short videos
4.4. 文本情感语义诱发的情绪差异分析
实验组与对照组间的唯一区别为实验组观看了视频评论. 分别对实验组和对照组2次观看视频期间的相对谱功率作差,使用Mann-Whitney U检验比较组间差异,分别绘制6个主题对应的脑拓扑图像,如图11所示. 图中,深色表示看完评论后被试的RSP显著更高,浅色表示显著更低(p<0.05). 类似地,分别比较实验组和对照组2次观看视频期间愉悦度、唤醒度和情绪支配度间的差异以及多模态情绪特征间的差异. 研究结果表明,观看评论会显著改变大脑的激活模式,且不同主题的评论对大脑的激活模式不同,评论文本中蕴含的情感语义可能会改变视频对被试的情绪诱发结果. 看过评论后,主题1在θ和β频带的RSP显著降低,同时被试的平均呼吸次数显著增加、唤醒度显著降低;对于平均情感分数较高的主题3,γ频带的RSP显著升高,同时被试的愉悦度和唤醒度都有显著降低;对于平均情感分数较低的主题2,5个频带的RSP均有显著降低,并集中在顶叶、颞叶和枕叶;对于主题4,中高频带的RSP有显著降低,同时被试的平均注视次数显著减少、唤醒度也有显著降低;主题5在θ、α和β频带的RSP显著升高,同时被试的最大瞳孔直径显著增大. 这说明短视频评论文本中蕴含的情感语义会在视频诱发情绪的基础上对公众情绪造成不同方式的影响.
图 11
图 11 观看评论引起的脑电特征差异
Fig.11 Differences in EEG characteristics induced by viewing comments
5. 结 语
本研究基于短视频评论文本,运用LDA主题模型和SnowNLP挖掘视频的情感语义开展情绪诱发实验,根据多模态生理特征评估不同舆情主题的视频及评论对公众情绪的影响. 1)不同舆情主题的视频会诱发不同情绪,愉悦度与脑电特征(微分熵)间存在相关关系,对应大脑5个频带的激活模式有所不同. 2)不同舆情主题的视频具有特异性的生理特征图谱:对于情感分数较高的主题3(与各类交通出行的经济性、舒适性和便捷性等体验感有关),被试的平均瞳孔直径较其他主题的大;对于情感分数较低的主题2(与交通警示和指导有关),被试的眨眼频率较其他主题的低. 3)观看评论会显著改变大脑的激活模式,不同舆情主题的评论对大脑的激活模式不同,评论文本中蕴含的情感语义可能会改变视频对被试的情绪诱发结果. 看过评论后,对于平均情感分数较高的主题3,大脑γ频带的相对谱功率显著升高,同时被试的愉悦度和唤醒度均显著降低;对于主题4,中高频频带的相对谱功率有显著降低,同时被试的平均注视次数显著减少、唤醒度显著降低. 未来计划通过拓宽年龄范围及职业覆盖面的方式招募更多被试,考虑增加短视频样本的数量,使被试可以根据个人喜好滑动播放;还将探讨给定不同主题划分结果对被试情绪的影响,研究更加贴近现实的交通事件舆情传播机制.
参考文献
Evolution of online public opinion during meteorological disasters
[J].DOI:10.1080/17477891.2019.1685932 [本文引用: 1]
Emotional characteristics and time series analysis of Internet public opinion participants based on emotional feature words
[J].
Public opinion communication mechanism of public health emergencies in Weibo: take the COVID-19 epidemic as an example
[J].DOI:10.3389/fpubh.2023.1276083 [本文引用: 1]
Transportation sentiment analysis using word embedding and ontology-based topic modeling
[J].DOI:10.1016/j.knosys.2019.02.033 [本文引用: 1]
A framework with efficient extraction and analysis of Twitter data for evaluating public opinions on transportation services
[J].DOI:10.1016/j.tbs.2020.05.005 [本文引用: 1]
不同类型重大公共事件下交通管控舆情分析
[J].
Public opinion analysis on traffic control under different major public events
[J].
A WeChat official account reading quantity prediction model based on text and image feature extraction
[J].DOI:10.1109/ACCESS.2022.3157715 [本文引用: 1]
Sentiment analysis on online videos by time-sync comments
[J].DOI:10.3390/e25071016 [本文引用: 1]
Electrophysiological representations of multivariate human emotion experience
[J].DOI:10.1080/02699931.2023.2297272 [本文引用: 1]
Neural dynamics of sentiment processing during naturalistic sentence reading
[J].DOI:10.1016/j.neuroimage.2020.116934 [本文引用: 1]
基于模态注意力图卷积特征融合的EEG和fNIRS情感识别
[J].
EEG and fNIRS emotion recognition based on modality attention graph convolution feature fusion
[J].
用异质迁移学习构建跨被试脑电情感模型
[J].DOI:10.11897/SP.J.1016.2020.00177 [本文引用: 1]
Building cross-subject EEG-based affective models using heterogeneous transfer learning
[J].DOI:10.11897/SP.J.1016.2020.00177 [本文引用: 1]
Latent Dirichlet allocation
[J].
基于语义挖掘的快递运输货品风险评价研究
[J].
Risk evaluation of express delivery goods based on semantic mining
[J].
A large finer-grained affective computing EEG dataset
[J].DOI:10.1038/s41597-023-02650-w [本文引用: 1]
/
〈 |
|
〉 |
