浙江大学学报(工学版), 2026, 60(6): 1269-1276 doi: 10.3785/j.issn.1008-973X.2026.06.014

计算机技术

知识增强图Transformer的方面级情感分析

郑文军,, 黎志昆, 韩守飞,

1. 安徽理工大学 人工智能学院,安徽 合肥 231131

2. 安徽理工大学 煤炭无人化开采数智技术全国重点实验室,安徽 淮南 232001

3. 齐鲁工业大学(山东省科学院) 算力互联网与信息安全教育部重点实验室,山东 济南 250300

Aspect-based sentiment analysis via knowledge-enhanced graph Transformer

ZHENG Wenjun,, LI Zhikun, HAN Shoufei,

1. School of Artificial Intelligence, Anhui University of Science and Technology, Hefei 231131, China

2. State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining, Anhui University of Science and Technology, Huainan 232001, China

3. Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Qilu University of Technology (Shandong Academy of Sciences), Jinan 250300, China

通讯作者: 韩守飞,男,副教授. orcid.org/0000-0003-3583-7735. E-mail:hanshoufei@gmail.com

收稿日期: 2025-08-2  

基金资助: 安徽理工大学青年基金资助项目(QNYB202204);国家自然科学基金资助项目(62306279);中国博士后面上基金资助项目(2424M760592);算力互联网与信息安全教育部重点实验室开放基金资助项目(2024Y005).

Received: 2025-08-2  

Fund supported: 安徽理工大学青年基金资助项目(QNYB202204);国家自然科学基金资助项目(62306279);中国博士后面上基金资助项目(2424M760592);算力互联网与信息安全教育部重点实验室开放基金资助项目(2024Y005).

作者简介 About authors

郑文军(1994—),男,讲师,从事情感计算研究.orcid.org/0000-0002-1135-0212.E-mail:zwj@aust.edu.cn , E-mail:zwj@aust.edu.cn

摘要

针对现有方面级情感分析方法因特征交互不足与知识利用缺失而导致的推理局限,提出知识增强的图Transformer网络(K-GTNet). 通过构建“先验知识引导—局部句法建模—全局语义推理”的逻辑框架,实现对复杂文本情感的深入理解. 该方法融合外部情感知识与内部句法结构,构建带有边依赖权重的图表示. 通过图神经网络在该图上进行邻域信息聚合,捕捉以方面词为中心的局部情感特征. 将提取的局部感知特征序列输入Transformer,通过自注意力机制建立全局上下文依赖,实现鲁棒的方面情感极性判别. 在5个基准数据集上进行实验验证,K-GTNet的平均准确率达到84.95%,F1达到77.96%,优于主流的基线模型.

关键词: 自然语言处理 ; 情感分析 ; 知识增强 ; 图神经网络 ; Transformer

Abstract

A knowledge-enhanced graph Transformer network (K-GTNet) was proposed in order to address the reasoning limitation of existing aspect-based sentiment analysis method caused by insufficient feature interaction and lack of knowledge utilization. A logical framework of “prior knowledge guidance–local syntactic modeling–global semantic reasoning” was constructed to achieve a deep understanding of complex textual sentiment. External sentiment knowledge and internal syntactic structure were fused to construct a graph representation with edge dependency weight. Neighborhood information was aggregated on this graph through a graph neural network, and local sentiment feature centered on aspect term was captured. The extracted local-aware feature sequence was fed into a Transformer. Global contextual dependency was built through self-attention mechanism, and robust aspect sentiment polarity classification was achieved. Experiments conducted on five benchmark datasets demonstrated that K-GTNet achieved average accuracy of 84.95% and F1 of 77.96%, outperforming mainstream baseline model.

Keywords: natural language processing ; sentiment analysis ; knowledge enhancement ; graph neural network ; Transformer

PDF (865KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

郑文军, 黎志昆, 韩守飞. 知识增强图Transformer的方面级情感分析. 浙江大学学报(工学版)[J], 2026, 60(6): 1269-1276 doi:10.3785/j.issn.1008-973X.2026.06.014

ZHENG Wenjun, LI Zhikun, HAN Shoufei. Aspect-based sentiment analysis via knowledge-enhanced graph Transformer. Journal of Zhejiang University(Engineering Science)[J], 2026, 60(6): 1269-1276 doi:10.3785/j.issn.1008-973X.2026.06.014

方面级情感分析(aspect-based sentiment analysis, ABSA)旨在识别文本中目标方面的情感极性. 当前研究主要沿着序列建模和图结构建模2条路线发展. 以LSTM和Transformer为代表的序列建模方法[1-5]借助注意力机制捕捉全局关键语义,但因缺乏显式结构约束,常导致方面词与情感词难以有效对齐. 基于句法依存树的图神经网络(graph neural network, GNN)方法[6-9]虽然能够利用句法捕捉局部结构依赖,但易受解析错误影响,且往往忽略边的语义信息. 为了弥补单一视角的不足,学者们开始探索Transformer和GNN的混合架构[10-13]或引入外部知识[14-21]进行增强. 现有的混合架构多采用简单的并行或串行结构,不能充分挖掘局部结构与全局语义间的层级互补关系. 知识的利用常停留在特征拼接层面,不能实现知识对模型推理过程的深度引导. 这导致当前模型普遍缺乏“先验知识引导-局部句法建模-全局语义推理”的层级化逻辑链条,在面对多跳依赖或情感歧义的复杂场景时表现受限.

为了设计能将外部情感知识与内部句法结构深度融合的统一模型,并通过层级化建模,协同实现“局部情感信号的精准定位”与“全局语义的逻辑推理”,本文提出知识增强的图Transformer网络(knowledge-enhanced graph Transformer network, K-GTNet). 构建知识增强的图结构,通过将外部情感知识与内部句法依赖共同编码至边权重,显式指导后续的图信息传播. 设计层级化的图Transformer模块. 底层的图计算层负责在知识图上聚合局部邻域信息,精准捕捉方面相关的局部情感线索. 顶层的Transformer层对图计算层输出的局部感知特征进行全局上下文建模,实现最终的语义推理与情感判定. 在5个公开数据集上的实验结果验证了K-GTNet的有效性与优越性.

1. 知识增强的图Transformer网络

1.1. K-GTNet模型概述

K-GTNet模型接收句子-方面二元组(Sw, Sa)作为输入,其中Sw ={w1, w2, $\cdots $, wn}表示长度为n的句子,方面项Sa ={a1, a2, $\cdots $, am}为句子Sw中连续的m个单词的序列. K-GTNet的目标是根据上下文Sw的内容正确预测Sa 的情感极性.

K-GTNet的整体架构如图1所示,主要由文本编码器模块(TEM)、知识增强模块(KEM)、图Transformer模块(GTM)和情感分类器模块(SCM)组成.

图 1

图 1   知识增强图Transformer的方面级情感分析模型架构

Fig.1   Model architecture of knowledge-enhanced graph Transformer for aspect-based sentiment analysis


1.2. 文本编码器模块

TEM的输入是句子-方面二元组(Sw, Sa). 采用BiLSTM和BERT作为文本编码器,提取隐藏的上下文表示. 对于BiLSTM编码器,输入表征包含3种类型的嵌入矩阵:单词嵌入矩阵$ \boldsymbol{E}\in {\bf{R}}^{n\times {{d}_{\text{e}}}} $、词性嵌入矩阵$ \boldsymbol{T}\in {\bf{R}}^{n\times {{d}_{\text{t}}}} $和位置嵌入矩阵$ \boldsymbol{P}\in {\bf{R}}^{n\times {{d}_{\text{p}}}} $,其中dedtdp分别为单词、词性和位置的嵌入维度.

对于单词嵌入矩阵E,使用GloVe将句子Sw={w1, w2, $\cdots $, wn}中的每个单词嵌入到指定维度的向量空间中,得到对应的嵌入矩阵E=[e1, e2, $\cdots $, em],其中$ {\boldsymbol{e}}_{i}\in {\bf{R}}^{{{d}_{\text{e}}}} $为单词wi对应的嵌入向量. 对于词性嵌入矩阵T,单词wi的词性标记(如名词或动词)被映射成可训练的词性向量$ {\boldsymbol{t}}_{i}\in {\bf{R}}^{{{d}_{\text{t}}}} $. 单词的位置向量$ {\boldsymbol{p}}_{i}\in {\bf{R}}^{{{d}_{\text{p}}}} $是根据句子的第i个单词与对应方面项的相对距离vi经映射后获得,vi的计算方式如下:

$ {v}_{i}=\begin{cases} \left| i-{j}_{\text{s}}\right| , \;i \lt {j}_{\text{s}};\\0,\;{j}_{\text{s}}\leqslant i\leqslant {j}_{\text{e}};\\\left| i-{j}_{\text{e}}\right| ,\;i \gt {j}_{\text{e}}.\end{cases} $

式中:i表示单词wi在句子中的索引位置,jsje为方面项在句子中开始和结束的索引位置.

将句子中所有单词的单词嵌入矩阵E、词性嵌入矩阵T和位置嵌入矩阵P拼接在一起,形成最终的输入表征$ \boldsymbol{X}=[{\boldsymbol{x}}_{1},{\boldsymbol{x}}_{2},\cdots ,{\boldsymbol{x}}_{n}]\in {\bf{R}}^{n\times ({{d}_{\text{e}}}+{{d}_{\text{t}}}+{{d}_{\text{p}}})} $,其中$ {\boldsymbol{x}}_{i}=[{\boldsymbol{e}}_{i},{\boldsymbol{t}}_{i},{\boldsymbol{p}}_{i}] $.X输入BiLSTM模型中,学习输入文本中单词的隐藏状态表示hi

$ \left. \begin{array}{l} \boldsymbol{h}_{i}^{\text{forward}}=\mathrm{LSTM}\left({\boldsymbol{x}}_{i},\boldsymbol{h}_{i-1}^{\text{forward}}\right),\\\boldsymbol{h}_{i}^{\text{backward}}=\mathrm{LSTM}\left({\boldsymbol{x}}_{i},\boldsymbol{h}_{i-1}^{\text{backward}}\right),\\{\boldsymbol{h}}_{i}=\left[\boldsymbol{h}_{i}^{\text{forward}},\boldsymbol{h}_{i}^{\text{backward}}\right]\in {\bf{R}}^{2{{{d}}_{\text{h}}}}.\end{array} \right\} $

式中:dh为单向LSTM输出的隐藏状态向量的维度. 将句子中n个单词的隐藏状态堆叠后,获得输入文本的上下文表示$ \boldsymbol{H}=[{\boldsymbol{h}}_{1},{\boldsymbol{h}}_{2},\cdots ,{\boldsymbol{h}}_{n}]\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $.

对于BERT编码器,构建句子-方面对,即将“[CLS] Sw [SEP] Sa [SEP]”作为编码器输入,获取上下文的方面感知隐藏表示. BERT通过动态上下文表征和深层语义建模,为词向量注入强大的语境理解能力. 在初始化词向量的过程中,省略词性嵌入和位置嵌入. TEM模块的输出是文本初始的上下文表征H.

1.3. 知识增强模块

KEM的输入是句子Sw={w1, w2, $\cdots $, wn}和SenticNet情感知识库. 使用Stanford CoreNLP工具包解析输入句子的句法依存关系,获得词对间的依存关系类型并构建依存关系类型树(本质上是特殊的图结构),得到句法知识邻接矩阵$ \boldsymbol{D}\in {\bf{R}}^{n\times n} $

$ {D}_{i,j}=\begin{cases} d,\;{w}_{i}、{{w}}_{j}\;间存在依赖;\\0,\;其他.\end{cases} $

式中:d表示单词wiwj之间的依赖类型(如名词主语nsubj或形容词修饰amod). 若wiwj之间不存在依赖关系,则邻接矩阵中的对应位置Di,j = 0. 统计语料库中各依赖类型的频次,升序排序,并将其映射为一个正整数,频次越高对应的正整数越大,进而得到句法强度矩阵$ {\boldsymbol{D}}^{\text{syntax}}\in {\bf{R}}^{n\times n} $.

在情感知识的获取上,使用SenticNet 7.0知识库. 针对句子中的每个单词wi,在SenticNet中进行精准匹配查找. 若wi存在于SenticNet中,则提取预定义的情感强度Sentic(wi),该值通常为−1~1. 对于那些未在SenticNet中收录的单词,情感强度被设置为0,以避免无关噪声的引入. 利用SenticNet知识库中单词的情感强度来增强邻接矩阵,得到情感增强矩阵$ \boldsymbol{S}\in {\bf{R}}^{n\times n} $

$ {S}_{i,j}=\text{Sentic}\;({w}_{i})+\text{Sentic}\;({w}_{j}). $

式中:$ \text{Sentic}\;({w}_{i})\in [-1,1] $表示单词wi在SenticNet中的情感强度值,$ \text{Sentic}\;({w}_{i})=0 $表示单词wi在SenticNet中为中性或不存在. 2个依存单词之间的情感信息是由其情感强度值之和得出的,使模型倾向于从情感强烈的单词中学习情感信息.

基于图神经网络的ABSA模型在构建图时经常忽略方面词的关注. 基于SenticNet知识库进一步增强上下文词与方面词之间的情感依赖,得到方面增强矩阵$ {\boldsymbol{S}}^{\text{aspect}}\in {\bf{R}}^{n\times n} $.

$ S_{i,j}^{\prime}=\begin{cases} 1,\;{w}_{i}\;或\;{{w}}_{j}\;是方面词;\\0,\;其他.\end{cases} $

$ S_{i,j}^{\text{aspect}}={S}_{i,j}+S_{i,j}^{\prime}+1 . $

将方面增强矩阵$ {\boldsymbol{S}}^{\text{aspect}} $与句法强度矩阵$ {\boldsymbol{D}}^{\text{syntax}} $进行整合,获得输入图计算层的知识强化矩阵$ \boldsymbol{A}\in {\bf{R}}^{n\times n} $

$ {A}_{i,j}=D_{i,j}^{\text{syntax}}+D_{i,j}^{\text{syntax}} S_{i,j}^{\text{aspect}} . $

1.4. 图Transformer模块

GTM以TEM输出的初始上下文表征H、KEM中构建的DA作为该模块的输入. GTM由3个部件串联组成:图计算层、中间层和Transformer层. 图计算层显式利用句法信息,强化方面项与直接情感词的关联. Transformer层全局搜索与方面相关的情感信号,处理跨句法分析、多跳路径的复杂依赖. 中间层用于弥合图模型与序列模型之间的输出差异. 上述过程的计算方式如下:

$ {\boldsymbol{G}}^{l}={\mathrm{GraphLayer}}^{(l)}\left({\boldsymbol{H}}^{l-1},\boldsymbol{A}\right) , $

$ {\boldsymbol{N}}^{l}=\mathrm{ReLU}\left({\mathrm{LayerNorm}}^{(l)}\left({\boldsymbol{G}}^{l}\right)\right) , $

$ {\boldsymbol{O}}^{l}={\mathrm{TransformerLayer}}^{(l)}\left({\boldsymbol{N}}^{l}\right) , $

$ {\boldsymbol{H}}^{l}={\boldsymbol{O}}^{l}+{\boldsymbol{H}}^{l-1} . $

式中:$ {\boldsymbol{H}}^{l-1}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $$ {\boldsymbol{H}}^{l}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $分别为第l−1和第l个图Transformer块(共L个块)输出的隐藏状态表示,$ {\boldsymbol{G}}^{l}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $$ \boldsymbol{O}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $分别为第l个块中的图计算层和Transformer层的输出,$ {\boldsymbol{N}}^{l}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $为第l个块的中间层的输出. 中间层主要由LayerNorm和ReLU 2个函数组成,Transformer层主要使用标准Transformer模型的编码器模块. 每个图Transformer块从开始到结束都有残差连接.

设计专门用于处理文本的图计算层. 如图1右侧所示为图计算层处理示例的过程. 图计算层的输入包含句法知识矩阵$ \boldsymbol{D}\in {\bf{R}}^{n\times n} $、知识强化矩阵$ \boldsymbol{A}\in {\bf{R}}^{n\times n} $和句子表征矩阵$ \boldsymbol{H}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $. 在信息传递之前,将依存关系类型树中的依赖类型嵌入到2dh维的向量空间,同时将H沿着行方向扩展为$ {\boldsymbol{H}}_{\text{row}}\in {\bf{R}}^{n\times n\times 2{{d}_{\text{h}}}} $.

信息的构造与传递过程如下:

$ {\boldsymbol{E}}_{\text{e}}={\mathrm{embedding}}_{\text{e}}\left(\boldsymbol{D}\right) , $

$ \boldsymbol{M}=\boldsymbol{A}\times \left({\boldsymbol{H}}_{\text{row}}+{\boldsymbol{E}}_{\text{e}}\right) . $

式中:$ {\boldsymbol{E}}_{\text{e}}\in {\bf{R}}^{n\times n\times 2{{d}_{\text{h}}}} $为节点间边的依赖类型的嵌入,$ \boldsymbol{M}\in {\bf{R}}^{n\times n\times 2{{d}_{\text{h}}}} $为与节点间边相对应的构造信息. 信息聚合的过程如下:

$ \boldsymbol{G}={f}_{{\mathrm{x}}}\left(\sum\limits_{j=1}^{n}{\boldsymbol{M}}_{j}\right) . $

式中:$ \boldsymbol{G}\in {\bf{R}}^{n\times 2{{d}_{\text{h}}}} $为节点聚合的输出结果,fx为多层感知机更新函数.

1.5. 情感分类器模块

SCM将GTM最后一层的输出Hl作为输入. 对来自同一方面项的单词向量进行平均池化,提取知识增强的方面表征. 计算方式如下:

$ {\boldsymbol{h}}_{\text{a}}=\dfrac{1}{m}\sum\nolimits_{j=1}^{m}\boldsymbol{H}_{{a}_{{j}}}^{l} . $

式中:$ {\boldsymbol{h}}_{\text{a}}\in {\bf{R}}^{2{{d}_{\text{h}}}} $为方面表征,aj为方面项中的第j个单词,m为方面项的长度. 对于BERT文本编码器的输出,额外执行方面词向量平均池化,得到初始语义方面表征$ \boldsymbol{h}_{{\mathrm{a}}}^{\text{embed}}\in {\bf{R}}^{2{{d}_{\text{h}}}} $. 将初始方面表征与知识增强方面表征拼接,得到最终方面表征$ {\boldsymbol{h}}_{\text{a}} $.

ha输入到softmax函数,计算其在各个情感类别上的概率分布:

$ y=\mathrm{softmax}\left(\boldsymbol{W}_{\text{h}}^{\text{T}}{\boldsymbol{h}}_{\text{a}}+{\boldsymbol{b}}_{\text{h}}\right) . $

式中:Whbh分别为全连接层的权重和偏置项. 使用交叉熵与L2正则化函数之和作为损失函数,采用反向传播算法进行训练.

1.6. K-GTNet复杂度分析

K-GTNet模型的整体计算复杂度主要受输入文本长度n、隐藏状态维度d及图Transformer模块的层数L影响. 在TEM中,若采用BERT,则复杂度由内部的自注意力机制和前馈网络主导,为$ O({n}^{2} d+ n {d}^{2}) $. 在KEM中,该模块的关键在于句法解析器和邻接矩阵的构建,总体时间复杂度为$ O({n}^{2}) $. GTM包含L个堆叠的块,每个块由图计算层和Transformer层构成. 图计算层的主要开销在于处理$ n\times n\times d $的信息矩阵,复杂度为$ O({n}^{2} d) $. Transformer层的复杂度在于自注意力机制和前馈网络,为$ O({n}^{2} d+n {d}^{2}) $. 整个GTM的时间复杂度为$ O(L ({n}^{2} d+n {d}^{2})) $. SCM模块仅涉及对方面词表征的池化操作和线性变换,计算量可以忽略. 综上,K-GTNet的整体时间复杂度为$ O(L ({n}^{2} d+n {d}^{2})) $,与主流Transformer模型的时间复杂度相当.

2. 实验分析

2.1. 数据集介绍

为了验证提出的K-GTNet的性能,在5个公共基准数据集上开展实验. 这5个数据集分别是SemEval 2014 Task 4中的Restaurant14和Laptop14,以及Twitter和SemEval 2015与2016中的Restaurant15和Restaurant16. 每条样本数据包含评论句子、方面项以及该方面项的情感极性. 每个方面项由一个或多个单词组成,情感极性有正向、负向和中性3种类别. 每个数据集都被划分成训练集和测试集,相关的统计信息如表1所示.

表 1   方面级情感分析数据集的统计信息

Tab.1  Statistical information of aspect-based sentiment analysis dataset

数据集正向负向中性
训练集测试集训练集测试集训练集测试集
Restaurant142164728807196637196
Laptop14994341870128464169
Twitter156117315601733127346
Restaurant159123262561823634
Restaurant1612404694391176930

新窗口打开| 下载CSV


2.2. 实验设置

在实验设置上,借助Stanford CoreNLP工具来解析句子的依存关系. 对于非BERT模型,采用预训练的GloVe向量,将每个单词映射到300维的向量空间,即de = 300. 为了使模型能够有效地捕捉句法与位置信息,同时控制计算开销,参数dtdp分别取为30和60. 根据在{30,60,80,100}范围内的对比表现,BiLSTM的隐藏层维度被设置为60. 在训练过程中,将批量大小设置为16,选用Adam优化器进行参数更新,将学习率设置为0.001. 为了抑制过拟合,引入系数为0.000 1的L2正则化项. 此外,所有句子的长度填充或截断至85,可以涵盖绝大多数句子的情感信息. 通过Xavier初始化网络权重,以加速训练过程并提高模型的收敛性. 对于BERT架构,采用“bert-base-uncased”模型,输出为768维词向量. 将输入格式调整为“[CLS] Sw [SEP] Sa [SEP]”,旨在显式引导句子和方向项之间的关系. 针对BERT的微调,使用更小的学习率2×10−5,并设置dropout率为0.5,降低模型过拟合风险.

2.3. 对比模型介绍

为了全面评估K-GTNet的性能,选择以下9个具有代表性的模型进行比较. SenticGCN[14]利用SenticNet情感知识,增强依存边权重. SSEGCN[22]通过构建注意力得分和句法掩码矩阵,增强图卷积网络. GMF-SKIA[23]采用门控机制,将外部情感知识动态融入方面与上下文依赖. KGAN[16]是结合外部知识图谱、句法和上下文信息的知识图谱增强网络. DualGCN[10]设计语义和句法双通道,捕捉结构与语义特征. TextGT[13]是串联图卷积网络和Transformer的方面级情感分析模型. DAGCN[11]基于距离衰减,修剪无关节点. WordTransABSA[20]借助掩码语言模型,检索情感词典. LOSIT[24]构建强化学习的意见诱导树. SenticGCN、GMF-SKIA、KGAN、WordTransABSA和LSOIT均融入了外部先验知识.

2.4. 实验结果与分析

提出的K-GTNet模型在5个数据集上的实验结果如表2所示. 其中,Acc为准确率. 结果表明,K-GTNet在5个数据集上均取得了较高的准确率和F1. 所选的数据集均来源于真实的用户评论和社交媒体推文,验证了K-GTNet在处理真实用户情感方面的有效性和稳健性.

表 2   在5个数据集上与基线模型的对比结果

Tab.2  Comparison result with baseline model on five datasets

嵌入方式模型Restaurant14Laptop14TwitterRestaurant15Restaurant16
AccF1AccF1AccF1AccF1AccF1
GloVeSenticGCN (2021)0.81340.73070.76020.72070.72540.70460.80630.65110.88960.7096
SSEGCN (2022)0.82930.75390.78480.74530.76120.74790.80260.65250.90580.7579
KGAN (2023)0.83250.75260.78280.74520.77270.76190.80760.62330.89220.7151
DualGCN (2024)0.82660.74450.76740.73560.75180.73710.80260.66850.89120.7416
TextGT (2024)0.83290.76640.77370.73420.75480.74090.79340.61610.87340.7273
DAGCN (2024)0.82040.73940.75790.71850.76670.75420.81370.65780.87180.6855
K-GTNet (本文)0.84270.77600.78160.74850.76930.75500.81470.66410.89980.7681
BERTSenticGCN (2021)0.85800.78400.77740.73360.74280.73290.84130.68030.90750.7461
SSEGCN (2022)0.85180.77420.80490.76830.77030.75990.84870.72610.92370.7654
GMF-SKIA (2023)0.84190.78360.78690.75570.74120.7321
KGAN (2023)0.86180.80850.81090.77770.80260.79390.85840.72940.92810.8141
TextGT (2024)0.85610.79940.81170.77710.77400.76160.85980.70750.91560.7762
DAGCN (2024)0.81950.70100.80850.77220.73410.72070.82840.63340.92370.7901
WordTransABSA (2024)0.85540.79110.78400.74830.74880.7651
LSOIT (2024)0.86070.80370.78990.75580.77600.7651
K-GTNet (本文)0.86420.81150.82010.78620.77870.76740.85690.72130.92750.8116

新窗口打开| 下载CSV


基于GloVe嵌入的K-GTNet在Restaurant14、Laptop14和Restaurant16数据集上的F1最优,在Twitter和Restaurant15上次优. 基于BERT嵌入的K-GTNet表现更佳,F1在Restaurant14和Laptop14上最优,在Twitter和Restaurant16上次优. 这种稳定且优秀的表现主要得益于K-GTNet通过外部情感知识和内部句法知识的双重驱动增强图结构,突破纯粹数据驱动模型的语义理解局限. 图计算层与Transformer层的深度融合有效增强了模型从局部到全局的文本建模能力,使模型能够更精准地捕获真实语言中的复杂情感信息.

相较于SSEGCN、DualGCN和TextGT等未注入外部知识的模型,K-GTNet在5个数据集上的平均F1提升了1.0%~4.0%,凸显了先验知识对语义补充和泛化能力强化的积极作用. BERT嵌入模型显著优于GloVe嵌入模型,证实了先验知识对强化模型能力和提升实际应用效果的积极作用.

与SenticGCN、GMF-SKIA和KGAN等注入外部知识的模型相比,K-GTNet在5个数据集上的平均F1提升了0.96%~3.2%,表明K-GTNet在外部知识利用方面效率更高. 这主要归因于K-GTNet将外部知识深度编码到邻接矩阵的边属性,实现情感信息与句法结构的深度融合;其次,图计算层与Transformer层的交替建模,实现了从局部到全局的层次化情感建模,显著增强了模型理解现实世界复杂情感表达的能力.

在Twitter数据集上,K-GTNet的表现略逊于KGAN. 这可能是因为KGAN依赖知识图谱实体推理,更适应口语化表达. 尽管如此,K-GTNet的整体表现依然优于KGAN,并在绝大多数的真实应用数据集上展现出更强的泛化能力和适用性.

2.5. 消融实验

为了评估K-GTNet各组件的贡献,在Restaurant14、Laptop14和Twitter 3个数据集进行消融实验. 实验结果如表3所示,完整的K-GTNet在3个数据集上均取得了最优表现.

表 3   K-GTNet的消融实验结果

Tab.3  Ablation experiment result of K-GTNet

模型Restaurant14Laptop14Twitter
AccF1AccF1AccF1
K-GTNet0.84270.77600.78160.74850.76930.7550
K-GTNet w/o Graph0.81960.72590.75480.71980.73630.7249
K-GTNet w/o Transformer0.80250.71020.73420.69360.71850.7082
K-TGNet0.81110.72880.75000.71200.73030.7211
K-GTNet w/o AK0.83290.76640.77370.73420.75480.7409
K-GTNet w/o SK0.82580.73070.76020.72130.74290.7228

新窗口打开| 下载CSV


移除图计算层(K-GTNet w/o Graph),导致F1分别下降了5.1%、2.87%和3.01%,这表明图计算层在句法图上传播情感信号,显式建模方面词与情感词的句法关联,对提升模型性能有重要作用. 移除Transformer层(K-GTNet w/o Transformer),导致F1下降更大(F1分别下降了4.72%、3.65%和3.39%),这证实了Transformer层对捕捉方面词与情感词之间跨距离语义关联和全局语义结构的重要性. 将图计算层与Transformer层的顺序调换(K-TGNet),导致性能下降. 这说明先经过图计算层显式建模句法结构,再由Transformer层整合全局语义的层级递进处理方式是更有效的,以避免破坏原始的结构信息. 此外,移除外部情感知识(K-GTNet w/o AK)或句法结构知识(K-GTNet w/o SK)均导致性能下降. 这表明2种先验知识对K-GTNet的性能增强至关重要,其中句法结构知识的贡献更显著,而外部情感知识提供了词级情感强度的补充指导.

2.6. 超参数分析

为了研究K-GTNet中GTM堆叠层数对模型性能的影响,在3个基准数据集上评估堆叠1~9层GTM的K-GTNet的准确率和F1. 如图2所示,L为层数,堆叠3层GTM的K-GTNet在Restaurant14和Laptop14数据集上取得最优结果,而堆叠7层GTM的K-GTNet在Twitter数据集上效果最佳. 主要原因是Restaurant14和Laptop14数据集为领域内产品评论,文本较长,句法结构较完整,方面词与情感词的依赖关系多通过显式句法路径连接,3层的K-GTNet足以覆盖依存图上2跳或3跳的句法依赖(如直接修饰词或间接修饰词),结合外部情感知识可以精准定位局部情感信号,避免模型过深导致噪声传播. Twitter文本较短,句法不完整(如省略主语、碎片化表达),方面词与情感词的关联常隐含在非结构化线索中. 浅层模型在Twitter数据集中难以从碎片化输入中提取足够多的语义信息,导致关键情感线索的表征不足.

图 2

图 2   GTM层数对准确率的影响

Fig.2   Effect of number of GTM layer on accuracy


2.7. 可视化分析

在ABSA中,注意力可视化可以直观展示模型是否正确捕捉方面词与情感词的依赖关系. 以句子“I definitely enjoyed the food as well”为例,其中“food”是方面项,且情感极性为正向. 注意力可视化结果如图3所示,颜色越深表示重要性越高. 其中,Satt为注意力分数. 从图3可以看出,“enjoyed”单词的颜色最深且是具有情感色彩的词汇,表明利用提出的K-GTNet,可以建立方面词与情感词之间的联系,并赋予情感词较高的注意力权重,进而准确识别方面项对应的情感极性. 对于“i”、“the”和“as”等无关词,其对应的颜色较浅,表明模型分配给它们的注意力权重较低,可以有效降低它们对方面极性预测的干扰.

图 3

图 3   注意力可视化结果

Fig.3   Attention visualization result


2.8. 时间性能分析

为了评估K-GTNet的计算效率,对时间成本进行分析. 各模型运行时间如表4所示. 其中,ttrainttest分别为单次完整训练与测试所需的时间.

表 4   在Laptop14数据集上的运行时间结果

Tab.4  Running time result on Laptop14 dataset

模型ttrain/sttest/s
SenticNet531.730.44
SSEGCN695.940.33
KGAN2786.242.44
DualGCN747.940.64
TextGT864.970.78
DAGCN1021.290.55
K-GTNet775.430.64

新窗口打开| 下载CSV


表4可以看出,K-GTNet的训练耗时为775.43 s. 与KGAN、TextGT和DAGCN相比,K-GTNet在训练效率上展现显著优势. 虽然K-GTNet的训练时间略长于SenticNet、SSEGCN和DualGCN等模型,但考虑到K-GTNet在模型性能(见表2)上的显著提升,该时间成本的适度增加在可接受范围内. 这表明尽管模型引入了外部知识和图Transformer结构,增加了部分计算量,但得益于高效的算法设计,总体时间成本依然保持在合理的区间内. 在测试阶段,K-GTNet的推理时间为0.64 s,与DualGCN持平,并优于TextGT. 这一响应速度足以确保模型在实际应用中快速部署,满足实时性需求. 综上所述,K-GTNet模型在保证性能优势的同时,计算效率也极具竞争力.

2.9. 案例分析

为了进一步验证K-GTNet的有效性,将K-GTNet与SenticNet、KGAN、TextGT、LSOIT模型的分类结果进行对比,具体结果如表5所示.

表 5   K-GTNet与对比模型在数据集上的案例分析结果

Tab.5  Case analysis result of K-GTNet and comparative model on dataset

序号句子真实极性SenticGCNKGANTextGTLSOITK-GTNet
1I trust the people at Go Sushi , it never disappoints .正向×
2mariah carey Welocmes Twins : Price William asked Kate Middleton if their
first public kiss as a married couple was ' , , .
中性×
3Put a SSD and use a 21 ' ' LED screen , this set up is silky smooth !中性,中性,正向√,×,√√,√,×√,×,×√,√,×√,√,√
4The Apple engineers have not yet discovered the delete key .负向×
5just started liking two songs i hated when they first came out - britney spears ,
sexy bitch - david guetta feat akon .
负向××

新窗口打开| 下载CSV


在案例1和5中,TextGT因为缺乏外部知识,容易忽略句子中“trust”隐性线索或被“started liking”误导,从而忽视“heated”初始的负面含义. K-GTNet通过引入外部情感知识与上下文全局推理,成功纠正此类误判,证明了该模型在捕捉深层语义方面的优势. 在案例2和4中,面对包含大量噪声的社交文本或“not yet discovered”复杂否定的结构,SenticGCN因过度依赖词典或浅层特征而失效. K-GTNet利用句法结构的显式约束过滤噪声,并将否定知识编码到图结构,准确界定了否定范围与情感倾向. 在案例3中,出现3个方面项且情感分布不一致. K-GTNet通过显式定位方面到情感的句法路径和Transformer层的全局对齐,实现了不同方面情感的精细化区分.

综合上述分析,K-GTNet在处理混合情感、隐性情感以及多方面情感时均展现出显著优势. 这归结于该模型对先验知识、局部建模和全局推理三者递进与互补关系的整合,弥补了传统方法在处理真实世界复杂文本时的局限.

3. 结 语

提出知识增强的图Transformer网络(K-GTNet),将外部情感知识与内部句法知识融合编码到图邻接矩阵的边依赖,结合图计算层的局部结构建模和Transformer层的全局语义推理,构建 “先验知识引导-局部句法建模-全局语义推理”的逻辑框架. 实验结果表明,K-GTNet在5个数据集上表现出极具竞争力的性能. 未来将探索图结构剪枝、Transformer层间参数共享的策略,在保持性能的同时降低计算成本.

参考文献

LIU X, HOU R, GAN Y, et al. Aspect-oriented opinion alignment network for aspect-based sentiment classification [C]//Proceedings of the 26th European Conference on Artificial Intelligence. Ohmsha: IOS, 2023: 1552-1559.

[本文引用: 1]

陈巧红, 孙佳锦, 漏杨波, 等

基于多任务学习与层叠Transformer的多模态情感分析模型

[J]. 浙江大学学报: 工学版, 2023, 57 (12): 2421- 2429

CHEN Qiaohong, SUN Jiajin, LOU Yangbo, et al

Multimodal sentiment analysis model based on multi-task learning and stacked cross-modal Transformer

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (12): 2421- 2429

WANG Y, HUANG M, ZHU X, et al. Attention-based LSTM for aspect-level sentiment classification [C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin: ACL, 2016: 606–615.

ZHAO A, YU Y

Knowledge-enabled BERT for aspect-based sentiment analysis

[J]. Knowledge-Based Systems, 2021, 227: 107220

DOI:10.1016/j.knosys.2021.107220      [本文引用: 1]

ZHANG Z, ZHOU Z, WANG Y. SSEGCN: syntactic and semantic enhanced graph convolutional network for aspect-based sentiment analysis [C]//Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Seattle: ACL, 2022: 4916–4925.

[本文引用: 1]

ZHU C, YI B, LUO L

Base on contextual phrases with cross-correlation attention for aspect-level sentiment analysis

[J]. Expert Systems with Applications, 2024, 241: 122683

DOI:10.1016/j.eswa.2023.122683     

程艳, 胡建生, 赵松华, 等

融合Transformer和交互注意力网络的方面级情感分类模型

[J]. 智能系统学报, 2024, 19 (3): 728- 737

DOI:10.11992/tis.202303016      [本文引用: 1]

HAN Y, ZHOU X, WANG G, et al

Fusing sentiment knowledge and inter-aspect dependency based on gated mechanism for aspect-level sentiment classification

[J]. Neurocomputing, 2023, 551: 126462

DOI:10.1016/j.neucom.2023.126462      [本文引用: 1]

WU H, ZHOU D, SUN C, et al

LSOIT: lexicon and syntax enhanced opinion induction tree for aspect-based sentiment analysis

[J]. Expert Systems with Applications, 2024, 235: 121137

DOI:10.1016/j.eswa.2023.121137      [本文引用: 1]

CHENG Yan, HU Jiansheng, ZHAO Songhua, et al

Aspect-level sentiment classification model combining Transformer and interactive attention network

[J]. CAAI Transactions on Intelligent Systems, 2024, 19 (3): 728- 737

DOI:10.11992/tis.202303016      [本文引用: 1]

PHAN H T, NGUYEN N T, HWANG D

Aspect-level sentiment analysis: a survey of graph convolutional network methods

[J]. Information Fusion, 2023, 91: 149- 172

DOI:10.1016/j.inffus.2022.10.004      [本文引用: 1]

SHANG W, CHAI J, CAO J, et al

Aspect-level sentiment analysis based on aspect-sentence graph convolution network

[J]. Information Fusion, 2024, 104: 102143

DOI:10.1016/j.inffus.2023.102143     

程艳芬, 吴家俊, 何凡

基于关系门控图卷积网络的方面级情感分析

[J]. 浙江大学学报: 工学版, 2023, 57 (3): 437- 445

CHENG Yanfen, WU Jiajun, HE Fan

Aspect level sentiment analysis based on relation gated graph convolutional network

[J]. Journal of Zhejiang University: Engineering Science, 2023, 57 (3): 437- 445

ZHAO X, PENG H, DAI Q, et al. RDGCN: reinforced dependency graph convolutional network for aspect-based sentiment analysis [C]//Proceedings of the 17th ACM International Conference on Web Search and Data Mining. Merida, Mexico: ACM, 2024: 976-984.

[本文引用: 1]

LI R, CHEN H, FENG F, et al

DualGCN: exploring syntactic and semantic information for aspect-based sentiment analysis

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35 (6): 7642- 7656

DOI:10.1109/TNNLS.2022.3219615      [本文引用: 2]

WANG Z, ZHANG B, YANG R, et al. DAGCN: distance-based and aspect-oriented graph convolutional network for aspect-based sentiment analysis [C]//Proceedings of the Findings of the Association for Computational Linguistics: NAACL 2024. Mexico City: ACL, 2024: 1863–1876.

[本文引用: 1]

CHEN B, OUYANG Q, LUO Y, et al. S2GSL: incorporating segment to syntactic enhanced graph structure learning for aspect-based sentiment analysis [C]//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Bangkok: ACL, 2024: 13366–13379.

YIN S, ZHONG G. TextGT: a double-view graph transformer on text for aspect-based sentiment analysis [C]//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto: AAAI, 2024: 19404-19412.

[本文引用: 2]

LIANG B, SU H, GUI L, et al

Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks

[J]. Knowledge-Based Systems, 2022, 235: 107643

DOI:10.1016/j.knosys.2021.107643      [本文引用: 2]

段文杰, 邓金科, 张顺香, 等

基于多层次知识增强的方面级情感分析模型

[J]. 智能系统学报, 2024, 19 (5): 1287- 1297

DOI:10.11992/tis.202308044     

DUAN Wenjie, DENG Jinke, ZHANG Shunxiang, et al

Aspect-based sentiment analysis model based on multilevel knowledge enhancement

[J]. CAAI Transactions on Intelligent Systems, 2024, 19 (5): 1287- 1297

DOI:10.11992/tis.202308044     

ZHONG Q, DING L, LIU J, et al

Knowledge graph augmented network towards multiview representation learning for aspect-based sentiment analysis

[J]. IEEE Transactions on Knowledge and Data Engineering, 2023, 35 (10): 10098- 10111

DOI:10.1109/TKDE.2023.3250499      [本文引用: 1]

何勇禧, 韩虎, 孔博

基于多依赖图和知识融合的方面级情感分析模型

[J]. 浙江大学学报: 工学版, 2024, 58 (4): 737- 747

HE Yongxi, HAN Hu, KONG Bo

Aspect-based sentiment analysis model based on multi-dependency graph and knowledge fusion

[J]. Journal of Zhejiang University: Engineering Science, 2024, 58 (4): 737- 747

WAN B, WU P, HAN P, et al

Aspect-based sentiment analysis by knowledge and attention integrated graph convolutional network

[J]. Applied Soft Computing, 2025, 171: 112763

DOI:10.1016/j.asoc.2025.112763     

BAI H, WANG D L, FENG S, et al

EKBSA: a Chinese sentiment analysis model by enhancing K-BERT

[J]. Journal of Computer Science and Technology, 2025, 40 (1): 60- 72

DOI:10.1007/s11390-024-2870-9     

JIN W, ZHAO B, ZHANG Y, et al

WordTransABSA: enhancing aspect-based sentiment analysis with masked language modeling for affective token prediction

[J]. Expert Systems with Applications, 2024, 238: 122289

DOI:10.1016/j.eswa.2023.122289      [本文引用: 1]

/