<img src="https://www.zjujournals.com/eng/images/1008-973X/images/logo.png" class="img-responsive">

图 1 课程学习框架

Fig.1 Curriculum learning framework

2. 方　法

如图2所示，所提基于课程学习框架的跨度级ASTE方法的网络架构由5个部分组成：基于课程学习框架的数据预处理、预训练模型、语句跨度提取、方面词和意见词双通道提取以及ASTE任务输出. 课程学习框架处理输入数据，预训练模型获得词的上下文表示，跨度模型生成所有可能的跨度，方面词提取（aspect term extraction, AE）模型和意见词提取（opinion term extraction，OE）模型提取所有的候选方面词和候选意见词，ASTE提取模型配对正确的方面词和意见词对并分类情感极性，其中POS、NEG和NEU分别对应积极、消极和中立的情感极性，WRONG表示方面词和意见词配对失败，不输出情感极性.

图 2

图 2 基于课程学习框架的跨度级方面情感三元组提取方法的网络架构

Fig.2 Network architecture for span-level aspect sentiment triplet extraction method based on curriculum learning framework

2.1. 任务定义

令句子$ S = \left\{ {{x_1},{x_2}, \cdots ,{x_n}} \right\} $，其中${x_1}, \cdots ,{x_n}$为n个词. ASTE任务的目标是提取方面意见情感三元组$ T{\text{ = }}\left\{ {{{\left( {a,o,s} \right)}_k}} \right\}_{k = 1}^{|T|} $，其中a为方面词，o为意见词，s为情感极性，$k$为集合$T$中的索引位置.

2.2. 课程学习框架

课程学习让模型先处理容易学习的数据，再逐渐增加数据的难度，帮助模型逐步学习复杂的特征和规律. 在自然语言处理中，按照句子长度排序是自然方法，原因是相比短句，长句更复杂，需要更强的推理和计算能力来处理. 课程学习方法可以帮助神经网络模型更快收敛，并提高模型的性能和泛化能力. 在实际应用中，课程学习方法还可以通过对如情感极性、主题的其他特征进行数据排序，以便更好地利用数据集中的信息.

如图3所示为所提课程学习框架在ASTE任务中的训练过程，图中的意见词均用斜体表现，3种情感极性均写在括号内，放在对应的方面词后面. 参考机器翻译的句子划分策略^[16-19]，将数据集按照句式由短至长排序后分为3份：$ {{Q_1}、{Q_2}、{Q_3}} $. 其中${Q_1}$包含句子长度小于10个字母的样本，如简短语句“Good food（POS） .”；${Q_2}$包含句子长度小于20个字母大于等于10个字母的样本，如较复杂语句 “A cheap eat（POS） for NYC , but not for dosa（NEG） .”；${Q_3}$包含句子长度大于等于20个字母的样本，如复杂语句 “For the next hour and a half we stood in the crowded lobby area（NEG） of this touristy restaurant listening to all types of explanations of why we were not being seated .”. 如算法1所示，定义判断模型是否收敛的函数来表现模型能力，如果模型收敛则本轮学习结束，可以输入更难的样本. 先将${Q_1}$送入模型训练，模型收敛后再送入${Q_2}$, 最后送入${Q_3}$. 通过逐渐增加课程学习框架的任务强度（先训练数据集中小且简单的样本，再加入更难样本，最终放入所有样本），帮助模型逐步学习语句更复杂的特征和规律.

图 3

图 3 课程学习在方面情感三元组提取任务中的训练过程

Fig.3 Training processes of curriculum learning in aspect sentiment triplet extraction tasks

算法 1　　课程学习

输入：${Q_1},{Q_2},{Q_3}.$

1. 计算是否收敛（模型）；

2. if 近3轮收敛阈值<0.01:

3. return True；

4. else：

5. return False；

6. 当前数据集= ${Q_1}；$

7. for 轮次 in range（总轮次）：

8. 训练模型（模型，当前数据集）；

9. 计算是否收敛（模型）：

10. break；

11. if 当前数据集= ${Q_1}$：

12. 当前数据集= ${Q_1}+ {Q_2}$；

13. else：

14. 当前数据集= ${Q_1}+ {Q_2}+ {Q_3}$；

输出：模型

2.3. 预训练模型

将RoBERTa^[18]作为预训练的语言模型来获取句子的上下文表示. 由于字词分割算法的引入，单词可能被标记为多个词段，导致模型误解词义. 采用均值池化的方法来聚合多个词段的表示. 具体而言，对于由多个词段组成的词，每个词段都有自己的上下文表示，将这些词段的表示求平均（将每个词段的表示相加，除以词段的数量），获得整个词的上下文表示，再将多个词段的信息进行综合表示. 这种方法允许综合考虑词段的上下文信息，提供更全面和准确的词表示，为后续的任务和分析提供更可靠的输入. 本实验采用RoBERTa模型的预训练权重，并结合均值池化的策略来获取最终的上下文词表示$w = \left\{ {{w_1},{w_2}, \cdots ,{w_n}} \right\}$.

2.4. 跨度模型

跨度模型是用于处理自然语言任务的模型，其主要作用是接受文本序列作为输入，预测出每个跨度的开始和结束位置，这些跨度可以表示方面词或意见词的信息. 相比序列标记方法，跨度模型方法可以结合更广泛的上下文信息和处理不同长度的文本序列，通过最大池化的方式来组合上下文表示. 给定包含n个标记的句子$S$，有m个可能的跨度，每个跨度${p_{i,j}} \in P$，定义为

$ {p_{i,j}} = \left\{ {{w_i};{w_j};{L_{\mathrm{l}}}\left( {i,j} \right)} \right\} . $

(1)

式中：$ {w_i} $为跨度的起始位置，$ {w_j} $为跨度的结束位置，$ {L_{\mathrm{l}}}\left( {i,j} \right) $表示跨度长度. 定义$ {L_m} $为跨度的最大长度限值，

$ {L_{{\mathrm{l}}}}\left( {i,j} \right) \leqslant {L_m} . $

(2)

跨度模型能够捕捉到每个跨度中最具代表性的信息量表示，有助于后续任务更好地理解和利用跨度的语义信息.

2.5. 方面词提取模型和意见词提取模型

方面情感三元组可以由方面词或意见词触发，方面词和意见词在文本中具有不同的语义和功能，因此模型在处理方面词或意见词时面临不同的挑战. 传统单通道只关注方面词或意见词中单个情况的触发词，导致提取方面、意见、情感三元时效果差. 本研究提出双通道结构来解码跨度表示，通道结构由方面词提取模型和意见词提取模型组成. 在方面词和意见词提取任务中，方面词提取和意见词提取子任务的结果为双通道跨度策略提供指导，根据预测的方面词和意见词跨度的分数确定方面词和意见词所在的位置范围. 方面词和意见词的概率求解式分别为

$ P\left( {\left. a \right|{p_{i,j}}} \right) = {\text{softmax}}\left( {{\mathrm{FFN}}{{\mathrm{N}}_a}\left( {{p_{i,j}}} \right)} \right) \text{，} $

(3)

$ P\left( {\left. o \right|{p_{i,j}}} \right) = {\text{softmax}}\left( {{\mathrm{FFN}}{{\mathrm{N}}_o}\left( {{p_{i,j}}} \right)} \right) . $

(4)

式中：$ P\left( {\left. a \right|{p_{i,j}}} \right) $为候选方面词在给定跨度$ {p_{i,j}} $下的概率，$ P\left( {\left. o \right|{p_{i,j}}} \right) $为候选意见词在给定跨度$ {p_{i,j}} $下的概率，$ {\text{softmax}} $为激活函数， ${\mathrm{ FFNN}} $为非线性激活的前馈神经网络. 将跨度$ {p_{i,j}} $作为输入，在AE模型中预测方面词$a \in \left\{ {{\text{True}},{\text{False}}} \right\}$，在OE模型中预测意见词$o \in \left\{ {{\mathrm{True}},{\mathrm{False}}} \right\}$，其中True表示正确的方面词或意见词，False表示不是方面词或意见词.

对于长度为n的句子$S$，需要考虑大量的跨度组合，跨度的数量为$O\left( {{n^2}} \right)$. 当考虑所有候选意见词和候选方面词跨度之间的相互作用时，可能的词对总数为$ O\left( {{n^4}} \right) $（即三元组模块）. 在计算中考虑所有可能的成对相互作用不切实际，为此采用基于跨度的方法，通过使用每个跨度的提取分数来选择候选方面词和候选意见词：

$ \phi a\left( {{p_{i,j}}} \right) = P\left( {\left. a \right|{p_{i,j}}} \right) \text{，} $

(5)

$ \phi o\left( {{p_{i,j}}} \right) = P\left( {\left. o \right|{p_{i,j}}} \right) .\;\;\; $

(6)

式中：$ \phi a\left( {{p_{i,j}}} \right) $为候选方面词的提取分数，$ \phi o\left( {{p_{i,j}}} \right) $为候选意见词的提取分数. 计算候选方面词和意见词的提取分数选择最高分的候选，将这些候选跨度存入方面词候选池${C^a} = \left\{ { \cdots ,c_{e,f}^a, \cdots } \right\}$和意见词候选池${C^o} = \left\{ { \cdots ,c_{m,n}^o, \cdots } \right\}$，其中上标分别代表方面词标注和意见词标注，下标分别代表方面词和意见词的索引位置，候选池为后续任务提供输入.

2.6. 方面情感三元组提取任务输出

将每个候选方面词跨度表示$c_{e,f}^a $与每个候选意见词跨度表示$c_{m,n}^o $配对，方面-意见对表达式为

$ {G_{c_{e,f}^a,c_{m,n}^o}} = \left[ {c_{e,f}^a;c_{m,n}^o;{L_{\mathrm{r}}}\left( {e,f,m,n} \right)} \right] . $

(7)

式中：$ {L_{\mathrm{r}}}\left( {e,f,m,n} \right) $为候选方面词跨度和候选意见词跨度之间的距离. 将方面-意见对表示输入前馈神经网络，确定$ c_{e,f}^a $和$ c_{m,n}^o $的情感极性$s \in R = \{ \rm{POS}, {\mathrm{NEG,NEU,WRONG}} \}$的概率. 取4种结果的最大概率作为情感极性，计算式为

$ P\left( {\left. s \right|c_{e,f}^a,c_{m,n}^o} \right) = {\mathrm{softmax}}\left( {{\mathrm{FFN}}{{\mathrm{N}}_s}\left( {{G_{c_{e,f}^a,c_{m,n}^o}}} \right)} \right) . $

(8)

配对后的方面词和意见词再进行情感分类，得到语句的方面词、对应的情感极性和意见词.

3. 实　验

3.1. 数据集

在ASTE-Data-V2数据集上验证所提模型的有效性. 该数据集包含4个子集：14LAP、14RES、15RES和16RES，均标注了方面词、情感极性和意见词的三元组信息. 如表1所示为这4个数据集的训练集、验证集和测试集的统计数据，其中N_S为句子的数量，N_POS、N_NEU和N_NEG分别表示正、中性和负三元组的数量. 如图4所示为4个子数据集中不同长度句子的数量统计图，其中${S_{\mathrm{w}}}$为句子中词的数量，$S$为句子数量. 数据集中各句子长度以包含字母的多少划分为3类：${Q_1}$、${Q_2}$、${Q_3}$，并在图中用虚线框标注出${Q_1}、{Q_2}、{Q_3}$的范围，使${Q_1}、{Q_2}、{Q_3}$的句子数量分布合理且均衡，保证模型的训练效果.

表 1 方面情感三元组提取数据集

Tab.1 Dataset of aspect sentiment triplet extraction

数据集	14LAP				14RES				15RES				16RES
数据集	N_S	N_POS	N_NEU	N_NEG	N_S	N_POS	N_NEU	N_NEG	N_S	N_POS	N_NEU	N_NEG	N_S	N_POS	N_NEU	N_NEG
训练集	1266	1692	166	480	906	817	126	517	605	783	25	205	857	1015	50	329
验证集	310	404	54	119	219	169	36	141	148	185	11	53	210	252	11	76
测试集	492	773	66	155	328	364	63	116	322	317	25	143	326	407	29	78

图 4

图 4 ASTE-Data-V2不同子数据集中的句子长度统计图

Fig.4 Sentence length statistics in different sub-datasets of ASTE-Data-V2

3.2. 实验设置

模型采用RoBERTa和BERT^[20]的基础版本. 设置RoBERTa的微调速率和其他模型的学习速率为1.0×10⁻⁵，最小批量大小为16，丢弃率为0.1，生成的跨度的最大长度为8；在NVIDIA 3090 GPU上训练的迭代轮次epoch=30.

3.3. 评价指标

采用ASTE任务性能中常用的3种评价指标：准确值P，召回率R和F1值来评价模型的综合性能，计算式分别为

$ P = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP}}+{\mathrm{FP}}}} ， $

(9)

$ R = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP}}+{\mathrm{FN}}}}， $

(10)

$ {\mathrm{F}}1 = \frac{{2 \times P \times R}}{{P+R}}. $

(11)

式中：$ {\mathrm{TP}} $为模型正确预测的正样本数量，$ {\mathrm{FP}} $为模型错误预测的正样本数量，$ {\mathrm{FN}} $为模型未能正确预测的正样本数量. F1用于衡量模型的性能，数值越大表示模型的准确性和完整性越好.

3.4. 基线模型

将所提模型与其他预训练模型的基准模型进行性能比较. 其中1）GAS^[4]提供了统一生成框架，将基于方面的情感分析任务转化为文本生成问题，分为注释式模式，和提取式模式. 2）BARTABSA^[3]将所有基于方面的情感分析(aspect-based sentiment analysis，ABSA)任务重新定义为由指针索引和情感类索引混合的序列，利用预训练的序列到序列模型来解决ABSA任务. 3）JET^[2]以新的位置感知标记方案来联合提取三元组的端到端模型；其因子化特征表示的设计能够有效地捕捉三重因子之间的相互作用. 4）B-MRC^[5]具有双向机器阅读理解结构，2个阅读理解模型先分别提取方面和意见，再分别由方面提取意见和意见提取方面互补分类情感极性. 5）Dual-MRC^[6]构建2个机器阅读理解问题，通过联合训练2个共享参数的BERT模型完成所有子任务. 6）GTS^[21]以网格标记方案来解决方面情感三元组提取问题，使用推理策略来利用不同意见元素之间的关联. 7）Span-ASTE^[7]采用双通道跨度修剪策略，通过重点考虑目标和意见之间的相互作用来预测情感关系.

3.5. 课程学习框架实验结果

对比GAS模型和引入课程学习框架的GAS模型在ASTE-Data-V2数据集上的识别效果，以验证课程学习框架的有效性. 如表2所示为GAS模型与引入课程学习框架3个阶段CL1、CL2和CL3后GAS模型的ASTE结果. 可以看出，课程学习框架训练初期由于训练数据少，模型性能较差；当整个课程学习训练结束时，引入课程学习框架的F1值在14LAP数据集上提升了1.45个百分点，在14RES数据集上提升了0.17个百分点，在15RES数据集上提升了1.82个百分点，在16RES数据集上提升了1.77个百分点. 在15RES训练集中，F1值更大，但是召回率相比原模型稍有下降，15RES的总体数据偏少且积极例子和消极例子数量差距大，是导致召回率下降的可能原因. GAS模型是基于T5^[22]预训练模型的模型，GAS将ABSA任务作为文本生成任务，说明使用课程学习框架在生成模型GAS上有效果.

表 2 GAS引入课程学习框架前后的方面情感三元组提取结果

Tab.2 Aspect sentiment triplet extraction results before and after GAS imported into curriculum learning framework

%
模型	14LAP			14RES			15RES			16RES
模型	P	R	F1	P	R	F1	P	R	F1	P	R	F1
GAS	63.45	55.62	59.27	71.77	70.95	71.75	61.33	60.82	61.08	68.32	72.18	70.20
GAS+CL1	53.77	41.99	47.16	63.14	62.25	62.69	53.15	52.16	52.65	60.63	56.61	58.55
GAS+CL2	63.54	56.17	59.63	69.34	68.22	68.78	58.10	59.18	58.63	65.18	68.09	66.60
GAS+CL3	64.34	57.64	60.72	72.56	72.06	71.92	60.61	65.36	62.90	70.11	73.93	71.97

如表3所示为Span-ASTE模型与引入课程学习框架3个阶段后Span-ASTE模型的ASTE结果. 可以看出，课程学习框架训练初期同样出现了训练数据少导致的模型效果不佳的情况；当整个课程学习训练结束时，引入课程学习框架的F1值在14LAP数据集上提升了0.25个百分点，在14RES数据集上提升了1.87个百分点，在15RES数据集上提升了2.02个百分点，在16RES数据集上提升了1.54个百分点. 14RES数据集数据比14LAP数据多，有更多的多方面词或者意见词组成的复杂句，因此课程学习框架训练使Span-ASTE模型在14RES数据集上的F1值更大，CL3阶段在4个子数据集中F1值虽然比不加课程学习更好，但是在14LAP的准确值和16RES的召回率下降，原因是14LAP和16RES的句子数量多，不同类的例子分化严重，出现积极例子远远大于中立和消极例子的情况. 在15RES中，CL3阶段召回率较CL2阶段的小，15RES总体数据偏少并且积极例子和消极例子数量差距大，是导致召回率下降的原因.

表 3 Span-ASTE引入课程学习框架前后的方面情感三元组提取结果

Tab.3 Aspect sentiment triplet extraction results before and after Span-ASTE imported into curriculum learning framework

%
模型	14LAP			14RES			15RES			16RES
模型	P	R	F1	P	R	F1	P	R	F1	P	R	F1
Span-ASTE	65.04	56.54	60.49	72.93	67.20	69.95	63.85	60.82	62.30	67.32	73.75	70.38
Span-ASTE+CL1	51.58	45.12	48.13	48.77	59.56	53.75	36.40	52.16	42.88	41.15	64.20	50.15
Span-ASTE+CL2	60.15	58.38	59.25	65.12	69.11	67.06	45.99	65.15	53.92	54.70	65.56	59.65
Span-ASTE+CL3	63.95	57.83	60.74	73.47	70.54	71.82	64.52	64.12	64.32	71.10	72.76	71.92

如表4所示为BARTABSA模型与引入课程学习框架3个阶段后BARTABSA模型的ASTE结果. 可以看出，除了15RES数据集，课程学习第2阶段模型的识别效果已经超过了BARTABSA模型的识别效果. BARTABSA模型基于BART^[23]预训练模型的生成模型，有编码器解码器的结构，有BERT更大的预训练数据量，这说明生成模型在训练数据偏少的情况下仍能达到很好的效果. 当整个课程学习训练结束时，引入课程学习框架的F1值在14LAP数据集上提升了1.7个百分点，在14RES数据集上提升了1.46个百分点，在15RES数据集上提升了0.82个百分点，在16RES数据集上提升了1.80个百分点，说明课程学习框架能够提高编码器解码器结构的网络识别效果.

表 4 BARTABSA引入课程学习框架前后的方面情感三元组提取结果

Tab.4 Aspect sentiment triplet extraction results before and after BARTABSA imported into curriculum learning framework

%
模型	14LAP			14RES			15RES			16RES
模型	P	R	F1	P	R	F1	P	R	F1	P	R	F1
BARTABSA	57.35	56.52	56.93	64.73	59.79	62.16	58.17	60.21	59.17	67.17	69.26	68.20
BARTABSA+CL1	59.88	56.23	58.00	59.23	55.64	60.25	58.30	56.49	57.38	66.23	69.46	67.81
BARTABSA+CL2	60.24	54.78	57.98	62.18	61.53	62.28	57.86	59.18	58.51	68.26	69.46	68.85
BARTABSA+CL3	61.56	57.10	58.63	65.86	62.39	63.62	60.29	61.03	60.66	69.20	70.82	70.00

如表5所示为SBN^[24]模型与引入课程学习框架3个阶段后SBN模型的ASTE结果.可以看出，课程学习框架训练初期由于训练数据少，导致模型效果不佳；当整个课程学习训练结束时，引入课程学习框架的F1值在14RES数据集上提升了1.06个百分点，在14LAP数据集上提升了6.65个百分点，在15RES数据集上提升了1.30个百分点，在16RES数据集上提升了0.62个百分点. 14RES数据集数据比14LAP数据偏多，包含多词组成的方面词和意见词却少很多，说明课程学习框架训练在更长跨度方面词或意见词提取时的效果更好.

表 5 SBN引入课程学习框架前后的方面情感三元组提取结果

Tab.5 Aspect sentiment triplet extraction results before and after SBN imported into curriculum learning framework

%
模型	14LAP			14RES			15RES			16RES
模型	P	R	F1	P	R	F1	P	R	F1	P	R	F1
SBN	68.42	72.22	70.27	74.55	56.94	64.57	63.21	60.41	61.78	70.32	71.83	71.11
SBN+CL1	46.43	72.22	56.52	40.43	64.58	49.73	43.56	49.71	46.43	56.31	60.37	58.27
SBN+CL2	56.52	72.22	63.41	54.82	63.19	58.71	57.63	52.98	55.21	65.96	67.84	66.89
SBN+CL3	71.42	83.33	76.92	75.00	58.33	65.63	64.37	61.84	63.08	70.11	73.43	71.73

3.6. 比较其他模型

如表6所示为所提模型和ASTE基线模型在ASTE任务上的结果，其中基线模型的结果都是极限模型原论文中的结果. 表中的预训练模型类型已分类，基线模型的结果均来自基线模型的论文. 可以看出，基于跨度的方法明显优于序列标记和阅读理解的方法，体现出跨度在方面级情感分析中的重要性；基于T5和BART生成模型的方法比其他BERT方法的结果好得多，原因可能是这2种生成模型的预训练数据量比BERT的多得多. 所提方法通过课程学习训练得到的结果明显优于不加入课程学习的结果，课程学习有助于模型进行领域的自适应，这种能力对于情感分析任务尤为重要. 在替换预训练模型RoBERTa作为文本编码器之后，各项数据结果又得到提升，RoBERTa相比BERT去掉了下一句预测任务，更加专注于句子中词与词的关系，这对于方面级情感分析中的方面词和意见词提取任务尤为重要. 所提方法与Span-ASTE的优势主要体现在文本编码器和课程学习训练，总体而言，所提方法在4个子数据集中均有良好的性能表现.

表 6 不同模型的方面情感三元组提取任务结果对比

Tab.6 Comparison of aspect sentiment triplet extraction task results from different models

%
模型	类型	14LAP			14RES			15RES			16RES
模型	类型	P	R	F1	P	R	F1	P	R	F1	P	R	F1
GAS^[15]	T5	—	—	60.78	—	—	72.16	—	—	62.10	—	—	70.10
BARTABSA^[14]	BART	61.41	56.19	58.69	65.52	64.99	65.25	59.14	59.38	59.26	66.60	68.68	67.62
JET^[15]	BERT	55.39	47.33	51.04	70.56	55.94	62.40	64.45	51.96	57.53	70.42	58.37	63.83
B-MRC^[18]	BERT	65.12	54.41	59.27	71.32	70.09	70.69	63.71	58.63	61.05	67.74	68.56	68.13
Dual-MRC^[19]	BERT	57.39	53.88	55.58	71.55	69.14	70.32	63.78	51.87	57.21	68.60	66.24	67.40
GTS^[29]	BERT	57.52	51.92	54.58	70.92	69.49	70.20	59.29	58.07	58.67	68.58	66.60	67.58
Span-ASTE^[18]	BERT	63.44	55.84	59.38	72.89	70.89	71.85	62.18	64.45	63.27	69.45	71.17	70.26
本研究	BERT	62.83	56.43	59.56	72.68	71.26	71.96	62.97	63.61	63.29	69.75	71.04	70.39
本研究（CL）	BERT	64.32	57.34	60.63	73.10	71.34	72.21	63.57	64.53	64.05	69.98	71.53	70.75
本研究	RoBERTa	65.87	56.17	60.64	74.49	72.31	73.38	63.12	64.37	63.74	70.81	72.36	71.58
本研究（CL）	RoBERTa	67.49	58.63	62.75	75.36	72.52	73.91	64.17	64.76	64.46	71.88	72.74	72.31

3.7. 错误分析

如图5所示为所提方法在不同预训练模型下的推理结果. 其中虚线矩形内为方面词，实线矩形内为意见词. 可以看出，基于跨度的方法能够提高多词的提取效果，却出现提取错误跨度的问题. 在BERT的预测中，“saag and paneer and korma”被识别为同一目标，这可能是句子的上下文中共享相似的情感信息，导致模型将这些单词合并为一个目标. RoBERTa模型只针对掩码任务训练，更专注与句子中词与词的关系,可以提升提取的准确性，因此选择RoBERTa模型作为所提方法的最终模型.

图 5

图 5 预训练模型的差异分析

Fig.5 Variance analysis of pre-trained models

3.8. 课程学习训练损失

模型每次训练的损失结果均反馈给模型进行优化^[25-26]，为此采用损失函数Loss来表征模型的收敛趋势. 如图6所示为未加入课程学习训练和加入课程学习训练的模型在14LAP和14RES数据集上的损失函数曲线对比图. 可以看出，在加入课程学习框架训练前期，Loss快速下降使得模型更快收敛，随后加入复杂样本训练，收敛速度下降，但是总体收敛速度相比未加入课程学习训练的快.

图 6

图 6 RoBERTa模型的训练损失函数曲线对比图

Fig.6 Comparison of training loss of RoBERTa model

4. 结　语

本研究提出基于课程学习框架的跨度级ASTE方法，以课程学习框架数据预处理加快模型收敛，提升模型性能；基于预训练模型BERT或RoBERTa学习句子的上下文表示；搭建跨度模型，提取句子中所有可能的跨度；基于双通道提取方面词和意见词，处理方面词和意见词的不同语境，筛选出正确的方面词和意见词组合并进行情感分类. 实验表明，所提方法在ASTE-Data-V2数据集上的性能表现良好，准确值、召回率和F1值均取得了较Span-ASTE模型更好的结果. 本研究成果可广泛应用于产品评论分析领域. 在后续研究中计划通过使用更细分的课程学习框架或者数据量更大的预训练模型，学习更精确的上下文表示，进一步提升模型的整体性能.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

PENG H, XU L, BING L, et al. Knowing what, how and why: a near complete solution for aspect-based sentiment analysis [C]// Proceedings of the AAAI Conference on Artificial Intelligence . Palo Alto: AAAI, 2020, 34(5): 8600–8607.

[2]

XU L, LI H, LU W, et al. Position-aware tagging for aspect sentiment triplet extraction [EB/OL]. (2021–03–09) [2024–01–29]. https://arxiv.org/abs/2010.02609.

[3]

YAN H, DAI J, QIU X, et al. A unified generative framework for aspect-based sentiment analysis [EB/OL]. (2021–06–08) [2024–01–29]. https://arxiv.org/abs/2106.04300.

[4]

ZHANG W, LI X, DENG Y, et al. Towards generative aspect-based sentiment analysis [C]// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers) . [S.l.]: Association for Computational Linguistics, 2021: 504–510.

[5]

CHEN S, WANG Y, LIU J, et al. Bidirectional machine reading comprehension for aspect sentiment triplet extraction [C]// Proceedings of the AAAI Conference on Artificial Intelligence . Palo Alto: AAAI, 2021, 35(14): 12666–12674.

[6]

MAO Y, SHEN Y, YU C, et al. A joint training dual-MRC framework for aspect based sentiment analysis [C]// Proceedings of the AAAI Conference on Artificial Intelligence . Palo Alto: AAAI, 2021, 35(15): 13543–13551.

[7]

XU L, CHIA Y K, BING L. Learning span-level interactions for aspect sentiment triplet extraction [EB/OL]. (2021–07–26) [2024–01–29]. https://arxiv.org/abs/2107.12214.

[8]

CHEN Z, QIAN T. Bridge-based active domain adaptation for aspect term extraction [C]// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) . [S.l.]: Association for Computational Linguistics, 2021: 317–327.

[9]

SUN K, ZHANG R, MENSAH S, et al. Aspect-level sentiment analysis via convolution over dependency tree [C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing . Hong Kong: Association for Computational Linguistics, 2019: 5679–5688.

[10]

ZHANG C, LI Q, SONG D. Aspect-based sentiment classification with aspect-specific graph convolutional networks [EB/OL]. (2019–10–13) [2024–01–29]. https://arxiv.org/abs/1909.03477.

[11]

PONTIKI M, GALANIS D, PAVLOPOULOS J, et al. SemEval-2014 task 4: aspect based sentiment analysis [C]// Proceeding of the 8th International Workshop on Semantic Evaluation . Dublin: Association for Computational Linguistics, 2014: 27–35.

[12]

PONTIKI M, GALANIS D, PAPAGEORGIOU H, et al. SemEval-2015 task 12: aspect based sentiment analysis [C]// Proceedings of the 9th International Workshop on Semantic Evaluation . Denver: Association for Computational Linguistics, 2015: 486–495.

[13]

PONTIKI M, GALANIS D, PAPAGEORGIOU H, et al. SemEval-2016 task 5: aspect based sentiment analysis [C]// Proceedings of the 10th International workshop on Semantic Evaluation . San Diego: Association for Computational Linguistics, 2016: 19–30.

[14]

BENGIO Y, LOURADOUR J, COLLOBERT R, et al. Curriculum learning [C]// Proceedings of the 26th Annual International Conference on Machine Learning . [S.l.]: Association for Computing Machinery, 2009: 41–48.

[15]

WANG X, CHEN Y, ZHU W

A survey on curriculum learning

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44 (9): 4555- 4576

[16]

PLATANIOS E A, STRETCU O, NEUBIG G, et al. Competence-based curriculum learning for neural machine translation [EB/OL]. (2019–03–06) [2024–01–29]. https://arxiv.org/abs/1903.09848.

[17]

TAY Y, WANG S, TUAN L A, et al. Simple and effective curriculum pointer-generator networks for reading comprehension over long narratives [EB/OL]. (2019–05–26) [2024–01–29]. https://arxiv.org/abs/1905.10847.

[18]

LIU Y, OTT M, GOYAL N, et al. RoBERTa: a robustly optimized BERT pretraining approach [EB/OL]. (2019–07–26) [2024–01–29]. https://arxiv.org/abs/1907.11692.

[19]

KOCMI T, BOJAR O. Curriculum learning and minibatch bucketing in neural machine translation [EB/OL]. (2017–07–29) [2024–01–29]. https://arxiv.org/abs/1707.09533.

[20]

DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-training of deep bidirectional transformers for language understanding [EB/OL]. (2019–05–24) [2024–01–29]. https://arxiv.org/abs/1810.04805.

[21]

WU Z, YING C, ZHAO F, et al. Grid tagging scheme for aspect-oriented fine-grained opinion extraction [EB/OL]. (2020–11–03) [2024–01–29]. http://arxiv.org/abs/2010.04640.

[22]

RAFFEL C, SHAZEER N, ROBERTS A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer [J]. The Journal of Machine Learning Research , 2020, 21: 1–67.

[23]

LEWIS M,LIU Y,GOYAL N,et al. BART: denoising swquence-to-sequence pre-training for natural language generation, translation, and comprehension [EB/OL]. (2019–10–29)[2024–01–29]. https://arxiv.org/abs/1910.13461.

[24]

CHEN Y, KEMING C, SUN X, et al. A span-level bidirectional network for aspect sentiment triplet extraction [C]// Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing . Abu Dhabi: Association for Computational Linguistics, 2022: 4300–4309.

[25]

JANOCHA K, CZARNECKI W M. On loss functions for deep neural networks in classification [EB/OL]. (2017–02–18) [2024–01–29]. https://arxiv.org/abs/1702.05659.