<img src="https://www.zjujournals.com/eng/images/1008-973X/images/logo.png" class="img-responsive">

图 1 时间序列示意图

Fig.1 Schematic diagram of time series

对时间序列 $ T' $进行极坐标编码：

(4) $ {\theta _i} = \arccos\; ({t_i'}) \text{，} $

(5) $ {r_i} = i/n . $

式中： $ {t_i'} $为归一化后时间序列的点， $ i $为时间序列中的时间戳， $ {\theta _i} $为极坐标系下时间序列某点的角度， $ {r_i} $为极坐标系下时间序列某点的半径. 通过式(4)、(5)把时间序列上的每一点转换为角度和半径表示.

如图2所示为图1中 $ T' $的极坐标编码. 例如，对0.5进行编码，其过程如下：根据式(4)可得 $ \arccos\; 0.5 = {60^ \circ } $，此时，式(5)中 $ i = 3 $， $ N = 5 $，半径为0.6，极坐标中点 $ (0.6,{60^ \circ }) $即为所求. 由式(5)和图2可得，随着时间的增加，点半径越来越大，逐渐远离圆心. 极坐标编码用半径的增加完全保留时间序列的时序性，用角度变化表示原时间序列的数值变化. 因此，使用时间序列点对极坐标角度关系重构Gram矩阵：

图 2

图 2 时间序列极坐标示意图

Fig.2 Schematic diagram of time series polar coordinates

(6) $ {\boldsymbol{G}}_{{\rm{t}}}=\left[\begin{array}{cccc}{\cos}\;({\theta }_{1}+{\theta }_{1})& {\cos}\;({\theta }_{1}+{\theta }_{2})& \cdots & {\cos}\;({\theta }_{1}+{\theta }_{n})\\ {\cos}\;({\theta }_{2}+{\theta }_{1})& {\cos}\;({\theta }_{2}+{\theta }_{2})&\cdots & {\cos}\;({\theta }_{2}+{\theta }_{n})\\ \vdots& \vdots& {}& \vdots\\ {\cos}\;({\theta }_{n}+{\theta }_{1})& {\cos}\;({\theta }_{n}+{\theta }_{2})& \cdots & {\cos}\;({\theta }_{n}+{\theta }_{n})\end{array}\right] . $

$ \begin{split} \cos \;({\theta _i}+{\theta _j}) =\;& \cos \;{\theta _i}\cos\; {\theta _j} \;-\; \sin\; {\theta _i}\sin\; {\theta _j} \;=\; \\ &{t_i} {t_j} - \sqrt {1 - {t_i}^2} \times \sqrt {1 - {t_j}^2}. \end{split}$

当 $ i = j $时，构成 ${\boldsymbol{G}}_{{\rm{t}}}$矩阵的对角线 $ \cos \;({\theta _i}+{\theta _i}) = $ $2{t_i}^2 - 1 $， ${\boldsymbol{G}}_{{\rm{t}}}$矩阵的对角线按照 ${t_1},{t_2},{t_3},\cdots, {t_n}$的顺序依次排列. 随着Gram矩阵位置从左上角到右下角的移动，时间序列数值被依次排入矩阵，保留了时间序列的时间依赖性，时间维度被编码到矩阵的几何结构中. 矩阵的每一个值相当于图像的像素点，通过Gram矩阵变换将每段时间序列转化为一张时间域图像. 如图3所示为正弦函数形式的时间序列矩阵变换后得到的时间域图像.

图 3

图 3 时间域图像示意图

Fig.3 Time domain image diagram

3. 时间域图像的T-CNN分类方法

将时间序列转化为Gram时间域图像，之后将其作为输入矩阵输进卷积神经网络中进行分类. 针对卷积神经网络存在卷积层计算复杂、训练速度慢的问题^[26]，提出基于Toeplitz矩阵乘积的方法来替换卷积层的卷积运算，并在损失函数中引入Triplet网络思想提高分类的效率和准确性.

3.1. 基于Toeplitz矩阵乘积的卷积运算

传统卷积运算如图4左侧所示，其中深色的方块代表卷积核矩阵，当卷积时，卷积核在待卷积图像上按设定步长依次移动，与卷积核重和的图像部分，相应进行乘积计算，直到卷积核遍历完整个图像，得到的矩阵即为卷积结果，计算复杂度极高. 针对该问题，引入Toeplitz矩阵乘积来替换卷积运算.

图 4

图 4 Toeplitz矩阵转换过程示意图

Fig.4 Schematic diagram of Toeplitz matrix transformation process

定义3 　Toeplitz矩阵. 每条自左上至右下的斜线上的元素相同的矩阵为Toeplitz矩阵，具有 ${{A}}_{i,j}={{A}}_{i+1,j+1}={a}_{i-j}$性质. 矩阵 $ {\boldsymbol{A}} $表达式如下：

(7) $ \boldsymbol{A}=\left[\begin{array}{cccccc}{a}_{0}& {a}_{-1}& {a}_{-2}& \cdots& \cdots& {a}_{-(n-1)}\\ {a}_{1}& {a}_{0}& {a}_{-1}& \ddots & & \vdots\\ {a}_{2}& {a}_{1}& \ddots & \ddots & \ddots & \vdots\\ \vdots& \ddots & \ddots & \ddots & {a}_{-1}& {a}_{-2}\\ \vdots& & \ddots & {a}_{1}& {a}_{0}& {a}_{-1}\\ {a}_{n-1}& \cdots& \cdots& {a}_{2}& {a}_{1}& {a}_{0}\end{array}\right] . $

如图4所示为Toeplitz矩阵转换过程示意图. 把卷积核矩阵按输入图像的行序依次展开，与输入图像重合部分卷积核直接保留，其他部分用零填充，卷积核每按步长移动一次得到新的卷积核展开矩阵，这些矩阵共同构成组合矩阵，即Toeplitz矩阵. 将输入图像按行序依次展开为列向量，Toeplitz矩阵的每行与列向量的乘积就等价于原始的一次卷积核卷积，使Toeplitz矩阵的乘积替换卷积运算.

3.1.1. Toeplitz卷积核矩阵构建

要将卷积计算替换为Toeplitz矩阵乘积的运算，首先须将卷积核矩阵H构建为Toeplitz卷积核矩阵H_t. 给出任意卷积核矩阵H：

(8) $ \boldsymbol{H}=\left[\begin{array}{cccc}{h}_{11}& {h}_{12}& \cdots & {h}_{1D}\\ {h}_{21}& {h}_{22}& \cdots & {h}_{2D}\\ \vdots& \vdots& {}& \vdots\\ {h}_{C1}& {h}_{C2}& \cdots & {h}_{CD}\end{array}\right] , $

其对应的Toeplitz卷积核矩阵构建步骤如下.

1) 将卷积核矩阵的每一行元素生成一个小Toeplitz矩阵，卷积核矩阵尺寸为 $ C \times D $，将卷积核矩阵 $ \boldsymbol{H} $分成C个Toeplitz矩阵，分别为 ${\boldsymbol{H}}_{0},{\boldsymbol{H}}_{1},{\boldsymbol{H}}_{2},{\boldsymbol{H}}_{3},\cdots,{\boldsymbol{H}}_{c-1}$. 其中 $ ，{\boldsymbol{H}}_{0} $为将 $ \boldsymbol{H} $的第1行第1列元素 $ {h_{11}} $进行零插值，插入零的个数为卷积核矩阵 $ \boldsymbol{H} $列数 $ D $减1，插值后结果作为 $ {\boldsymbol{H}}_{0} $的第1行. 然后对 $ {h_{12}} $进行插值作为 $ {\boldsymbol{H}}_{0} $的第2行，按照Toeplitz矩阵的性质进行插值，直至形成 $ 2 D - 1 $行后结束 $ {\boldsymbol{H}}_{0} $构建. 依次类推， $ {\boldsymbol{H}}_{i} $为对 $ \boldsymbol{H} $的第 $ i - 1 $行元素进行插值后得到的矩阵. 例如，卷积核矩阵 $ \boldsymbol{H}=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right] $，则 $ \boldsymbol{H} $分为2个矩阵 $ {\boldsymbol{H}}_{0}= \left[\begin{array}{cc}1& 0\\ 2& 1\\ 0& 2\end{array}\right] $和 $ {\boldsymbol{H}}_{1}=\left[\begin{array}{cc}3& 0\\ 4& 3\\ 0& 4\end{array}\right] $.

2) 将步骤1)中得到 $ C $个小Toeplitz矩阵按如下公式构成大的Toeplitz矩阵 ${\boldsymbol{H}}_{{\rm{t}}}$：

(9) $ {\boldsymbol{H}}_{{\rm{t}}}=\left[\begin{array}{ccccc}{\boldsymbol{H}}_{0}& {\boldsymbol{0}}& \cdots& {\boldsymbol{0}}& {\boldsymbol{0}}\\ {\boldsymbol{H}}_{1}& {\boldsymbol{H}}_{0}& \ddots & \vdots& \vdots\\ {\boldsymbol{H}}_{2}& {\boldsymbol{H}}_{1}& \ddots & {\boldsymbol{0}}& {\boldsymbol{0}}\\ \vdots& {\boldsymbol{H}}_{2}& \ddots & {\boldsymbol{H}}_{0}& {\boldsymbol{0}}\\ {\boldsymbol{H}}_{c-2}& \vdots& \ddots & {\boldsymbol{H}}_{1}& {\boldsymbol{H}}_{0}\\ {\boldsymbol{H}}_{c-1}& {\boldsymbol{H}}_{c-2}& \vdots& {\boldsymbol{H}}_{2}& {\boldsymbol{H}}_{1}\\ {\boldsymbol{0}}& {\boldsymbol{H}}_{c-1}& \ddots & \vdots& {\boldsymbol{H}}_{2}\\ {\boldsymbol{0}}& {\boldsymbol{0}}& \ddots & {\boldsymbol{H}}_{c-2}& \vdots\\ \vdots& \vdots& \ddots& {\boldsymbol{H}}_{c-1}& {\boldsymbol{H}}_{c-2}\\ {\boldsymbol{0}}& {\boldsymbol{0}}& \cdots & {\boldsymbol{0}} & {\boldsymbol{H}}_{c-1}\end{array}\right] . $

步骤1)中举的例子由式(9)得到 ${\boldsymbol{H}}_{{\rm{t}}} = \left[ \begin{array}{cc}{\boldsymbol{H}}_{0}& {\boldsymbol{0}}\\ {\boldsymbol{H}}_{1}& {\boldsymbol{H}}_{0}\\ {\boldsymbol{0}}& {\boldsymbol{H}}_{1}\end{array} \right],$其中0表示尺寸为 $ 3 \times 2 $的零矩阵.

3.1.2. Toeplitz矩阵的卷积运算

由3.1.1得到Toeplitz卷积核矩阵 ${\boldsymbol{H}}_{{\rm{t}}}$之后，使用如下公式将传统卷积计算替换为基于Toeplitz矩阵乘积的卷积运算：

(10) $ \boldsymbol{X}*\boldsymbol{H}={\boldsymbol{H}}_{{\rm{t}}}\times {\boldsymbol{X}}_{{\rm{T}}} . $

式中： $\boldsymbol{X}=\left[\begin{array}{cccc}{x}_{11}& {x}_{12}& \cdots & {x}_{1B}\\ {x}_{21}& {x}_{22}& \cdots & {x}_{2B}\\ \vdots & \vdots &{} & \vdots \\ {x}_{A1}& {x}_{A2}& \cdots & {x}_{AB}\end{array}\right]$为待卷积矩阵， $\boldsymbol{H}=\left[\begin{array}{cccc}{h}_{11}& {h}_{12}& \cdots & {h}_{1D}\\ {h}_{21}& {h}_{22}& \cdots & {h}_{2D}\\ \vdots & \vdots & {} & \vdots \\ {h}_{C1}& {h}_{C2}& \cdots & {h}_{CD}\end{array}\right]$为卷积核， ${\boldsymbol{X}}_{{\rm{T}}}$为 $\boldsymbol{X}$的所有元素按行的顺序依次排列得到的列向量. 采用Full卷积方式，将待卷积矩阵四周都进行零填充，结果返回卷积以后的全部数据，卷积结果矩阵的行数为 $ M = A+C - 1 $，列数为 $ N = B+D - 1 $.

例如， $\boldsymbol{X}=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]$，则 ${\boldsymbol{X}}_{{\rm{T}}}={\left[5, 6, 7, 8\right]}^{\rm{T}}$，采用卷积计算方式，可以得到

$ \boldsymbol{X}\boldsymbol{*}\boldsymbol{H}=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]\boldsymbol{*}\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]=\left[\begin{array}{ccc}5& 16& 12\\ 22& 60& 40\\ 21& 52& 32\end{array}\right]. $

基于Toeplitz矩阵的卷积运算可以得到

$ \begin{split} {\boldsymbol{H}}_{{\rm{t}}}\times {\boldsymbol{X}}_{{\rm{T}}}=&\left[\begin{array}{cc}{\boldsymbol{H}}_{0}& 0\\ {\boldsymbol{H}}_{1}& {\boldsymbol{H}}_{0}\\ 0& {\boldsymbol{H}}_{1}\end{array}\right]\times {\left[5, 6, 7, 8\right]}^{\rm{T}}=\\ &{\left[5, 16, 12, 22, 60, 40, 21, 52, 32\right]}^{\rm{T}}. \end{split} $

再按 $ M = A+C - 1 = 3 $和 $ N = B+D - 1 = 3 $，将计算得出的列向量改写为 $ 3 \times 3 $的矩阵，发现与卷积计算得到的结果相同.

通过Toeplitz矩阵的乘积可以有效地替换卷积运算. 在时间复杂度方面，输入图像尺寸为 $ A \times B $，卷积核尺寸为 $ C \times D $，卷积运算需要卷积核不断遍历图像，计算 $ A \times B \times C \times D $次乘法. 在使用Toeplitz矩阵的乘积计算时，只须计算一次矩阵相乘，由图4可得，矩阵的0元素不进行计算，每行实际计算 $ C \times D $次乘法，共有卷积核遍历次数行，总进行约 $ A \times B \times C \times D $次乘法计算. 因此，在单次卷积计算时，2种方法的计算量大致相同，但在传统卷积中每次有新的图像输入时，须进行大量移位操作，增加运算时间，而Toeplitz矩阵的卷积运算在具体分类时，只须依据给定卷积核构建一次对应的Toeplitz矩阵，就可以直接对输入的所有图像进行矩阵乘积计算，得到卷积结果，对于有大量样本集和测试集的数据集可以较大幅度减少卷积操作的时间.

3.2. T-CNN模型分类

CNN网络的全连接层在进行收敛运算时，须使用损失函数进行约束. 在训练模型的损失函数中引入Triplet网络思想，构建T-CNN模型进行时间序列分类.

设由 $ m $个时间序列样本组成的样本集为 $\{ ({x^{(1)}},{{\boldsymbol{y}}^{(1)}}),({x^{(2)}},{{\boldsymbol{y}}^{(2)}}),\cdots,({x^{(m)}},{{\boldsymbol{y}}^{(m)}})\}$，将此样本集包含的样本划分为 $ n $类， $ {{\boldsymbol{y}}^{(i)}} $表示 $ {x^{(i)}} $的期望输出，CNN的损失函数如下：

(11) $ R({\boldsymbol{\omega}} ,{\boldsymbol{b}}) = \frac{1}{m}\sum\limits_{i = 1}^m {(\frac{1}{2}||{{\boldsymbol{p}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}({x^i}) - {{\boldsymbol{y}}^{(i)}}|{|^2})} . $

式中： $ {\boldsymbol{\omega}} $为每个神经元的权值^[27]， $ {\boldsymbol{b}} $为偏置量， $ {{\boldsymbol{p}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}({x^i}) $为样本实际输出. CNN模型通过训练不断反向调节参数 $ {\boldsymbol{\omega}} $和 $ {\boldsymbol{b}} $，使 $ R({\boldsymbol{\omega}} ,{\boldsymbol{b}}) $达到最小.

CNN使用梯度下降法对 $ R({\boldsymbol{\omega}} ,{\boldsymbol{b}}) $进行调参，具体如下：

(12) $ {\omega _{ij}} = {\omega _{ij}} - a\frac{\partial }{{\partial {\omega _{ij}}}}R({\boldsymbol{\omega}} ,{\boldsymbol{b}}) \text{，} $

(13) $ {b_{ij}} = {b_{ij}} - a\frac{\partial }{{\partial {b_{ij}}}}R({\boldsymbol{\omega}} ,{\boldsymbol{b}}) . $

式中： $ a $为学习率. 为了提高分类准确性，在损失函数中引入Triplet 网络思想进行约束，提出基于Triplet损失函数的T-CNN模型. T-CNN模型思想是每次输入3张时间域图像，其中有2张属于同类，1张属于其他类别. T-CNN模型通过训练得到时间域图像的特征，可以得到同类的2张图像特征的差异函数 $ {L_1} $和不同类的2张图像特征的差异函数 $ {L_2} $，使用 $ {L_1} $和 $ {L_2} $继续调整T-CNN模型的参数. $ {L_1} $和 $ {L_2} $表达式如下：

(14) $ {L_1} = \frac{1}{2}||{{\boldsymbol{p}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}^{({l_1})} - {{\boldsymbol{p}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}^{({l_2})}|{|^2} \text{，} $

(15) $ {L_2} = \frac{1}{2}\min \;||{{\boldsymbol{n}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}^{(l)} - {{\boldsymbol{p}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}^{({l_i})}|{|^2};\;i = 1,2 . $

式中： $ {{\boldsymbol{p}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}^{({l_i})} $为同类图像的输出值， $ {{\boldsymbol{n}}_{{\boldsymbol{\omega}} ,{\boldsymbol{b}}}}^{(l)} $为不同类图像的输出值.

由式(14)和(15)可以看出，在每次反向迭代中， $ {L_1} $会使同类的特征差异变小， $ {L_2} $会使不同类的特征差异变大. 在此基础上，提出基于Triplet的损失函数：

(16) $ L({\boldsymbol{\omega}} ,{\boldsymbol{b}}) = R({\boldsymbol{\omega}} ,{\boldsymbol{b}})+\alpha {L_1} - \beta {L_2} . $

式中： $ \alpha 、\beta $为大于零的系数. 从而使用BP算法得到新的每一层的残差：

(17) $ {\omega _{ij}} = {\omega _{ij}} - a\frac{\partial }{{\partial {\omega _{ij}}}}L({\boldsymbol{\omega}} ,{\boldsymbol{b}}) \text{，} $

(18) $ {b_{ij}} = {b_{ij}} - a\frac{\partial }{{\partial {b_{ij}}}}L({\boldsymbol{\omega}} ,{\boldsymbol{b}}) . $

在基于Triplet网络的T-CNN模型的损失函数中，加入同类间特征差异函数和不同类间特征差异函数，使权值调整的过程参数更快提取差异较大的特征. $ L({\boldsymbol{\omega}} ,{\boldsymbol{b}}) $的偏导数可以使反向传播残差计算得到新的参数 $ {\boldsymbol{\omega}} $和 $ {\boldsymbol{b}} $，每一次迭代就更倾向于梯度下降方向，能够更快地让模型达到收敛，提高分类效率. 同时由于在损失函数中加入同类和不同类的差异函数，考虑了样本之间类别的差异，在实际训练时同类样本的特征提取更为精确，同类样本间距离越来越近，不同类别样本间距离越来越大，能够更清晰地划分不同类间的界限，提高分类的准确性.

4. 实验分析

实验数据集采用矿山微震大数据平台产生的10万条时间序列数据，感知器采样频率为1000条/s. 数据集包含3种类型的矿山微震信号的时间序列事件波形. 训练集规模占总数据集的40%，测试集规模占总数据集的60%，模型训练框架为Tensorflow，实验软硬件环境如表1所示.

表 1 实验软硬件环境

Tab.1 Software and hardware environment

环境	配置
CPU	Intel Core（TM）i7-7500U
内存	8 GB
硬盘容量	1 TB
操作系统	Windows 8.1 (64bit)
编程语言	Java
JDK版本	1.7.0_45

新窗口打开| 下载CSV

为了防止局部过收敛，卷积神经网络结构设置2层卷积层. 卷积层1采用大小为 $ 5 \times 5 $的卷积核，最大池化的窗口大小为 $ 3 \times 3 $. 卷积层2采用大小为 $ 3 \times 3 $的卷积核，最大池化的窗口大小为 $ 2 \times 2 $. 卷积层2之后是一个标准的全连接层，此层的激活函数使用ReLU，该激活函数计算快速，使CNN模型能较快收敛，损失函数采用基于Triplet的损失函数. 时间域图像经过T-CNN卷积神经网络输出结果 $ p = \{ {p_1},{p_2},{p_3}\} $， $ {p_1}、{p_2}、{p_3} $分别表示数据集中3种类型的概率. 使用 $ {\rm{type}} = S(\max\;(p)) $判断类别，其中函数 $ S $为一个阈值函数，反复试验后定阈值为0.8. 当 $ \max\;(p) $大于函数 $S$设定的阈值时才输出目标类别. 为了使实验结果更加可靠，在实验过程中采用了10折交叉验证，最终结果取10次的平均值.

4.1. 模型迭代次数对比

T-CNN模型通过不断前向传导调节模型至最优状态，其中主要可调参数为学习率和迭代次数. 此实验过程中设置学习率为0.005，调节迭代次数. 如图5所示为不同迭代次数下时间域图像分类准确性的变化，准确率为分类正确的样本数占总体样本数的比例. 图中，I_t为迭代次数，Acc为分类准确率. 可以看出，当迭代次数在40次以内时，分类总准确性提高较快；当迭代次数为40~70次时，分类总准确性提高幅度变缓；当迭代次数为70次时，分类总准确性最高，约为93%；当迭代次数大于70次时，分类总准确性下降. 由此得知，迭代次数的增加在一定范围内能提高分类精度，但超过范围后会导致模型过拟合，分类准确性下降.

图 5

图 5 T-CNN模型迭代次数结果图

Fig.5 Result diagram of T-CNN model iteration times

4.2. 分类准确率对比

如图6所示为分类模型分类准确率对比图. 图中，D_q为数据量. 对比方法为符号化聚合近似SAX方法^[15]、趋势转折点TTP方法^[16]、时间域距离TDD方法^[17]、CNN模型方法^[20]、门控机制的LSTM模型^[21]和多头自注意力机制的Transformer模型^[22]. 其中，SAX采用每5个数据点聚合成一个符号；TTP选取包括最大值在内的最大3个转折点和包括最小值在内的最小3个转折点；TDD设定距离阈值为0.5；CNN模型结构和参数设置和T-CNN模型相同；LSTM隐藏层数目为512；Transformer采用默认设置. 后续实验都采用上述实验参数设置. 由图6可知，随着数据量的增加，7种方法分类准确率都在提高后趋于平缓. T-CNN模型由于使用Gram矩阵将时间序列转换为时间域图像，可以完整的保留时间序列的属性，分类准确率要明显好于其他方法.

图 6

图 6 不同分类模型分类准确率对比图

Fig.6 Comparison of classification accuracy of different classification models

4.3. 分类精确率对比

精确率为预测为某类别的样本数中真正为此类样本的占比，表达式如下：

(19) $ {P_i} = {n_{ii}}\left/{\sum\limits_{j = 1}^{{n_{\rm{c}}}} {{n_{ji}}}}\right. . $

式中： $ {n_{ij}} $为类别 $ i $预测为第 $ j $类的样本数， $ {n_{\rm{c}}} $为样本类别数.

将求出各类别的精确率 $ {P_i} $求平均值，得到分类的平均精确率P. 如图7所示为T-CNN、SAX^[15]、TTP^[16]、TDD^[17]、CNN^[20]、LSTM^[21]和Transformer^[22]7种方法的分类精确率对比图. 可以看出，随着数据量的增加，各模型分类精确率随之增加. T-CNN模型由于改进损失函数，分类精确率要明显好于其他方法.

图 7

图 7 不同分类模型分类精确率对比图

Fig.7 Comparison of classification precision of different classification models

4.4. 分类查全率对比

查全率为某一类别样本中被检测出来的占比：

(20) $ {R_i} = {n_{ii}}\left/{\sum\limits_{j = 1}^{{n_{\rm{c}}}} {{n_{ij}}}}\right. . $

将求出各类别的查全率 $ {R_i} $求平均值，得到分类的平均查全率R. 如图8所示为T-CNN、SAX^[15]、TTP^[16]、TDD^[17]、CNN^[20]、LSTM^[21]和Transformer^[22]7种方法分类查全率的对比图. 可以看出，随着数据量的增加，各方法分类查全率随之增加. T-CNN模型由于Gram的无损转化机制，且改进损失函数，分类查全率要明显好于其他方法.

图 8

图 8 不同分类模型分类查全率对比图

Fig.8 Comparison of classification recall of different classification models

4.5. F1值对比

F1值是精确率和查全率的调和平均：

(21) $ {{\rm{F}}1}_{{(i)}} = 2 \times \frac{{{P_i} {R_i}}}{{{P_i}+{R_i}}} . $

将求出各类别的 $ {{\rm{F}}1}_{{(i)}} $求平均值，得到分类的平均F1值. 如图9所示为T-CNN、SAX^[15]、TTP^[16]、TDD^[17]、CNN^[20]、LSTM^[21]和Transformer^[22]7种方法的F1值对比图. 可以看出，随着数据量的增加，各方法分类的F1值随之增加. 由于改进损失函数，T-CNN模型的分类查全率要明显好于其他方法的.

图 9

图 9 不同分类模型F1值对比图

Fig.9 F1 comparison of different classification models

4.6. 分类效率对比

如图10所示为T-CNN、SAX^[15]、TTP^[16]、TDD^[17]、CNN^[20]、LSTM^[21]和Transformer^[22]7种方法对单个时间序列进行分类的效率对比图. 图中，t_c为分类时间. 可以看出，随着数据量的增加，T-CNN和CNN模型加快收敛速度，分类时间会有所减少. SAX采用聚合思想，在对时间序列分段后，变为字母序列再分类，牺牲了分类的准确性，因此分类速度最快. TTP须寻找极值点和转折点，比SAX分类慢. TDD要对所有数据点进行距离计算，分类时间比SAX和TTP要多. CNN模型由于卷积运算和参数不断迭代计算，分类速率最慢. 而T-CNN模型在卷积层使用Toeplitz矩阵计算，并改进损失函数，收敛速率加快，相对CNN模型减少了近50%的分类时间.

图 10

图 10 不同分类模型分类效率对比图

Fig.10 Comparison of classification efficiency of different classification models

4.7. Toeplitz卷积与传统卷积运行时间对比

对基于Toeplitz矩阵乘积卷积和传统卷积进行运算时间对比，实验过程中取 $ 3\times 3 $尺寸卷积核计算卷积，将时间序列长度从10到100依次截取，基于Gram矩阵转化后的时间域图像尺寸从 $ 10\times 10 $到 $ 100\times 100 $. Toeplitz卷积和传统卷积对不同尺寸的时间域图像卷积的运行时间对比图如图11所示. 图中，TSL为选取的时间序列长度，t_r为运行时间. 可以看出，在时间域图像尺寸为10~40时，传统卷积和Toeplitz卷积的运行时间均变化较为平缓，当时间域图像尺寸大于40后，2种卷积的运算时间增加变快. 整体上，在图像尺寸为 $ 10\times 10 $~ $ 100\times 100 $时，Toeplitz卷积运算的时间小于传统卷积运算的时间. 因此，在卷积神经网络分类处理时，使用Toeplitz卷积替换传统卷积运算能加快模型的训练速度.

图 11

图 11 Toeplitz卷积与传统卷积运行时间对比图

Fig.11 Comparison of Toeplitz convolution and traditional convolution running time

5. 结　语

基于Gram矩阵的T-CNN时间序列分类方法对时间序列用小波阈值去噪后，使用Gram矩阵将时间序列无损转换为时间域图像；将时间域图像作为输入矩阵输入到T-CNN模型进行分类，在卷积层中引入Toeplitz卷积核矩阵，用2个矩阵的乘积替换卷积运算；在全连接层引入Triplet网络思想中同类和不同类图片的输出差值来改进CNN的损失函数. 实验表明，基于Gram矩阵的T-CNN时间序列分类方法在分类的准确率、精确率、查全率、F1值上均优于现有方法. 但在基于Gram矩阵转化时间序列进行分类时，须对时间序列进行分段截取处理，下一步将考虑在连续时间序列流上进行相似的分类方法.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

ANE B, ANGEL C, USUE M, et al

A review on outlier/anomaly detection in time series data

[J]. ACM Computing Surveys, 2021, 54 (3): 1- 33

[2]

杜晓昕, 王浩, 崔连和, 等

基于聚类和探测精英引导的蜻蜓算法

[J]. 浙江大学学报:工学版, 2022, 56 (5): 977- 986

DU Xiao-qin, WANG Hao, CUI Lian-he, et al

Dragonfly algorithm based on clustering and detection elite guidance

[J]. Journal of Zhejiang University: Engineering Science, 2022, 56 (5): 977- 986

[3]

HOUSHANG D, GEORGIANA I, DIEGO F S, et al

Guest editorial for special issue on time series classification

[J]. IEEE/CAA Journal of Automatica Sinica, 2019, 6 (6): 1291- 1292

DOI:10.1109/JAS.2019.1911741 [本文引用: 1]

[4]

KABYLDA A

Future of oil and gas trade of Kazakhstan in the European Union context: application of time series analysis

[J]. Visegrad Journal on Bioeconomy and Sustainable Development, 2020, 9 (2): 55- 60

DOI:10.2478/vjbsd-2020-0011 [本文引用: 1]

[5]

LUO H, SUN K X, WANG J L, et al

Multistage identification method for real-time abnormal events of streaming data

[J]. International Journal of Distributed Sensor Networks, 2019, 15 (12): 12119- 12132

[6]

HAMDI Y, REEM A D

A novel trend based SAX reduction technique for time series

[J]. Expert Systems with Applications, 2019, 130: 113- 123

DOI:10.1016/j.eswa.2019.04.026 [本文引用: 1]

[7]

HUGUES T, MINA B, CHRISTIAN L, et al

InterpretTime: a new approach for the systematic evaluation of neural-network interpretability in time series classification

[J]. Computing Research Repository, 2022, 150: 150- 165

DOI:10.11897/SP.J.1016.2017.01229 [本文引用: 1]

[8]

周飞燕, 金林鹏, 董军

卷积神经网络研究综述

[J]. 计算机学报, 2017, 40 (6): 1229- 1251

ZHOU Fei-yan, JIN Lin-peng, DONG Jun

Review of convolutional neural network

[J]. Chinese Journal of Computers, 2017, 40 (6): 1229- 1251

DOI:10.11897/SP.J.1016.2017.01229 [本文引用: 1]

[9]

FERNAU H, KUPPUSAMY L, RAMAN I

On the computational completeness of matrix simple semi-conditional grammars

[J]. Information and Computation, 2021, 1 (2): 104688- 104705

[10]

WU B, DRIGNEI D

Emulated order identification for models of big time series data

[J]. Statistical Analysis and Data Mining:the ASA Data Science Journal, 2021, 14 (2): 201- 212

DOI:10.1002/sam.11504 [本文引用: 1]

[11]

ZHAO J P, GUO W W, ZHANG Z H, et al

A coupled convolutional neural network for small and densely clustered ship detection in SAR images

[J]. Science China, 2019, 62 (4): 111- 126

[12]

姜山, 丁治明, 朱美玲, 等

面向时空图建模的图小波卷积神经网络模型

[J]. 软件学报, 2021, 32 (3): 726- 741

DOI:10.13328/j.cnki.jos.006170 [本文引用: 1]

JIANG Shan, DING Zhi-ming, ZHU Mei-ling, et al

Graph wavelet convolutional neural network for spatiotemporal graph modeling

[J]. Journal of Software, 2021, 32 (3): 726- 741

DOI:10.13328/j.cnki.jos.006170 [本文引用: 1]

[13]

FERRARI P, BARAKITIS N, SERRA A

Asymptotic spectra of large matrices coming from the symmetrization of Toeplitz structure functions and applications to preconditioning

[J]. Numerical Linear Algebra with Applications, 2021, 28 (1): 13785- 13801

DOI:10.1016/j.compag.2022.106737 [本文引用: 1]

[14]

WANG Z, LIU T

Two-stage method based on triplet margin loss for pig face recognition

[J]. Computers and Electronics in Agriculture, 2022, 194: 106737- 106750

[15]

FANG H, WANG Y W, XIAO J W, et al

A new mining framework with piecewise symbolic spatial clustering

[J]. Applied Energy, 2021, 298 (6): 117226- 117235

[16]

EL-SHORBAGY M A, ESLAMI F, IBRAHIM M, et al

Numerical investigation of mixed convection of nanofluid flow in a trapezoidal channel with different aspect ratios in the presence of porous medium

[J]. Case Studies in Thermal Engineering, 2021, (3): 100977- 100992

[17]

VIANNA P, JUNIOR G M

Time-domain distance protection of transmission lines based on the conic section general equation

[J]. Electric Power Systems Research, 2022, 205: 107740- 107752

DOI:10.1016/j.jpgr.2021.107740 [本文引用: 6]

[18]

CHENG L F

Sparse multi-output Gaussian processes for online medical time series prediction

[J]. BMC Medical Informatics and Decision Making, 2020, 20 (1): 152- 157

DOI:10.1186/s12911-020-1069-4 [本文引用: 1]

[19]

赵超, 王腾江, 刘士军, 等

融合选择提取与子类聚类的快速Shapelet发现算法

[J]. 软件学报, 2020, 31 (3): 763- 777

DOI:10.13328/j.cnki.jos.005912 [本文引用: 1]

ZHAO Chao, WANG Teng-jiang, LIU Shi-jun, et al

Fast Shapelet discovery algorithm combining selective extraction and subclass clustering

[J]. Journal of Software, 2020, 31 (3): 763- 777

DOI:10.13328/j.cnki.jos.005912 [本文引用: 1]

[20]

汪建梅, 彭云, 余晨钰

融合时间序列与卷积神经网络的网络谣言检测

[J]. 小型微型计算机系统, 2022, 43 (5): 1020- 1026

WANG Jian-mei, PENG Yun, YU Chen-yu

Network rumor detection combining time series and convolutional neural network

[J]. Journal of Chinese Computer Systems, 2022, 43 (5): 1020- 1026