基于双向门控式宽度学习系统的监测数据结构变形预测
Structural deformation prediction of monitoring data based on bi-directional gate board learning system
收稿日期: 2023-04-10
基金资助: |
|
Received: 2023-04-10
Fund supported: | 国家重点研发计划资助项目(2018YFC0808706);国家自然科学基金资助项目(52078421);陕西省“特支计划”青年拔尖人才(陕组通字〔2018〕33号);中铁一院科研项目(院科19-40). |
作者简介 About authors
罗向龙(1978—),男,教授,从事大数据与人工智能研究.orcid.org/0000-0002-1116-1438.E-mail:
监测数据深度学习预测模型运算量大、实时性差,为此结合宽度学习系统(BLS)和双向长短时记忆(Bi-LSTM)模型的优势,提出基于双向门控式宽度学习系统(Bi-G-BLS)的结构变形预测模型. 对BLS的特征节点增加循环反馈和遗忘门结构,提高当前节点对前一节点的依赖关系,分别从正向和反向提取时间序列的内部特征,充分挖掘数据的双向特征,在提高模型预测精确度的同时减少模型预测时间. 基于实测的地铁基坑沉降监测数据的测试结果显示,所提预测模型与门控循环单元(GRU)、BLS、Bi-LSTM、G-BLS模型相比,均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)平均分别降低了21.04%、12.81%、24.41%;在预测精度相近的情况下,所提模型的预测时间比Bi-LSTM模型降低了99.59%. 结果表明,所提模型在预测速度和精确度上较对比模型有明显提升.
关键词:
Aiming at the shortcomings of large computation load and poor real-time performance for deep learning models with monitoring data, combining the advantages of board learning system (BLS) and bi-directional long short term memory (Bi-LSTM) model, a structural deformation prediction model was proposed based on bi-directional gate board learning system (Bi-G-BLS). The cyclic feedback structure and the forget-gate structure were added to the feature nodes of BLS to improve the dependence of the current node on the previous node, and the internal features of the time series were extracted from the forward and reverse respectively to make full use of the bidirectional data characteristics. As a result, the prediction accuracy was improved effectively while the prediction time was greatly reduced. The test results of the measured monitoring data for the subway foundation pit settlement showed that compared with the gated recurrent unit (GRU), BLS, Bi-LSTM, and G-BLS models, the root mean square error (RMSE), mean absolute error (MAE) and mean absolute percentage error (MAPE) of the proposed model were reduced by 21.04%, 12.81% and 24.41%. The prediction time of the proposed model was reduced by 99.59% compared to Bi-LSTM model with similar prediction accuracy. The results showed that the prediction speed and accuracy of the proposed model were significantly improved over the comparison models.
Keywords:
本文引用格式
罗向龙, 王亚飞, 王彦博, 王立新.
LUO Xianglong, WANG Yafei, WANG Yanbo, WANG Lixin.
伴随着信息技术的蓬勃发展,结构安全自动监测系统已成为结构工程建设和运营安全保障必不可少的组成部分. 通过大量传感器采集结构工程状态数据预测结构的变形趋势,是防止和减少安全事故的重要手段;利用监测数据建立基于数据驱动的预测模型预测结构变形数据,更成为结构自动监测系统研究的关键技术之一.
结构变形预测的模型主要包含回归预测模型[1-3]、灰色模型[4-8]、时间序列模型[9-13]和人工智能模型[14]. 为了更加准确地预测土坝沉降,Chen等[3]在传统回归模型中加入物理因子,利用安装在大坝内部的综合监测系统采集沉降数据. 测试结果表明,Chen等[3]所提模型平均误差为1.02%~4.48%,略低于传统的多元非线性回归模型. 回归预测模型属于静态模型,当监测数据量大且精准时,预测效果较好,但在实际使用过程中物理因子的选用对模型影响较大,模型的鲁棒性有待提高. 张立亚等[8]利用隧道拱顶和地表的沉降序列数据建立强、弱随机性非等间隔灰色预测模型,由隧道累计沉降量的增长、减速增长及平缓增长3个阶段的数据测试结果得出当预测步数≥8 时,强随机模型的精度仍能达到2.96%,但弱随机在这3个阶段的预测效果均不佳. 灰色模型要求数据呈指数增长趋势,只适合中短期的预测,使该模型在实际工程中的应用受限. He等[15]利用小基线子集干涉合成孔径雷达(small baseline subset interferometric synthetic aperture radar,SBAS-InSAR)技术获得矿区表面变形的时空演化特征. 时间序列InSAR数据通过具有窥视孔长短期记忆的卷积神经网络(convolutional neural network with peephole long short time memory,CNN-PhLSTM)进行预测,得到的预测结果与不同轨道的InSAR数据具有高度相关性,但当缺失数据量大时,时间序列模型预测结果将受到较大影响.
随着结构安全自动监测系统的广泛使用,结构监测数据正逐步进入大数据的时代,机器学习特别是深度学习研究浪潮的兴起,基于深度学习的结构监测数据预测成为该领域的研究热点. Qiu等[16]提出基于莱文贝格-马夸特(Levenberg-Marquardt,LM)优化的条件深度信念网络(conditional deep belief network,CDBN)模型,并采用该模型预测超高层建筑变形,结果表明,优化的CBDN具有较高的预测精度. Yang等[17]利用长短时记忆网络[18-21](long short term memory,LSTM)模型预测边坡周期性位移,结果表明,LSTM模型可以充分利用历史信息来提高预测性能. Luo等[22]为了在不增加运算量的同时扩大感受视野,更多地利用时间序列的长周期特征,提出基于时间卷积网络(temporal convol-utional network,TCN)的结构变形预测模型,并通过正交试验优化模型参数,实测数据的测试结果表明,该模型预测精度良好且有效减少了运算时间. 针对LSTM只能提取数据的前向信息而对数据的时间特征利用效果不佳,王亚飞等[23]提出双向长短时记忆网络[24-25](Bi-LSTM)的结构变形预测模型,利用2个不相关的LSTM模型从前向和后向分别提取数据的时间信息. 测试结果表明,相比小波神经网络[26](wavelet neural network,WNN)、LSTM、门控循环单元[27] (gated recurrent unit,GRU)模型,王亚飞等[22]所提模型具有更高的准确性. 基于深度学习的预测模型因良好的预测性能得到广泛的应用,但深度学习为了建立准确的映射关系,须增加隐含层层数,导致模型训练时间复杂度剧增,限制了模型在实际中的应用.
作为新的机器学习方法,宽度学习系统[28](broad learning system, BLS)在保障良好性能的同时使运算时间大幅度下降. 为了改善深度学习预测模型运算时间的问题,本研究充分利用监测数据的双向变化规律并结合GRU和BLS,提出基于双向门控式宽度学习系统(bi-directional gated broad learning system,Bi-G-BLS)的监测数据结构变形预测模型(以下简称为Bi-G-BLS预测模型或Bi-G-BLS). 研究工作包括:对BLS的特征节点增加循环反馈和遗忘门结构,克服BLS模型对监测数据的长期依赖,提高当前节点对前一节点的依赖关系;分别从正向和反向提取时间序列的内部特征,有效挖掘监测数据的双向变化规律,在提高预测精度的同时有效降低深度学习模型的预测时间.
1. 基本理论
1.1. 宽度学习
BLS是在改进随机向量函数连接神经网络(random vector functional-link neural network,RVFLNN)输入层组成结构的基础上提出机器学习算法,模型的网络结构如图1所示. 假设
图 1
图 1 宽度学习系统模型的网络结构图
Fig.1 Network structure diagram of broad learning system model
式中:
式中:
其中组合矩阵
式中:
1.2. 门控循环单元
GRU是常用的门控循环神经网络. 除了解决循环神经网络(recurrent neural network,RNN)容易丢失时间序列时间步长较大时信息的依赖关系问题,GRU还能够解决梯度消失与爆炸问题. 如图2所示,GRU主要由重置门和更新门组成,重置门决定是否保留上一时刻隐藏状态输出的信息,更新门可以控制隐藏状态如何对当前时间步信息的候选隐藏状态进行更新. 重置门和更新门的输入均为当前时刻的输入
图 2
式中:
式中:
2. 基于双向门控式宽度学习系统的监测数据结构变形预测模型
2.1. Bi-G-BLS预测模型
BLS模型有结构简单、训练速度快、实时性高的优点,但它对所有数据都赋予相同的权值,无法区分不同输入数据的重要程度. 结合循环网络结构的特点,本研究在BLS模型的特征节点层增加门控式结构来控制特征节点提取信息,并充分考虑监测数据的前后相关性,借鉴Bi-LSTM构建思路,对特征节点增加循环结构和遗忘门,以增强当前提取的时间信息与前一时刻的相关性,由于门控式结构能够控制信息流的提取,对参与预测值的权重和的特征节点进行筛选,构建结构变形数据Bi-G-BLS预测模型,模型的结构如图3所示.
图 3
特征节点层从2个方向对输入数据
式中:
在增强节点层
同理,后向输入数据
通过激活函数
拼接生成的前向和后向增强节点,得到最终增强层节点输出
将特征节点和增强节点进行组合,并与连接矩阵
其中
2.2. Bi-G-BLS预测模型的算法流程
Bi-G-BLS预测模型训练过程和BLS模型相似,无需利用梯度下降算法训练模型参数取得最优解,该模型把模型训练的迭代运算转化为矩阵求解问题. 预测模型的具体流程如图4所示. 假设传感器采集的一组结构监测数据为
图 4
正向输入数据
7)将Bi-G-BLS提取的特征节点状态与增强节点状态进行拼接,得到连接矩阵
3. 实验结果及分析
3.1. 实验数据及实验环境
如图5所示,为了研究实验方法的预测效果,使用某地在建地铁基坑地表沉降数据作为本次实验的监测数据集,数据由静力水准仪测得,包含1373个沉降位移量. 图中,S为沉降位移. 实验中将数据70%划分为训练集,30%作为测试集. 沉降数据分布区间广,为了防止不同评价指标的量纲对结果的影响,消除奇异样本数据,在实验前进行数据归一化处理,映射区间为
图 5
式中:
3.2. 模型评价指标
衡量预测模型性能的常用指标为均方误差MSE、均方根误差 RMSE、平均绝对误差 MAE、平均绝对百分比误差 MAPE,本研究采用RMSE、MAE和MAPE 衡量模型的预测效果,各项指标的计算式分别为
式中:
3.3. 实验结果及分析
为了检验Bi-G-BLS预测模型的精准度和有效性,对影响预测的模型参数进行多次重复实验,当遗忘门间隔参数
图 6
将Bi-G-BLS与GRU、BLS、Bi-LSTM、G-BLS进行对比,并对把对比结果的局部变化进行放大,各预测模型对比结果如图7所示. 由图可知,BLS的预测效果最差,在多处采样点的预测值和真实值存在较大误差.与BLS相比,GRU效果更好,在整体上能够反映出沉降数据的变化趋势. 原因是GRU利用2个门把有用信息保留下来,将时间跨度过大的不相关信息滤除掉,保留了与当前数据时间相关度高的数据.GRU处理数据花费时间长,仅利用单侧信息的特征进行预测,精准度也有待提高,在采样点100~180,前后数据变化幅度小时预测效果较好,在采样点250~300,沉降数据出现较大变化,模型的预测结果出现很大误差. G-BLS整体上反映了沉降数据的变化趋势,但在一些局部峰值处的预测值和真实值相差较大. 从整体上看,Bi-G-BLS和Bi-LSTM的预测值和真实值接近,由图7(b)可以看出,Bi-G-BLS在数据峰值出的预测曲线和真实拟合程度最高,预测效果最好. Bi-G-BLS结合了BLS运算时间短和GRU运算精度高的优点,利用在BLS的特征节点层加入的循环反馈与遗忘门,使上一时刻的特征节点输出为当前特征节点的输入,能够有选择地提取时间序列的相关特征,并通过提取数据的正向规律和反向规律对结构变形数据进行预测,使得数据的精度得到进一步提高.
图 7
图 7 不同预测模型的预测值与真实值对比
Fig.7 Comparison of predicted value and real value for different prediction models
对比各预测模型误差,综合RMSE、MAE、MAPE及运行时间判断模型性能如表1所示. 表中,t为运算时间. 可以看出,与GRU、BLS、Bi-LSTM、G-BLS相比,Bi-G-BLS的预测误差RMSE分别降低了35.31%、23.77%、9.01%、16.05%,MAE分别降低了6.64%、29.99%、5.11%、9.51%,MAPE分别降低了33.25%、34.89%、27.48%、2.03%. 还可以看出, Bi-G-BLS与Bi-LSTM的预测误差接近,运算时间比Bi-LSTM降低了503.82 s,模型的运算效率得到显著提高. 综合分析可知,Bi-G-BLS不仅提高了BLS的预测精确度,实现结构变形所需的时间较传统BLS和Bi-LSTM显著降低. 对比结果表明,新模型是满足现代工程结构变形预测要求的良好模型,能够为大型工程提供科学有效的数据支持.
表 1 不同预测模型的性能对比
Tab.1
模型 | MAPE | RMSE | MAE | t/s |
GRU | 1.1884 | 1.3997 | 0.4818 | 419.58 |
BLS | 1.2183 | 1.1877 | 0.6425 | 2.02 |
G-BLS | 0.8097 | 1.0786 | 0.4971 | 2.06 |
Bi-LSTM | 1.0937 | 0.9950 | 0.4740 | 505.89 |
Bi-G-BLS | 0.7932 | 0.9054 | 0.4498 | 2.07 |
4. 结 语
针对传统的深度学习预测模型运算时间问题,本研究提出Bi-G-BLS预测模型. 所提模型结合Bi-LSTM和BLS模型优点,从正向和反向采集时间序列的内部特征,利用监测数据的前后时间变化规律在提高预测精度的同时降低了运算时间. 结合GRU,所提模型对BLS特征层增加循环反馈结构和遗忘门,利用历史时刻与当前时刻数据关联性,进一步提高了预测精度. 工程实测数据测试结果表明,所提模型相较于GRU、BLS、Bi-LSTM、G-BLS模型的MAPE、RMSE和MAE均有下降,是行之有效的结构监测预测模型,具有良好的实际应用价值. 结构变形数据受外部因素多,未来将考虑外界因素对预测模型的影响,并利用多组传感器对结构变形进行监测,充分利用多传感器监测数据的相关性,通过数据融合综合预测结构状态的变化情况,为结构健康自动化监测系统辅助决策提供支撑.
参考文献
Research on time series analysis based deformation prediction model
[J].DOI:10.4028/www.scientific.net/AMR.250-253.2888 [本文引用: 1]
多监测条件下地铁明挖车站周边地表沉降预测分析
[J].
Prediction and analysis of surface settlement around subway open cut station under multi monitoring conditions
[J].
A novel settlement forecasting model for rockfill dams based on physical causes
[J].DOI:10.1007/s10064-021-02403-2 [本文引用: 3]
A new multivariable grey prediction model with structure compatibility
[J].
Prediction of soil creep deformation using unequal interval multivariable grey model
[J].DOI:10.4028/www.scientific.net/AMM.864.341
软岩隧道大变形预测模型及支护措施
[J].
Large deformation prediction model and supporting measures of soft rock tunnel
[J].
随机性非等间隔灰色模型在沉降预报中的应用
[J].
Application of random non-equal interval grey model in settlement forecasting
[J].
基于多变量GP-DE模型的隧道变形时间序列预测研究
[J].
Study on time series prediction of the tunnel deformation based on the multivariable GP-DE model
[J].
时间序列回归预测模型在自动化监测中的应用
[J].
The application of time series regression prediction model in automated monitoring
[J].
面向地铁隧道表面渗漏水的快速检测技术
[J].
Rapid detection technology for surface water leakage in subway tunnel
[J].
The data synergy effects of time‐series deep learning models in hydrology
[J].
Analysis of factors influencing tunnel deformation in loess deposits by data mining: a deformation prediction model
[J].DOI:10.1016/j.enggeo.2017.11.014 [本文引用: 1]
Time-series analysis and prediction of surface deformation in the Jinchuan Mining area, Gansu province, by using InSAR and CNN–PhLSTM network
[J].DOI:10.1109/JSTARS.2022.3198728 [本文引用: 1]
A deformation prediction approach for supertall building using sensor monitoring system
[J].
Time series analysis and long short-term memory neural network to predict landslide displacement
[J].DOI:10.1007/s10346-018-01127-x [本文引用: 1]
基于正交参数优化的LSTM结构变形预测模型
[J].
Structure deformation prediction model based on LSTM and orthogonal parameter optimization
[J].
基于CNN-LSTM的桥梁结构损伤诊断方法
[J].
Bridge structural damage diagnosis method based on CNN-LSTM
[J].
时间序列模型和LSTM模型在水质预测中的应用研究
[J].
Research on application of time series model and LSTM model in water quality prediction
[J].
Accurate estimation of tidal level using bidirectional long short-term memory recurrent neural network
[J].DOI:10.1016/j.oceaneng.2021.108765 [本文引用: 1]
A deep learning prediction model for structural deformation based on temporal convolutional networks
[J].
基于Bi-LSTM的结构变形预测
[J].
Prediction of structural deformation based on Bi-LSTM
[J].
Convolutional neural network based on attention mechanism and Bi-LSTM for bearing remaining life prediction
[J].DOI:10.1007/s10489-021-02503-2 [本文引用: 1]
基于改进型LSTM的电力设备温度预测方法研究
[J].
Research on temperature prediction method of power equipment based on improved LSTM
[J].
基于连续小波变换和MTL-SEResNet的断路器故障程度评估
[J].
Fault degree evaluation of circuit breakers based on continuous wavelet transform and MTL-SEResNet
[J].
Broad learning system: an effective and efficient incremental learning system without the need for deep architecture
[J].DOI:10.1109/TNNLS.2017.2716952 [本文引用: 1]
/
〈 |
|
〉 |
