Please wait a minute...
浙江大学学报（理学版）
浙江大学学报（理学版）  2016, Vol. 43 Issue (4): 442-451    DOI: 10.3785/j.issn.1008-9497.2016.04.011
地理信息系统     
基于CRBM算法的时间序列预测模型研究
周晓莉1,2, 张丰1,2, 杜震洪1,2, 曹敏杰1,2, 刘仁义1,2
1. 浙江大学 浙江省资源与环境信息系统重点实验室, 浙江 杭州 310028;
2. 浙江大学 地球科学学院, 浙江 杭州 310027
A study on time series prediction model based on CRBM algorithm
ZHOU Xiaoli1,2, ZHANG Feng1,2, DU Zhenhong1,2, CAO Minjie1,2, LIU Renyi1,2
1. Zhejiang Provincial Key Laboratory of Resources and Environmental Information System, Zhejiang University , Hangzhou 310028, China;
2. Department of Earth Sciences, Zhejiang University, Hangzhou 310027, China
 全文: PDF(4945 KB)  
摘要： 针对受限玻尔兹曼机（restricted Boltzmann machines，RBM）算法对时序数据预测存在抽取抽象特征向量能力较差和梯度下降能力有限的问题，基于CRBM（conditional restricted Boltzmann machines）算法以及信念网络（deep belief network，DBN）模型，构建了一种非线性的CRBM-DBN深度学习模型，并采用高斯分布处理输入特征值和对比散度抽样，用于预测时序数据.实验以浙江省近岸海域赤潮时序数据作为输入特征值，讨论该模型的深度及参数选取，并与经典的深度学习模型RBM、DAE和浅层学习中的BP神经网络进行对比，实验验证CRBM对于赤潮时序数据的预测拟合度要明显优于其他3种模型，该模型可有效用于赤潮类时序数据的趋势性预测.
关键词： 受限玻尔兹曼机;  CRBM深度建模;  深度信念网络模型;  高斯分布    
Abstract: Restricted Boltzmann machines (RBM) algorithm has a poor performance in extracting feature vector and gradient descent when it is used to predict time-series data. To solve the above problems, a non-linear deep learning model was constructed based on conditional restricted Boltzmann machines (CRBM) combining with deep belief network (DBN). The model processed the input feature vectors with Gaussian distribution and samples with classical contrastive divergence to predict continuous time-series data. Our experiment adopted the time-series data of red tide in Zhejiang costal, and discussed the selection of network depth and training parameters in the model, then compared the deep learning model to classical RBM, DAE deep learning network and BP neural network shadow learning. The results showed that the prediction fitting of CRBM was superior to the other three models. This model can effectively predict the time-series of red tide.
Key words: restricted Boltzmann machines    deep architecture of CRBM    deep belief network model    Gaussian distribution
收稿日期: 2015-08-06 出版日期: 2016-04-28
CLC:  P208  
基金资助: 国家自然科学基金资助项目（41471313，41101356，41101371，41171321）；国家科技基础性工作专项（2012FY112300）；海洋公益性行业科研专项经费资助（2015418003，201305012）.
通讯作者: 杜震洪,ORCID:http://orcid.org/0000-0001-9449-0415,E-mail:duzhenhong@zju.edu.cn.     E-mail: duzhenhong@zju.edu.cn
作者简介: 周晓莉(1990-),ORCID:http://orcid.org/0000-0002-9097-5682,女,硕士研究生,主要从事海洋GIS及深度学习研究.
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章　　
周晓莉
张丰
杜震洪
曹敏杰
刘仁义

引用本文:

周晓莉, 张丰, 杜震洪, 曹敏杰, 刘仁义. 基于CRBM算法的时间序列预测模型研究[J]. 浙江大学学报（理学版）, 2016, 43(4): 442-451.

ZHOU Xiaoli, ZHANG Feng, DU Zhenhong, CAO Minjie, LIU Renyi. A study on time series prediction model based on CRBM algorithm. Journal of ZheJIang University(Science Edition), 2016, 43(4): 442-451.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2016.04.011    或    https://www.zjujournals.com/sci/CN/Y2016/V43/I4/442

[1] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science,2006,313(5786):504-507.
[2] KUREMOTO T, KIMURA S, KOBAYASHI K, et al. Time series forecasting using a deep belief network with restricted Boltzmann machines[J]. Neurocomputing,2014,137:47-56.
[3] SALAKHUTDINOV R, MNIH A, HINTON G. Restricted Boltzmann machines for collaborative filtering[C]// Proceedings of the 24th International Conference on Machine Learning.New York:ACM,2007:791-798.
[4] MARKOFF J. Scientists see promise in deep-learning programs[N]. New York Times,2012-11-27.
[5] LAROCHELLE H, BENGIO Y. Classification using discriminative restricted Boltzmann machines[C]// Proceedings of the 25th International Conference on Machine Learning.New York:ACM,2008:536-543.
[6] MNIH V, LAROCHELLE H, HINTON G E. Conditional restricted Boltzmann machines for structured output prediction[C]// 28th Conference on Uncertainty in Artificial Intelligence,2012:514-522.
[7] LÄNGKVIST M, KARLSSON L, LOUTFI A. A review of unsupervised feature learning and deep learning for time-series modeling[J]. Pattern Recognition Letters,2014,42(1):11-24.
[8] 陈翠平.基于深度信念网络的文本分类算法[J].计算机系统应用,2015,24(2):121-126. CHEN Cuiping. Text categorization based on deep belief network[J]. Computer Systems and Applications,2015,24(2):121-126.
[9] 刘建伟,刘媛,罗雄麟.玻尔兹曼机研究进展[J].计算机研究与发展,2014,51(1):1-16. LIU Jianwei, LIU Yuan, LUO Xionglin. Research and development on Boltzmann machine[J]. Journal of Computer Research and Development,2014,51(1):1-16.
[10] HINTON G E. A practical guide to training restricted Boltzmann machines[C]//Neural Networks: Tricks of the Trade. Heidelberg:Springer,2012:599-619.
[11] SPILIOPOULOU A. Investigation of Deep CRBM Networks in modeling Sequential Data[D]. Edinburgh:University of Edinburgh,2008.
[12] MONTUFAR G, AY N, ZAHEDI K. Geometry expressive power of conditional restricted Boltzmann machines[R]. New Mexico:Santa Fe Institute,2014.
[13] BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning,2009,2(1):1-127.
[14] CHEN S, AMMAR H B, TUYLS K, et al. Conditional restricted Boltzmann machines for negotiations in highly competitive and complex domains[C]// Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence.Palo Alto:AAAI Press,2013:69-75.
[15] TAYLOR G W, HINTON G E. Factored conditional restricted Boltzmann machines for modeling motion style[C]// Proceedings of the 26th Annual International Conference on Machine Learning.New York:ACM,2009:1025-1032.
[16] SALAKHUTDINOV R, LAROCHELLE H. Efficient learning of deep Boltzmann machines[J/OL]. Journal of Machine Learning Research,2010,9(8):693-700.
[17] HINTON G E. To recognize shapes, first learn to generate images[J]. Progress in Brain Research,2007,165(6):535-547.
[18] SCHÖLKOPF B, PLATT J, HOFMANN T. Modeling human motion using binary latent variables[C]//Advances in Neural Information Processing Systems 19: Proceeding of the 2006 Conference. Cambridge: MIT Press,2007:1345-1352.
[19] 单外平.基于深度信念网络的变速器故障分类识别研究[D].广州:华南理工大学,2015. SHAN Waiping. Classification and Recognition of Transmission Fault Based on Deep Belief Network[D]. Guangzhou: South China University of Technology,2015.
[1] 傅颖颖, 张丰, 杜震洪, 刘仁义. 融合图卷积神经网络和注意力机制的PM2.5小时浓度多步预测[J]. 浙江大学学报（理学版）, 2021, 48(1): 74-83.
[2] 曾金迪, 张丰, 吴森森, 杜震洪, 刘仁义. 基于空间自回归神经网络模型的空间插值研究[J]. 浙江大学学报（理学版）, 2020, 47(5): 572-581.
[3] 陆晔, 张伟, 李飞, 杜震洪, 张丰, 刘仁义. 一种基于主题时空价值的服务器端瓦片缓存算法[J]. 浙江大学学报（理学版）, 2020, 47(1): 12-19.
[4] 嵇晓峰, 张丰, 王中一, 杜震洪, 刘仁义. 基于着色模型实时构造的海洋流场动态流线可视化方法研究[J]. 浙江大学学报（理学版）, 2020, 47(1): 45-51.
[5] 刘尧, 王颖志, 王立君, 张丰, 杜震洪, 刘仁义. 交通事故的时空热点分析[J]. 浙江大学学报（理学版）, 2020, 47(1): 52-59.
[6] 张贝娜, 冯震华, 张丰, 杜震洪, 刘仁义, 周芹. 基于时空多视图BP神经网络的城市空气质量数据补全方法研究[J]. 浙江大学学报（理学版）, 2019, 46(6): 737-744.
[7] 贾玉杰, 杜震洪, 张丰, 刘仁义. 基于属性权重优化算法的土地利用绩效评价及差异分解分析[J]. 浙江大学学报（理学版）, 2019, 46(5): 610-618.
[8] 姜斌, 黄祥志, 杜震洪, 张丰, 刘仁义. 一种动态实时的遥感专题应用系统定制框架[J]. 浙江大学学报（理学版）, 2018, 45(6): 758-764.
[9] 祝琳莹, 张丰, 杜震洪, 刘仁义, 左玉强. 基于HBase与静态多级格网索引的地表覆盖数据高效检索方法[J]. 浙江大学学报（理学版）, 2018, 45(5): 595-604.
[10] 马小雯, 章笑艺, 来丽芳, 张丰, 杜震洪, 刘仁义. 基于地理探测器的浙江省空气质量风险因子分析[J]. 浙江大学学报（理学版）, 2018, 45(3): 351-362.
[11] 陈永佩, 杜震洪, 刘仁义, 张丰, 王炼刚. 一种引入实体的地理语义相似度混合计算模型[J]. 浙江大学学报（理学版）, 2018, 45(2): 196-204.
[12] 刘丽, 张丰, 杜震洪, 刘仁义, 贾玉杰. 基于深圳市出租车轨迹数据的高效益寻客策略研究[J]. 浙江大学学报（理学版）, 2018, 45(1): 82-91.
[13] 莫致良, 杜震洪, 张丰, 刘仁义. 基于可扩展多目标蚁群算法的土地利用优化配置[J]. 浙江大学学报（理学版）, 2017, 44(6): 649-659,674.
[14] 林雅萍, 杜震洪, 张丰, 刘仁义. “格网索引+MapReduce”策略下的地理国情统计分析研究[J]. 浙江大学学报（理学版）, 2017, 44(6): 660-665.
[15] 黄日鹏, 李加林, 叶梦姚, 姜忆湄, 史作琦, 冯佰香, 何改丽. 东南沿海景观格局及其生态风险演化研究——以宁波北仑区为例[J]. 浙江大学学报（理学版）, 2017, 44(6): 682-691.