一种基于V-TGRU模型的资源调度算法

doi:10.3785/j.issn.1008-9497.2022.04.010

浙江大学学报（理学版）

2022, Vol. 49

Issue (4): 467-473 DOI: 10.3785/j.issn.1008-9497.2022.04.010

电子科学

一种基于V-TGRU模型的资源调度算法

常晓洁(

),张华

浙江大学信息技术中心，浙江杭州 310058

A resource scheduling algorithm based on V-TGRU model

Xiaojie CHANG(

),Hua ZHANG

Information Technology Center，Zhejiang University，Hangzhou 310058，China

全文: PDF(1291 KB)

HTML( 0 )

摘要：

提出了一种在私有云计算环境下基于机器学习V-TGRU模型进行资源预测的算法。通过统计历史记录，将其与当前工作负载下不同任务的先验资源使用情况相结合，同时考虑工作负载特性、主机特征和同一资源池中任务之间的亲和性等因素，动态预测多任务的资源占用情况，并根据预测结果和任务运行现状进行多目标任务优化调度。实验证明，此算法能有效完成对资源的预判选择、减少调度次数、节约调度时间、节省云计算资源和带宽，保障应用任务稳定运行。

关键词： 机器学习; 资源预测; 任务调度; 云计算

Abstract:

This paper presents a new algorithm for resource prediction based on machine learning model V-TGRU in private cloud computing environment. The algorithm makes statistics of historical records and combines the prior resource usage of different tasks under the current workload, at the same time, considering the workload characteristics, host characteristics, the affinity between tasks in the same resource pool and other factors. The multi factor data matrix is further standardized and coded. The standardized coded data are modeled by V-TGRU to dynamically predict the resource occupation of multi tasks, and carry out multi-objective task optimal scheduling. Experimental results show that this method can effectively complete the pre-judgment and selection of resources, reduce the scheduling time and times, save cloud resources and bandwidth, and ensure the stable operation of application tasks.

Key words: machine learning resource prediction task scheduling cloud computing

收稿日期: 2021-11-26 出版日期: 2022-07-13

CLC:

TP 302.7

作者简介: 常晓洁（1988—），ORCID：https：//orcid.org/0000-0002-9461-3670，女，硕士，工程师，主要从事计算机应用及云计算研究，E-mail：changxj@zju.edu.cn.

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	常晓洁
	张华

引用本文:

常晓洁,张华. 一种基于V-TGRU模型的资源调度算法[J]. 浙江大学学报（理学版）, 2022, 49(4): 467-473.

Xiaojie CHANG,Hua ZHANG. A resource scheduling algorithm based on V-TGRU model. Journal of Zhejiang University (Science Edition), 2022, 49(4): 467-473.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2022.04.010 或 https://www.zjujournals.com/sci/CN/Y2022/V49/I4/467

图1 V-TGRU模型结构

表1 混淆矩阵

表2 精度与F-测量对比

图2 多任务实例调度执行时间

图3 多任务实例调度等待时间

图4 多任务实例调度次数

1	ARMBRUST M， FOX A， GRIFFITH R， et al. A view of cloud computing［J］. Communications of the ACM， 2010，53（4）：50-58. DOI：10.1145/1721654. 1721672 doi: 10.1145/1721654. 1721672
2	曾志，周永福，杜震洪，等.云环境下基于Entropy-KNN算法的节点选择策略［J］. 浙江大学学报（理学版），2015，42（3）：359-364. DOI：10.3785/j.issn.1008-9497.2015.03.021 ZENG Z， ZHOU Y F， DU Z H， et al. A strategy for the computational node choosing using Entropy-KNN on the attribute information in the cloud computing［J］. Journal of Zhejiang University （Science Edition）， 2015，42（3）：359-364. DOI： 10.3785/j.issn.1008-9497.2015.03.021 doi: 10.3785/j.issn.1008-9497.2015.03.021
3	MFULA H， NURMINEN J K. Self-healing cloud services in private multi-clouds［C］// 2018 International Conference on High Performance Computing & Simulation （HPCS）. Orléans：HPCS， 2018： 165-170. DOI：10.1109/HPCS.2018.00041 doi: 10.1109/HPCS.2018.00041
4	LUO M， ZHANG L J. Context sensitive efficient automatic resource scheduling for cloud applications［C］// International Conference on Cloud Computing： Cloud Computing-CLOUD 2018. Cham： Springer，2018：391-397. DOI：10.1007/978-3-319-94295-7_27 doi: 10.1007/978-3-319-94295-7_27
5	DELIMITROU C， KOZYRAKIS C. Paragon： QoS-aware scheduling for heterogeneous datacenters［J］. ACM SIGPLAN Notices， 2013， 41（1）：77-88. DOI：10.1145/2490301.2451125 doi: 10.1145/2490301.2451125
6	YANG R， ZHANG Y， GARRAGHAN P，et al. Reliable computing service in massive-scale systems through rapid low-cost failover ［J］. IEEE Transactions on Services Computing， 2017，10：969-983.DOI：10. 1109/TSC.2016.2544313 doi: 10. 1109/TSC.2016.2544313
7	MORENO I S， YANG R， XU J， et al. Improved energy-efficiency in cloud datacenters with interference-aware virtual machine placement ［C］// 2013 IEEE 11th International Symposium on Autonomous Decentralized Systems （ISADS）. Mexico： IEEE，2013. DOI：10.1109/ISADS.2013. 6513411 doi: 10.1109/ISADS.2013. 6513411
8	VAZQUEZ C， MORENO G， TOMAS L， et al. A cloud scheduler assisted by a fuzzy affinity-aware engine［C］// 2015 IEEE International Conference on Fuzzy Systems. Istanbul：IEEE， 2015. DOI：10. 1109/FUZZ-IEEE.2015.7337931 doi: 10. 1109/FUZZ-IEEE.2015.7337931
9	BERRAL J L， GAVALDA R， TORRES J. Adaptive scheduling on power-aware managed data-centers using machine learning［C］// Proceedings of the IEEE/ACM 12th International Conference on Grid Computing. Lyon： IEEE，2011. DOI：10.1109/Grid.2011.18 doi: 10.1109/Grid.2011.18
10	YANG R Y， OUYANG X， CHEN Y F， et al. Intelligent resource scheduling at scale： A machine learning perspective［C］// 2018 IEEE International Symposium on Service Oriented System Engineering. Rome： IEEE， 2018. DOI： 10.1109/SOSE.2018.00025 doi: 10.1109/SOSE.2018.00025
11	HUANG M. Forecasting the competitiveness of technological innovation talents using least squares support vector machine［C］// 2015 8th International Conference on Intelligent Computation Technology and Automation （ICICTA）. Nanchang：IEEE， 2015：429-432. DOI：10.1109/ICICTA.2015.113 doi: 10.1109/ICICTA.2015.113
12	SCHULTE O， KHOSRAVI H， ARTHUR E， et al. Modelling relational statistics with bayes nets ［J］. Machine Learning， 2014，94（1）： 105-125 .DOI：10. 1007/s10994-013-5362-7 doi: 10. 1007/s10994-013-5362-7
13	LEE J A， SCHLEIF F M， MARTINETZ T. Advances in artificial neural networks， machine learning， and computational intelligence ［J］. Neurocomputing，2011，74（9）： 1299-1300. DOI：10. 1016/j.neucom.2011.02.003 doi: 10. 1016/j.neucom.2011.02.003
14	WANG B， LIU F G， LIN W W. Energy-efficient VM scheduling based on deep reinforcement learning［J］. Future Generation Computer Systems， 2021，125： 616-628. DOI：10.1016/j.future.2021.07.023 doi: 10.1016/j.future.2021.07.023
15	AMIHAI I， CHIOUA M， GITZEL R， et al. Modeling machine health using gated recurrent units with entity embeddings and K-means clustering ［C］// 2018 IEEE 16th International Conference on Industrial Informatics （INDIN）. Portugal： IEEE， 2018： 212-217.DOI：10.1109/INDIN.2018.8472065 doi: 10.1109/INDIN.2018.8472065
16	陈盛炜. 基于深度学习的虚拟机CPU利用率预测模型研究［D］.上海：上海交通大学，2019. DOI： 10. 27307/d.cnki.gsjtu.2019.001917 CHEN S W. A Neural Approach to Predicting CPU Utilization of Virtual Machine［D］. Shanghai：Shanghai Jiaotong University， 2019. DOI：10.27307/d.cnki.gsjtu.2019.001917 doi: 10.27307/d.cnki.gsjtu.2019.001917
17	LU Y， LIU L， PANNEERSELVAM J， et al. A GRU-Based prediction framework for intelligent resource management at cloud data centres in the age of 5G［J］. IEEE Transactions on Cognitive Communications and Networking， 2020，6（2）： 486-498. DOI：10.1109/TCCN.2019.2954388 doi: 10.1109/TCCN.2019.2954388
18	RAZA M R， HUSSAIN W， MERIGÓ J M. Cloud sentiment accuracy comparison using RNN， LSTM and GRU［C］// 2021 Innovations in Intelligent Systems and Applications Conference （ASYU）. Elazig：IEEE， 2021：1-5. DOI： 10.1109/ASYU52992.2021.9599044 doi: 10.1109/ASYU52992.2021.9599044
19	贺小伟，徐靖杰，王宾，等. 基于GRU-LSTM组合模型的云计算资源负载预测研究［J/OL］.计算机工程，2021：1-11. ［2021-11-22］/［2021-12-23］. DOI：10. 19678/j.issn.1000-3428.0062452 HE X W， XU J J， WANG B，et al. Cloud computing resource load forecasting using GRU-LSTM hybrid network［J/OL］. Computer Engineering， 2021： 1-11. ［2021-11-22］/［2021-12-23］. DOI：10.19678/j.issn.1000-3428.0062452 doi: 10.19678/j.issn.1000-3428.0062452
20	黄炜，陈田，吴入军. 基于门控循环单元与误差修正的短期负荷预测［J］.浙江大学学报（工学版），2021，55（9）：1625-1633. DOI：10.3785/j.issn.1008-973X.2021.09.003 HUANG W， CHEN T， WU R J. Short term load forecasting based on gated recurrent unit and error correction［J］. Journal of Zhejiang University （Engineering Science）， 2021，55（9）：1625-1633. DOI：10.3785/j.issn.1008-973X.2021.09.003 doi: 10.3785/j.issn.1008-973X.2021.09.003
21	PETRUCCI V， LOQUES O， MOSS´E D. A dynamic optimization model for power and performance management of virtualized clusters［C］//In Proceedings of the 1st International Conference on Energy-Efficient Computing and Networking. New York：Association for Computing Machinery， 2010：225-233. DOI：10.1145/1791314.1791350 doi: 10.1145/1791314.1791350
22	LI W J， WU J Y， ZHANG Q F， et al. Trust-driven and QoS demand clustering analysis based cloud workflow scheduling strategies［J］.Cluster Computing， 2014，17（3）：1013-1030. doi:10.1007/s10586-013-0340-1 doi: 10.1007/s10586-013-0340-1
23	江务学，魏文国，丁度坤，等．异构云环境下基于分簇的云资源感知任务调度方案［Ｊ］．计算机应用研究，2016，33（11）：3422-3425. DOI： 10.3969/j.issn.1001-3695.2016.11.049 JIANG W X， WEI W G， DING D K， et al. Task scheduling scheme based on clustering in heterogeneous cloud computing platform［J］. Application Research of Computers， 2016， 33（11）： 3422-3425. DOI：10.3969/j.issn.1001-3695.2016.11.049 doi: 10.3969/j.issn.1001-3695.2016.11.049
24	CUI D L， LIN J P， PENG Z P， et al. Cloud workflow task and virtualized resource collaborative adaptive scheduling algorithm based on distributed deep learning［C］// 2020 IEEE International Conference on Advances in Electrical Engineering and Computer Applications（AEECA）.Dalian：IEEE， 2020： 137-140. DOI： 10.1109/AEECA49918. 2020.9213622 doi: 10.1109/AEECA49918. 2020.9213622
25	常晓洁，徐锋，王佶，等. 一种基于V-TGRU模型进行资源预测的私有云任务调度方法： ZL 2019 1 0576026.3［P］. 2021-09-24. CHANG X J， XU F， WANG J， et al. A private cloud task scheduling method based on V-TGRU model for resource prediction： ZL 2019 1 0576026.3［P］. 2021-09-24.

[1]	郑素佩,闫佳,宋学力,陈荧. 求解大规模矛盾方程组的最小二乘支持向量机算法[J]. 浙江大学学报（理学版）, 2022, 49(4): 435-442.
[2]	郏丽丽,孙婷婷. 紫色球杆菌视紫红质光谱特性的机器学习研究[J]. 浙江大学学报（理学版）, 2022, 49(3): 280-286.
[3]	李君轶, 任涛, 陆路正. 游客情感计算的文本大数据挖掘方法比较研究[J]. 浙江大学学报（理学版）, 2020, 47(4): 507-520.
[4]	潘水洋, 刘俊玮, 王一鸣. 基于神经网络的股票收益率预测研究[J]. 浙江大学学报（理学版）, 2019, 46(5): 550-555.
[5]	曾志, 刘仁义, 杜震洪, 张丰. 云格环境下基于P2P的动态资源发现机制[J]. 浙江大学学报（理学版）, 2013, 40(4): 463-468.

Viewed

Full text

Abstract

Cited

Shared

Discussed