Please wait a minute...
浙江大学学报（理学版）
浙江大学学报（理学版）  2018, Vol. 45 Issue (5): 595-604    DOI: 10.3785/j.issn.1008-9497.2018.05.012
地理信息系统     
基于HBase与静态多级格网索引的地表覆盖数据高效检索方法
祝琳莹1,2, 张丰1,2, 杜震洪1,2, 刘仁义2, 左玉强3
1. 浙江省资源与环境信息系统重点实验室, 浙江 杭州 310028;
2. 浙江大学 地理信息科学研究所, 浙江 杭州 310027;
3. 中国土地勘测规划院, 北京 100035
An efficient retrieval method of land cover data based on HBase and static multi-level grid index
ZHU Linying1,2, ZHANG Feng1,2, DU Zhenhong1,2, LIU Renyi2, ZUO Yuqiang3
1. Zhejiang Provincial Keylab of GIS, Zhejiang University, Hangzhou 310028, China;
2. Department of Geographic Information Science, Zhejiang University, Hangzhou 310027, China;
3. Chinese Land Surveying and Planning Institute, Beijing 100035, China
 全文: PDF(5387 KB)   HTML  
摘要： 地表覆盖是地理国情监测的重要对象，为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁，要素分布密集且不均匀，传统的空间检索方法出现了扩展困难、检索能力不足等问题.提出了一种基于HBase与静态多级格网索引的地表覆盖数据空间检索方法，针对地表覆盖数据特征设计了基于HBase的静态多级格网索引，利用MapReduce实现索引并行构建，通过多级过滤的方式，提高了地表覆盖空间范围的查询效率.实验表明，该方法能快速完成大规模、密集分布的地表覆盖数据的空间索引构建，提升空间检索性能，并具有良好的扩展性，可为其他海量空间矢量数据的检索提供借鉴.
关键词： 地理国情监测;  地表覆盖;  HBase;  多级格网索引;  范围查询    
Abstract: As an important object of National Geographic State Monitoring, land cover provides national geographic analysis and evaluation model with reliable data source. Efficient retrieval methods are essential for mining the potential value of land cover data. Due to the huge amount of the data as well as the frequent updating and the dense uneven distribution of land cover elements, there have been problems on scalability and retrieval cap ability for the traditional spatial retrieval methods. This paper puts forward an improved spatial retrieval method of land cover data based on HBase and static multi-level grid index. The new approach allows parallel index construction with MapReduce and improves the query efficiency of land cover spatial range through multi-level filtering. Experiments show that this method can quickly complete the spatial index construction of the large-scale and densely distributed land cover data, improve the performance of spatial retrieval and have good expansibility, which can provide reference for the other mass spatial vector data retrieval.
Key words: national geographic state monitoring    land cover data    HBase    multi-level grid index    range query
收稿日期: 2017-02-24 出版日期: 2018-09-12
CLC:  P208  
基金资助: 国家自然科学基金资助项目（41671391）；中央高校基本科研业务费专项资金资助项目（2016XZZX004-02）.
通讯作者: 杜震洪,ORCID:http://orcid.org/0000-0001-9449-0415,E-mail:duzhenhong@zju.edu.cn     E-mail: duzhenhong@zju.edu.cn
作者简介: 祝琳莹(1992-),ORCID:http://orcid.org/0000-0001-6219-5323,女,硕士研究生,主要从事空间索引与云计算研究.
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章　　
祝琳莹
张丰
杜震洪
刘仁义
左玉强

引用本文:

祝琳莹, 张丰, 杜震洪, 刘仁义, 左玉强. 基于HBase与静态多级格网索引的地表覆盖数据高效检索方法[J]. 浙江大学学报（理学版）, 2018, 45(5): 595-604.

ZHU Linying, ZHANG Feng, DU Zhenhong, LIU Renyi, ZUO Yuqiang. An efficient retrieval method of land cover data based on HBase and static multi-level grid index. Journal of ZheJIang University(Science Edition), 2018, 45(5): 595-604.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2018.05.012    或    https://www.zjujournals.com/sci/CN/Y2018/V45/I5/595

[1] 李德仁,眭海刚,单杰. 论地理国情监测的技术支撑[J]. 武汉大学学报信息科学版, 2012, 37(5):505-512. LI D R, SUI H G, SHAN J. Discussion on key technologies of geographic national conditions monitoring[J]. Geomatics and Information Science of Wuhan University, 2012, 37(5):505-512.
[2] NISHIMURA S, DAS S, AGRAWAL D, et al. MD-HBase:A scalable multi-dimensional data infrastructure for location aware services[J]. IEEE International Conference on Mobile Data Management, 2011, 1(4):7-16.
[3] 申德荣,于戈,王习特,等. 支持大数据管理的NoSQL系统研究综述[J]. 软件学报, 2013(8):1786-1803. SHEN D R, YU G, WANG X T, et al. Survey on NoSQL for management of big data[J]. Journal of Software, 2013(8):1786-1803.
[4] CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable:A distributed storage system for structured data[J]. ACM Transactions on Computer Systems, 2008, 26(2):205-218.
[5] GEORGE L. HBase:The definitive guide[J]. Andre, 2011, 12(1):1-4.
[6] MANOLOPOULO Y, THEODORIDIS Y, TSOTRAS V J. Spatial Indexing Techniques[M]. New York:Springer, 2009:2702-2707.
[7] GUTTMAN A. R-trees:A dynamic index structure for spatial searching[J]. ACM SIGMOD Record, 1984, 14(2):47-57.
[8] FINKEL R A, BENTLEY J L. Quad trees:A data structure for retrieval on composite keys[J]. Acta Informatica, 1974, 4(1):1-9.
[9] KAMEL I, FALOUTSOS C. Parallel R-trees[J]. ACM SIGMOD Record,1992, 21(2):195-204.
[10] SCHNITZER B, LEUTENEGGER S T. Master-client R-trees:A new parallel R-tree architecture[C]//Statistical and Scientific Database Management. Denver:University of Denver, 1999:68-77.
[11] ELDAWY A, MOKBEL M F. SpatialHadoop:A MapReduce framework for spatial data[C]//IEEE International Conference on Data Engineering. Seoul:IEEE Computer Society, 2015:1352-1363.
[12] CARY A, SUN Z, HRISTIDIS V, et al. Experiences on processing spatial data with MapReduce[J]. International Conference on Scientific & Statistical Database Management, 2009, 5566:302-319.
[13] 赵园春,李成名,赵春宇. 基于R树的分布式并行空间索引机制研究[J]. 地理与地理信息科学, 2007, 23(6):38-41. ZHAO Y C, LI C M, ZHAO C Y. Research on the distributed parallel spatial indexing schema based on R-tree[J]. Geography and Geo-Information Science, 2007, 23(6):38-41.
[14] 付仲良,刘思远,田宗舜,等. 基于多级R-tree的分布式空间索引及其查询验证方法研究[J]. 测绘通报, 2012(11):42-46. FU Z L, LIU S Y, TIAN Z S, et al. Research on the distributed spatial index based on hierarchical R-tree with query verification method[J]. Bulletin of Surveying and Mapping, 2012(11):42-46.
[15] 刘义. 大规模空间数据的高性能查询处理关键技术研究[D]. 长沙:国防科学技术大学, 2013. LIU Y.Research on Key Technologies of High Performance Spatial Query Processing for Large Scale Spatial Data[D]. Changsha:National University of Defense Technology, 2013.
[16] 张明波,陆锋,申排伟,等. R树家族的演变和发展[J]. 计算机学报, 2005, 28(3):289-300. ZHANG M B, LU F, SHEN P W, et al. The evolvement and process of R-tree family[J]. Chinese Journal of Computers, 2005, 28(3):289-300.
[17] 范建永,龙明,熊伟. 基于HBase的矢量空间数据分布式存储研究[J]. 地理与地理信息科学, 2012,28(5):39-42. FAN J Y, LONG M, XIONG W. Research of vector spatail data distributed storage based on HBase[J]. Geography and Geo-Information Science, 2012, 28(5):39-42.
[18] HAN D, STROULIA E. HGrid:A data model for large geospatial data sets in HBase[J]. IEEE Sixth International Conference on Cloud Computing, 2013, 8201:910-917.
[19] 张榆,马友忠,孟小峰. 一种基于HBase的高效空间关键字查询策略[J]. 小型微型计算机系统, 2012(10):2141-2146. ZHANG Y, MA Y Z, MENG X F. Efficient processing of spatial keyword queries on HBase[J]. Journal of Chinese Computer Systems, 2012(10):2141-2146.
[20] ASANO T, RANJAN D, ROOS T, et al. Space-filling curves and their use in the design of geometric data structures[J]. Theoretical Computer Science, 1995, 181(1):3-15.
[21] EGENHOFER M J, HERRING J R. A mathematical framework for the definition of topological relationships[C]//BRASSEL K, KISHIMOTO H. Proceeding of the Fourth International Symposium on Spatial Data Handling. Zurich:JGU, 1990:803-813.
[1] 傅颖颖, 张丰, 杜震洪, 刘仁义. 融合图卷积神经网络和注意力机制的PM2.5小时浓度多步预测[J]. 浙江大学学报（理学版）, 2021, 48(1): 74-83.
[2] 曾金迪, 张丰, 吴森森, 杜震洪, 刘仁义. 基于空间自回归神经网络模型的空间插值研究[J]. 浙江大学学报（理学版）, 2020, 47(5): 572-581.
[3] 陆晔, 张伟, 李飞, 杜震洪, 张丰, 刘仁义. 一种基于主题时空价值的服务器端瓦片缓存算法[J]. 浙江大学学报（理学版）, 2020, 47(1): 12-19.
[4] 嵇晓峰, 张丰, 王中一, 杜震洪, 刘仁义. 基于着色模型实时构造的海洋流场动态流线可视化方法研究[J]. 浙江大学学报（理学版）, 2020, 47(1): 45-51.
[5] 刘尧, 王颖志, 王立君, 张丰, 杜震洪, 刘仁义. 交通事故的时空热点分析[J]. 浙江大学学报（理学版）, 2020, 47(1): 52-59.
[6] 张贝娜, 冯震华, 张丰, 杜震洪, 刘仁义, 周芹. 基于时空多视图BP神经网络的城市空气质量数据补全方法研究[J]. 浙江大学学报（理学版）, 2019, 46(6): 737-744.
[7] 贾玉杰, 杜震洪, 张丰, 刘仁义. 基于属性权重优化算法的土地利用绩效评价及差异分解分析[J]. 浙江大学学报（理学版）, 2019, 46(5): 610-618.
[8] 姜斌, 黄祥志, 杜震洪, 张丰, 刘仁义. 一种动态实时的遥感专题应用系统定制框架[J]. 浙江大学学报（理学版）, 2018, 45(6): 758-764.
[9] 马小雯, 章笑艺, 来丽芳, 张丰, 杜震洪, 刘仁义. 基于地理探测器的浙江省空气质量风险因子分析[J]. 浙江大学学报（理学版）, 2018, 45(3): 351-362.
[10] 陈永佩, 杜震洪, 刘仁义, 张丰, 王炼刚. 一种引入实体的地理语义相似度混合计算模型[J]. 浙江大学学报（理学版）, 2018, 45(2): 196-204.
[11] 刘丽, 张丰, 杜震洪, 刘仁义, 贾玉杰. 基于深圳市出租车轨迹数据的高效益寻客策略研究[J]. 浙江大学学报（理学版）, 2018, 45(1): 82-91.
[12] 莫致良, 杜震洪, 张丰, 刘仁义. 基于可扩展多目标蚁群算法的土地利用优化配置[J]. 浙江大学学报（理学版）, 2017, 44(6): 649-659,674.
[13] 林雅萍, 杜震洪, 张丰, 刘仁义. “格网索引+MapReduce”策略下的地理国情统计分析研究[J]. 浙江大学学报（理学版）, 2017, 44(6): 660-665.
[14] 黄日鹏, 李加林, 叶梦姚, 姜忆湄, 史作琦, 冯佰香, 何改丽. 东南沿海景观格局及其生态风险演化研究——以宁波北仑区为例[J]. 浙江大学学报（理学版）, 2017, 44(6): 682-691.
[15] 吴小君, 方秀琴, 苗月鲜, 王凯, 庞婵云. 基于Landsat的合肥市城市扩张研究[J]. 浙江大学学报（理学版）, 2017, 44(6): 631-639.