海洋是世界上最大的水体地理单元,约占地球表面积的71%.海洋蕴藏着极为丰富的矿产资源, 合理开发和利用这些资源, 对世界各国的可持续发展有着重要意义[1].随着科学技术的不断发展以及海洋开发投入力度的加大,先进的科考设备及多样化的科考手段被应用于大洋科学考察,科考过程中将产生新的具有不同数据格式的科考数据,同时随着科考的不断深入,数据量日益庞大,加之数据复杂、格式不同,对科考数据的动态、高效管理提出了挑战.因此,如何通过计算机高效地管理科考数据,同时方便工作人员快捷使用,提高科考作业效率,是科考研究中十分重要且亟待解决的关键问题之一.
随着“数字海洋”的发展,先进的空间信息技术已应用于海洋数据的存储和管理,提高了科学考察数据的利用率,统一存储和管理不同来源、不同格式的综合科考数据,使其更好地为海洋科学研究和海洋资源开发服务.国内外不少学者针对海洋科考数据及空间数据的存储和管理进行了深入研究,开发数据管理系统以存储和管理已有的空间数据[2-10],但是这些数据管理系统只能存储和管理一种或多种特定格式的科考数据,无法存储和管理未来科考过程中新增的具有不同格式的科考数据,唯有修改现有系统源代码,发布新系统,进而存储和管理新增的科考数据.为此,不少学者对空间数据可视化管理进行了深入研究,通过将空间数据转换成空间对象,采用GIS手段实现空间数据的可视化管理[11-19].但是,这些可视化管理系统均人为地将特定数据类型的空间数据转换成相应的具有空间索引的空间对象,其转换规则不适合系统中新增的不同类别的空间数据.因此,现有的空间数据管理系统尚难适应未来科学考察的需要,同时系统改造和扩展的空间有限,且成本高昂.
针对上述问题,笔者提出了一种多源科考数据可扩展管理及可视化管理方法,此方法可解决因科考数据的格式不确定所引起的系统适应性和扩展性差等问题.设计了西南印度洋多源科考数据管理系统,以实现对不同数据格式的多源科考数据统一高效的存储和管理,以及便捷丰富的可视化空间操作,同时可减少系统的开发与维护成本,满足实际应用需求.
1 多源科考数据特点分析大洋科学考察是一项长期、艰苦、高投入的工作,涉及不同学科、不同领域.随着科考的不断深入以及科学技术的不断发展,科考数据量日趋增长,同时科考过程中将会融入新的具有不同数据格式的数据类别.具有如下特点:
(1) 宝贵性.大洋科考是一项技术密集型科学考察研究,周期长、难度大,需要耗费大量的财力和物力.同时,科考数据及海底资料是科学考察的直接成果和阶段产品,是未来科研活动的重要基础,对于科学研究的可持续发展具有重要意义[20].
(2) 多源性.大洋科考是一项多学科多研究手段的科学考察研究.学科方面,主要包括地质构造、地球物理、地球化学等;研究手段方面,主要包括地质地貌探测、构造地质探测、活动区热液异常探测、定点采样等[21].大洋科考数据的主要来源为不同设备的探测数据、工作人员的观测数据以及实验采样的分析记录数据等.
(3) 海量性.大洋科考是一项持续、长久的科学考察研究.自2005年“大洋一号”科考船首次进行环球科考以来,我国大洋协会已组织了34航次的科学考察研究,并且大洋科考研究仍在不断向前推进.随着科学考察研究的进行,探测设备获得的探测数据和工作人员的观测数据是海量的,同时随着采集样本的不断增多,实验中积累的分析数据也是海量的.
(4) 复杂性.大洋科考是一项涉及多种学科领域,集多种科考手段于一体的复杂的科学研究.不同学科、不同研究手段获取的科考数据类别和数据格式差异较大,复杂度不一.
(5) 动态性.随着人们对海洋认知的不断深入和科技水平的不断提升,新的科考设备和科考手段将不断加入到科学考察中,以更全面、深入地了解和研究海洋,然而这些新的科考设备和手段将不断产生新的具有不同数据格式的科考数据.
2 多源科考数据管理 2.1 多源科考数据可扩展管理方法多源科考数据具有宝贵性、多源性、海量性、复杂性和动态性.因此,为了有效存储和管理多源科考数据,须采用一种合理高效的方法解决多源科考数据存储和管理难问题.
通过对科考过程的深入研究和对已有49种科考数据类别的充分分析知,尽管科考数据类别众多,数据结构差异较大,但其包含的属性数据主要为探测信息、时间信息、分析信息、描述信息,以及附件信息中的一种或多种.这些数据信息所对应的数据格式主要为数值型、时间型、文本型和二进制流型.不同类别的科考数据实质上其包含的数据项的个数、名称、类型以及约束条件不同.当系统增加新的科考数据时,用户只需设定该科考数据中每一数据项的名称、类型以及约束条件(见图 1).当用户进行科考数据录入操作时,系统会自动检测各数据项值的合法性(即是否满足数据项的约束条件),并自动将各数据项的值一一对应地存储于数据库中(见图 2),完成从科考数据格式的自定义到数据录入的新增科考数据操作过程.以“浅钻采样”为例,完整的数据格式包括数值型(长度、深度、重量等)、时间型(入水时间、着地时间等)、文本型(样品描述等),如图 3所示.一个完整的科考数据就是将每一个特定数据格式的数据项动态可扩展式地组合在一起,以实现对多源科考数据的可扩展管理.
基于数据自定义存储的多源科考数据可扩展管理方法可以合理高效地存储和管理多源科考数据.针对每种类型的科考数据,用户无须事先手动创建科考数据属性记录表,在科考过程中可借助系统自动创建相应的满足当前科考数据的属性记录表,同时可按需调整已有科考数据属性记录表的数据库存储结构,具有较好的扩展性和适应性,由此可降低系统开发和后续维护成本,提高系统的开发效率.
2.2 多源科考数据可视化管理方法基于数据自定义存储的多源科考数据可扩展管理方法有效解决了由于科考数据的格式不确定所引起的系统适应性和扩展性差等问题.然而,为了满足工作人员丰富高效的空间操作需求,需要将具有空间属性的原始科考数据的属性数据显示在地图上.由于地图只可显示具有空间索引的空间对象信息,因此需借助空间数据地理抽象手段,将原始科考数据抽象成具有空间索引的空间对象,再进行地图的显示与空间操作.传统的空间数据地理抽象方法是人为地将具有空间属性的数据与空间对象逐一关联.但是,科考数据具有多源性,采用传统方法将消耗巨大的时间成本,严重影响系统的开发进度,如果借助于独立的第3方工具,将增加系统使用的复杂度和耦合度.另一方面,科考数据具有动态性,系统中存储的科考数据的数据库结构由用户自定义生成,无法事先确定相应的空间索引,亦无法统一有效地将具有空间属性的科考数据抽象成相应的空间对象.
自动地理抽象是自动地将具有空间属性的原始数据抽象成相应的点、线、面的空间对象.当工作人员自定义科考数据的数据库表结构时,需要指定当前类别的科考数据是否具有空间属性信息,如有,则在数据库相应的数据表结构中插入对应的存储空间属性的数据库表的字段.当工作人员进行自动地理抽象时,系统可自动提取科考数据属性记录表中对应的空间属性信息,并抽象成具有空间索引的空间对象.
基于自动地理抽象的多源科考数据可视化管理方法,可以统一有效地将具有空间属性信息的原始科考数据属性记录抽象成具有空间索引的空间对象.用户可以通过空间索引对相应的地理抽象后生成的空间对象进行属性查看、空间检索等基于地图的空间操作.多源科考数据可视化管理方法满足了科考数据空间显示、空间检索等空间操作需求,为多源科考数据可视化子系统完成了数据上的准备工作.
3 系统实现与应用 3.1 系统实现基于.Net平台,采用B/S架构, 设计与开发了西南印度洋多源科考数据管理系统,采用先进的数据库管理系统SQL Server和空间数据库引擎ArcSDE存储和管理多源科考数据,同时利用ArcGIS Server可视化组件实现多源科考数据的可视化空间操作.
3.1.1 科考数据自定义存储本文的数据库采用SQL Server提供的数据表空间管理模式,将各个类别的多源科考数据存储在不同的数据表空间,对多源科考数据进行分类存储和管理(见图 4).通过自定义不同属性数据库的数据表结构,实现科考数据自定义存储,可有效存储和管理不同类别的科考数据.
结合先进的数据库管理系统SQL Server和空间数据库引擎ArcSDE完成多源科考数据的自动地理抽象,将保存科考数据的属性数据库抽象成对应的具有空间对象的空间数据库(见图 5).空间对象具有点、线、面形式,并且科考数据可能包含点属性、线属性、面属性中的一个或多个属性信息.系统自动地理抽象时,需要事先获取对应的点、线、面的自动地理抽象顺序,并选择需要地理抽象的科考数据属性表.
ArcGIS Server是用于构建集中管理、支持多用户的企业级GIS应用平台.本文基于ArcGIS Server组件,将科考数据自动地理抽象生成的空间对象以图层的形式叠加显示在地图上,以实现多源科考数据的可视化空间操作.
3.2 系统应用系统已应用于西南印度洋多金属硫化物科学考察数据管理项目,为该项目的科考数据存储管理以及可视化空间操作提供服务(见图 6和7).实践证明,西南印度洋多源科考数据管理系统能够合理、高效、统一地存储和管理多源科考数据,让工作人员能更加方便、快捷地对多源科考数据进行可视化空间操作,从而很好地适应和满足了未来科考发展的需求.
在全面深入地分析多源科考数据特点的基础上,研究了多源科考数据的存储和可视化方法,结合先进的数据库存储技术和空间信息管理技术,提出了一套多源科考数据管理方案,实现了对大洋科考多源数据的统一存储和管理以及可视化空间操作.将本文研究的多源科考数据管理方案应用于西南印度洋多金属硫化物科学考察数据管理系统中,统一组织和管理沉积物、硫化物等不同类别的科考数据,适应了不同数据格式的要求,同时采用自动地理抽象方法将属性数据抽象成空间对象,实现了多源科考数据的可视化空间操作.结果表明,多源科考数据管理系统具有良好的适应性和扩展性,满足了实际项目以及未来科学考察发展的需要,可为海洋资源的合理保护和开发提供服务.
[1] |
苏天赟, 刘保华, 翟世奎, 等. "数字海底"数据库:海底多源综合数据的集成与管理方法研究[J].
海洋科学进展, 2005, 23(4): 504–505.
SU T Y, LIU B H, ZHAI S K, et al. Digital seabed database:Study on integration and management method for multisource and comprehensive seabed datas[J]. Advance in Marin Science, 2005, 23(4): 504–505. |
[2] | BOTHA I, VELICANU A, BARA A. Integrating spatial data with object relational-database[J]. Journal of Database Systems, 2011(1): 33–42. |
[3] | BASU A. Development of a marine information system for various data analysis and data integration in the Hawaiian exclusive economic zone[J]. IEEE Oceans, 1995, 18(1): 146–153. |
[4] |
崔爱菊, 王建村, 苏天赟. 海洋地球物理数据库设计与实现[J].
海洋科学, 2015, 39(3): 116–121.
CUI A J, WANG J C, SU T Y. Design and realization of marine geophysical database[J]. Marin Science, 2015, 39(3): 116–121. DOI:10.11759/hykx20140422002 |
[5] |
吴明光, 陈四清. 一种基于RDBMS的面向对象空间数据模型[J].
测绘科学, 2006, 31(5): 137–139.
WU M G, CHEN S Q. A new object-oriented spatial data model based on RDBMS[J]. Science of Surveying and Mapping, 2006, 31(5): 137–139. |
[6] |
苏天赟, 刘保华, 梁瑞才, 等. 基于ORACLE的渤海工程地质数据库结构的分析和设计[J].
海洋科学进展, 2003, 21(1): 60–67.
SU T Y, LIU B H, LIANG R C, et al. Analysis and design of ORACLE-Based engineering geology database structure for the Bohai sea[J]. Advances in Marine Science, 2003, 21(1): 60–67. |
[7] |
沈敬伟, 周延刚, 温永宁, 等. 基于面向对象数据库的空间数据管理[J].
西南大学学报:自然科学版, 2013, 35(4): 132–137.
SHEN J W, ZHOU Y G, WEN Y N, et al. On spatial data management based on object-oriented database[J]. Journal of Southwest University:Natural Science Edition, 2013, 35(4): 132–137. |
[8] |
张勇, 杨作升, 刘展, 等. 渤海区域地质信息管理系统数据模型[J].
海岸工程, 2002, 24(4): 76–81.
ZHANG Y, YANG Z S, LIU Z, et al. Data model for the Bohai Sea geologic information management system[J]. Coastal Engineering, 2002, 24(4): 76–81. |
[9] |
薛惠芬, 张义钧. 海洋资料基础数据库模式设计技术[J].
海洋信息, 2003(2): 1–4.
XUE H F, ZHANG Y J. Design techniques of marine information database model[J]. Marine Information, 2003(2): 1–4. |
[10] |
刁明光, 薛涛, 李建存, 等. 基于地址信息元数据标准的多源空间数据管理系统[J].
国土资源遥感, 2013, 25(1): 165–170.
DIAO M G, XUE T, LI J C, et al. The multi-source spatial data management system based on geological information metadata standard[J]. Remote Sensing for Land & Resources, 2013, 25(1): 165–170. DOI:10.6046/gtzyyg.2013.01.29 |
[11] |
张政民, 薛荣俊, 苏天赟, 等. ArcSDE在数字海底系统中的应用[J].
海洋技术, 2004, 23(2): 64–67.
ZHANG Z M, XUE R J, SU T Y, et al. Application of ArcSDE to the digital seabed system[J]. Ocean Technology, 2004, 23(2): 64–67. |
[12] |
韩富江, 张济博, 田双凤, 等. 基于ArcSDE的浙江省海岛信息管理系统设计与研究[J].
测绘与空间地理信息, 2014, 37(12): 90–92.
HAN F J, ZHANG J B, TIAN S F, et al. Design and implementation of island management information system in Zhejiang Province based ArcSDE[J]. Geomatics & Spatial Information Technology, 2014, 37(12): 90–92. DOI:10.3969/j.issn.1672-5867.2014.12.028 |
[13] |
陈昌生, 许文波, 赵健. 基于ArcSDE的卫星遥感影像数据库研究[J].
计算机技术与发展, 2010, 20(7): 80–88.
CHEN C S, XU W B, ZHAO J. Research on remote sensing image database based on ArcSDE[J]. Computer Technology and Development, 2010, 20(7): 80–88. |
[14] |
冯旭祥, 李安, 陈俊. 基于ArcSDE与WebGIS的卫星数据管理与检索系统研究与实现[J].
遥感信息, 2010(1): 39–43.
FENG X X, LI A, CHEN J. Research and implementation of satellite data management and query system using ArcSDE and WebGIS[J]. Remote Sensing Information, 2010(1): 39–43. |
[15] |
黄金权, 李忠武, 曾光民, 等. 基于SQLServer+SDE的综合农业环境数据库建设机制研究优化[J].
中国农业科技导报, 2010, 12(2): 86–92.
HUANG J Q, LI Z W, ZENG G M, et al. Studies on optimization of constructing an integrated agro-environmental database mechanism based on SQL Server+SDE[J]. Journal of Agricultural Science and Technology, 2010, 12(2): 86–92. |
[16] |
尹芳, 诸云强, 张金区, 等. 科学考察空间数据WebGIS信息发布及可视化研究[J].
计算机工程与设计, 2011, 32(7): 2336–2339.
YIN F, ZHU Y Q, ZHANG J Q, et al. WebGIS publishing and visualizing of spatial data in scientific expedition[J]. Computer Engineering and Design, 2011, 32(7): 2336–2339. |
[17] |
王翔, 陈建平, 范海明, 等. 基于3D WebGIS月球地质空间数据管理系统[J].
地学前缘, 2014, 21(6): 31–37.
WANG X, CHEN J P, FAN H M, et al. Lunar geology spatial data management system based on 3D WebGIS[J]. Earth Science Frontiers, 2014, 21(6): 31–37. |
[18] |
苏天赟, 刘保华, 刘海行, 等. 基于WebGIS技术的黄海大海洋生态系信息共享系统[J].
海洋科学进展, 2008, 26(3): 401–408.
SU T Y, LIU B H, LIU H X, et al. A Yellow Sea large marine ecosystem data sharing system based on WebGIS technology[J]. Advances in Marine Science, 2008, 26(3): 401–408. |
[19] |
郭亮, 龚建华, 孙麇, 等. 基于ArcGIS Server与AJAX的WebGIS设计与实现[J].
测绘科学, 2011, 36(3): 210–212.
GUO L, GONG J H, SUN J, et al. Design and implementation of WebGIS based on ArcGIS and AJAX[J]. Science of Surveying and Mapping, 2011, 36(3): 210–212. |
[20] |
吴爱娜, 隋军, 姜秋, 等. 浅谈加强我国极地科学考察数据质量管理的对策[J].
海洋开发与管理, 2009, 26(11): 36–37.
WU A N, SUI J, JIANG Q, et al. On strengthening the management measures of the data quality for scientific polar exploration of China[J]. Ocean Development and Management, 2009, 26(11): 36–37. DOI:10.3969/j.issn.1005-9857.2009.11.009 |
[21] |
陶春辉. 中国大洋中脊多金属硫化物资源调查现状与前景[C]//中国地球物理学会第二十七届年会论文集. 长沙: 中国地球物理学会, 2011.
TAO C H. Status and prospects of Chinese massive sulfide exploration on mid-ocean ridges[C]//Proceedings of the Chinese Geophysical Society 27th Annual Meeting. Changsha:China Geophysical Society, 2011. |