什么是大数据管理?
在大数据时代,数据已成为国基础战略资源的重要组成部分。随着空间信息技术的飞速发展,空间数据的采集手段日趋多元化,地理信息技术在各行各业当中的应用也更加广泛和深入,由此也促使GIS大数据时代的到来。大数据是一把“双刃剑”,高精度、广覆盖的矢量数据爆炸式地增长,在提升国级宏观科学决策﹑社会监管﹑公共服务以及应急决策管理能力等方面提供了良好的契机;但同时如何有效地进行组织与管理大规模的矢量数据,使其发挥最大的效益,成为了目前实际应用当中迫切需要解决的难题。
大数据需要以通过各种渠道收集的大量资料、信息和数据,具有信息量大、处理速度饮、数据多样化、价值高等特征。大数据的到来,让社会发生了巨大的变革。大数据管理是为了面临大数据时代的到来,如何对数据进行管理和利用。
大数据管理的挑战具体如何操作?
数据集成管理
数据信息量的增加和数据类型结构的复杂,给大数据的数据集成管理带来了很大困难。一方面,大量的数据各有各的来源,具有结构化、半结构化、非结构化的不同特征,存储方式也各有不同,需要进行复杂的转换才能集成管理;另一方面,数据的质量参差不齐在集成管理的过程中需要进行信息的筛选,淘汰掉无用的信息,集成管理的数据筛选标准难以确定。
数据的分析
大数据包括大量半结构化和非结构化数据,这就让以往的数据分析体系不再适合的数据管理。首先,现有的数据分析体系不能够及时处理半结构化和非结构化的数据,需要花费大量额外的时间,数据分析缺乏时效;其次,大数据环境当中的数据处于一种动态的变化环境,索引方案不能够根据具体的场景来进行调整;最后,传统的数据分析结构对于数据的类型、取值范围己经有了一定了解,而对半结构化和非结构化数据,就难以理清数据内部的关系,缺少高效处理的先决条。
隐私问题
由于大数据时代的信息传播越来越容易,数据的隐私问题也随之越来越严重。人们在互联网的不同节点留下自己的信息,单个节点的信息不容易暴露用户的隐私。但是如果能够把多个节点的用户信息综合起来,就会暴露用户的大量隐私。另外,大数据时代需要进行大量数据的公开,来促进社会和经济的发展。信息公开的标准如果不合理,也容易造成个人隐私的暴露,造成信息公开与个人隐私的矛盾。这些都是大数据时代的个人信息保护所需要注意的。