当前位置: 首页> 范文大全> 计划方案>

大数据及其对地矿分析测试工作的启示

发布时间:2022-02-11 08:39:34 浏览数:

摘要: 大数据已经受到越来越多的关注,大数据时代即将到来。在介绍大数据的内涵基础上,分析大数据的特征和时代价值,探讨其带给社会经济发展的意义。大数据时代将对地质矿产实验室的分析测试数据库建设和管理工作带来了新的机遇。

Abstract: Big data has attracted more and more attention, and big data era is coming. Based on the introduction of the connotation of big data, this article analyzes the characteristics and time value of big data. Its significance for social and economic development is discussed. Big data era will bring new opportunity for the geology and mineral resources laboratory analysis and test database construction and the management.

关键词: 大数据;数据库;地质矿产;分析测试

Key words: big data;database;geology and mineral resources;analysis and test

中图分类号:G203 文献标识码:A 文章编号:1006-4311(2014)17-0234-02

0 引言

“大数据”(Big Data)一词在当前各界流行,成为运用最多的词语之一,受到越来越多的关注,其影响力已经超过了移动互联网、物联网、云计算等,大数据行业正走向一个产业化发展阶段。据相关媒体报道,贵阳现已投资数百万进行云计算基础设施建设,以吸引大数据企业进驻贵阳,迄今为止已有一批大数据企业进入贵阳,为新兴的大数据产业发展奠定了坚实的基础,贵阳也因此有望领跑全国大数据产业发展。那么,究竟何为“大数据”,“大数据”跟人们的生活又有何关联,它的未来发展又将如何呢?在贵阳领跑全国大数据产业发展的背景下,大数据的发展将给贵州地矿分析测试和数据评价行业带来什么影响?地矿分析测试数据质量和数据管理应该怎样应对?笔者试图从大数据的视角对地矿分析测试工作及其带来的启示进行

探析。

1 大数据的内涵及其时代价值

1.1 大数据的内涵 大数据(Big Data),也称之为巨量资料,指的是对收集的信息资料量的规模太过巨大,在一定合理的时间用目前的主流工具,无法进行撷取、处理、管理并整理成为帮助企业经营决策和管理的数据集合。Gartner研究机构的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从中我们可以看成大数据的含义包好两个要素,第一是大,目前数据非常多,举个很简单的例子,目前一个城市单看其视频数据就达到PB至EB级,非常庞大;第二是杂,大数据包含了各种各样的数据类型,如类似数据库的结构化数据,以及视频、文本、声音等非结构化数据。

大数据主要有两大类型,第一,是指企业自身的产品和服务产生了大量的密集型“超大规模”或“海量数据”。第二,是网络大数据,通常是指在互联网上发生的、蕴含有丰富的、可被发掘的具有社会价值、商业价值或科研价值的大数据。[1]根据大数据发展的状况可以看出,它并非是一个突然冒出的新鲜事物,其与以前的数据挖掘、数据爆炸等是一脉相承的。大数据与其说是一项技术,不如说是由于不断增长的数据量和数据种类而逐渐衍生出来的一种

现象。[2]

1.2 大数据的时代价值 大数据的运用已经涉及到了方方面面,对我们的个人生活、企业发展甚至是公共管理都是非常有用的。就拿我国社会医疗来讲:目前我们去医院看病,都要把病历带着并将自己的病史从头到尾讲一遍,很麻烦而且中间还会出现信息传递误差的可能。但是,如果建立一个医疗数据中心,每个医生登陆这个平台就可以了解到病人的病情、病历、以及每次生病开的药方、治愈时间等信息,这对医生更准确的诊断出病情是非常有帮助的。另外,如果全国的医疗数据共享,政府部门、卫生局、以及医疗调研等机构在统计监管方面也更为便捷和精确,比如哪个年龄段、哪个季节某种病发率更高,这样我们就可以针对这个问题去对症下药。智慧医疗由大数据行业而从此诞生。因此,大数据技术可运用到各行各业。在宏观经济方面、农业领域、医疗保健领域已经有了较为广泛的应用。在科研领域,基于密集数据分析的科学发现成为继实验科学、理论科学、计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。

2 大数据的特征

大数据对社会经济发展的影响越来越明显,这是因为大数据具有传统数据所不具有的特点和优势。业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

2.1 规模性(Volume)。指的是数据巨大的数据量以及其规模的完整性。到目前,数据量级已从TB(1012字节)发展至PB乃至ZB,可称超量、巨量乃至海量。

2.2 多样性(Variety)。数据类型繁多,被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。

2.3 高速性(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。Velocity主要表现为数据流和大数据的移动性。现实中则体现在对数据的实时性需求上。随着移动网络的发展,人们对数据的实时应用需求更加普遍,比如通过手持终端设备关注天气、交通、物流等信息。高速性要求具有时间敏感性和决策性的分析——能在第一时间抓住重要事件发生的信息。比如,当有大量的数据输入时(需要排除一些无用的数据)或者需要马上做出决定的情况。比如:一天之内需要审查500万起潜在的贸易欺诈案件;需要分析5亿条日实时呼叫的详细记录,以预测客户的流失率快速化(Velocity Fast)。

2.4 价值性(Value)。Value体现出的是大数据运用的真实意义所在。其价值具有稀缺性、不确定性和多样性。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

正是因为大数据的特征,决定了大数据在未来领域的广泛应用。未来的大数据将在教育、能源、交通、公安、互联网、通信等各个领域广泛运用,而这些领域的运用跟我国目前提出“智慧城市”是息息相关的。“智慧城市”可以说是建立在大数据之上的,它是目前大数据最为典型的一个运用。随着大数据的价值日益凸显,越来越多的企业正逐步意识到这隐藏在数据沙漠中的金矿,尤其是像电信、公安、金融、电商等行业对大数据的需求是非常迫切的,大数据是我国未来发展的必然趋势。

3 大数据时代给地矿分析测试带来的机遇——以贵州省地质矿产中心实验室为例

大数据处理系统将有异于传统的数据分析系统,传统数据处理系统将数据不同阶段的处理看成孤立的任务,只关注数据处理的片面特性,无法适应大数据在感知、存储与计算阶段的转换变迁,因此,数据需要面向全生命周期处理的系统架构的突破。[3]在大数据发展的背景下,将对实验测试数据、质量控制和管理等带来机遇。

如今,大数据正在为人们呈现一个全新的信息社会、智慧社会,数据革命正在瓦解已经建立的产业和商业模式。大数据的核心思想的时代价值对于地矿分析测试工作发展有很多启示。下面以贵州省地质矿产中心实验室为例进行说明。

贵州省地质矿产中心实验室始建于1956年,是贵州省地质矿产勘查开发局下属从事地质实验检测分析研究的法人单位,也是独立承担法律责任的社会公益类技术机构,授权承担全省矿产品、黄金宝石制品、桶(瓶)装饮用水产品的质量监督检验任务,是各级质监部门依法监督管理产品质量的技术支撑机构。贵州省地矿矿产中心实验室是省地质矿产勘查、矿产资源开发、国土资源管理的技术支撑单位。

迅猛发展的大数据,预示着全新的甚至带有破坏性的创新模式的诞生,它已经超出了传统地矿调查和管理的数据库建设、挖掘范畴和处理的能力。必须认真思考大数据时代的地质矿产分析测试实验室数据建设和管理问题,为创新地矿实验室分析测试数据的发展提供基础。

研究证明,有效地管理、使用大数据能够给企业提供更多增强企业生产能力和竞争能力的机会,能够给企业带来巨大的潜在商业价[4]。

当前,随着地质矿产工作的不断发展,贵州省的地质矿产实验分析测试工作也在不断发展,地质矿产实验分析测试工作也不仅仅是对实验信息数据的调查与整理,分析测试的范围也出现扩大的趋势,开展根据独特的喀斯特地质形态以及与之相适应的农业地质和生态环境地质和矿产分布等的地质矿产调查工作,实验室分析测试为地质大调查的数据库建设做基础性的准备和检测监督作用,随着地质调查的要求的提高,对实验测试工作提出了更高、更新、更快的要求,分析测试技术领域亦从单一的元素分析扩大到多目标的有机、无机、形态分析,其数据呈现种类多样性、规模性,类型复杂化的新特点,达到了前所未有的程度。同时,在地质矿产实践工作中除了地质矿产数据之外也涉及到的大量地球化学数据信息,加上整个地质矿产分析测试工作对象多,领域范围大,这些信息需要进行共享。基于此,地质矿产实验室的分析测试必须建立与之相适应的数据标准和数据库,以适应地质矿产分析测试工作的需要,由于这些数据具有传统所不具有的特点,数据种类多样,规模大,类型复杂,传统的数据库已经不适应新的发展之需,在新的形势下,地矿分析测试数据要求简洁,便于实施,要达到这样要求,大数据提供了可能。在此背景下,我们可以建设给基于大数据环境下的地质矿产分析测试实验室数据库,以此来确保地质矿产分析测试之用。

建立基于大数据技术下的地质矿产分析测试元数据库管理系统统可以更好地是为地质调查实验室数据的数据交换、组织维护和数据检索提供技术基础,它可以实现数据建立、数据发布、数据转换、数据浏览等之间的共享,有利于实现对数据的管理,提高分析测试的效率。

4 结束语

大数据的发展,给地质矿产实验数据分析测试的创新发展带来了良好机遇。当前,海量的地质矿产信息数据远未被充分利用,地质矿产信息管理部门、地质矿产分析测试企业要认识到大数据技术带来的深刻影响,地质矿产分析测试工作的开展而言,分析测试数据库及其管理系统可以说是不容忽视的重要组成部分之一,需要引起关注。加大对地质矿产分析测试数据开发应用的研究,促进数据的广泛、深入应用。

参考文献:

[1]何非,何克清.大数据及其科学问题与方法的探讨[J].武汉大学学报(理学版),2014(2):1-11.

[2]耿秋,孟剑.大数据时代:机遇?挑战?[J].中国新时代,2012(6):60-61.

[3]王元卓,靳小龙,程学旗.网络大数据:现状与展望[J].计算机学报,2013,36(6):1125-1138.

[4]宗威,吴锋.大数据时代下数据质量的挑战[J].西安交通大学学报(社会科学版),2013(5):38-43.

上一篇:如何提高地质矿产勘查及找矿技术

上一篇:内蒙古自治区地质矿产勘查院积极开拓蒙古国地勘市场

相关范文