打开文本图片集

一、如何看待大数据

2015年9月5日，《国务院关于印发促进大数据发展行动纲要的通知》正式发布，在全社会引起广泛影响。在此前后，社会上的大数据浪潮汹涌澎湃，推动和裹挟着每一个行业、部门和企业。一些单位和部门急于“抢占大数据制高点”，纷纷出台了一系列政策、措施、机构和项目；气象部门也未能例外，以气象大数据为名上项目、搞工程的苗头已经出现。如何认识大数据，大数据是否适用于气象部门，以及适用于哪些领域，是气象部门决策机构需要思考、分析和综合归纳的问题，因为这些问题的厘清有助于尽可能避免工作中的盲目性并减少失误。

（一） 大数据时代的背景

所谓“大数据时代”的到来，是水到渠成的必然结果，归纳起来有以下几个方面：

1. 数据源泛在化

移动智能设备、可穿戴设备、互联网应用等设备和系统应用的普及，使得数据的采集不再停留在专业部门的业务系统范畴：手机、身份证、交通卡、银行卡、门禁卡、网上查询、网上聊天、网购、网游、GPS定位、视频监控、ETC等一切智能设备都是数据设备，只要人迹所至，就有数据产生。较之上世纪，数据源已极大地泛在化了。

2. 网络广泛连接

在数据源极大泛在化的同时，互联网、移动互联网及物联网将所有数据源连接在一起，人类历史上首次实现了人与人、人与物、物与物之间广泛的连接和自由交换数据。从而将单台设备的数据能力升级到全球网的层次上，极大地提升了系统的智能潜力。梅特卡夫定律指出：“网络的价值与参与者的平方成正比”，网络的广泛连接极大增加了互联网的应用价值，其中包括全社会数据利用能力的增加，以及提高生产力机会的增加。

3. 软件的普及和智能化

软件是人类知识和智慧的外在形态和应用载体，软件将硬件设备、网络资源、传感器、控制器与数据组织成为能够实现目标的智能系统，软件是智能系统的灵魂，也是大数据应用的核心。数据只有在被处理和应用之时，方才成其为资源，否则只能是垃圾；所拥有数据是废是宝，最终由软件的能力决定。

4. 生态环境的形成

“四个无处不在”以及数据源的泛在化，体现了包括传感器、智能终端、高速网络、移动互联网、云平台、大数据处理技术、地理系统技术等多种信息技术共生的新生态环境，所有这一切构成了大数据生长的肥沃土壤。这些基础技术的出现和普及应用为新技术、新应用的集成创新提供了良好的机会。大数据时代是数据大爆发的时代，也是智能系统大爆发的时代。

5. 互联网巨头的推动

互联网将所有数据源连接在一起，网上业务量的激增导致互联网企业的业务数据呈指数倍激增，使得那些成功的互联网企业在迅速成为互联网巨头（如：谷歌、亚马逊、百度、阿里、腾讯等）的同时，其原有的数据存储系统也被一一撑爆，以至于这些互联网巨头们始终在马不停蹄地疯狂扩充自身的存储和处理能力。面对这些每天都在剜心割肉地消耗着不菲的维护资金的庞大业务数据，如何将其进一步变现，以变废为宝、变闲为宝，发掘这些业务数据在业务应用之外的新的价值，便成为这些互联网巨头们迫切需要解决的新课题——此即为何大数据概念的出现以及大数据技术的发展均来自互联网巨头及业务的推动的主要原因。抛开商业目的，互联网巨头们对大数据技术及应用的推动，客观上改变了人们从数据中获取信息的理念，促成了大数据应用理念的革命。

（二） 观察大数据的视角

大数据时代是信息技术发展的必然结果，它的到来不可抗拒。现象的出现和应用的需要，必然导致理论的产生。而大数据理论的主要基础，是考察该事物的视角。

1. 提取和应用信息的视角（关注于数据处理理念和方法的改变）

从数据本身的角度出发考察大数据，是大数据浪潮发端时最初的公认视角。其最具代表性的理念更新当属《大数据时代》一书的作者迈尔.舍恩伯格，该作者将大数据理念的精髓概括为三点：不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系。作者在书中雄辩滔滔地论述此三味真火的背后，有其内心深处对世界本质的认识做支撑。但无论如何，作者对大数据应用归纳的新理念，对于利用大数据资源获取信息的应用提供了一种新思路，其新颖的大数据思维也为科技探索提供了一种新的模式。

《大数据时代》作者在书中关注的是如何从大数据中挖掘出更加准确和丰富的信息，以便指导和改进人们的工作、提高决策水平等等，其视角是大数据的信息提取和应用。气象部门的大数据应用既属此范围，即：从数据中提取信息供决策使用。

2. 信息和内容价值的视角（关注连接范围的是否全面）

大数据产生信息的价值并不取决于其所产自的数据集的规模大小，而在于该数据集内容的丰富与否。用一架高分辨率摄像机对准一面空白墙面连续拍摄数周，也能产生PB级的数据，但其应用价值却极低，原因很简单：虽然其体量甚大，但其中所含信息内容却极度贫乏。无人驾驶汽车的研制之所以难度甚高，除需要处理的周边环境的信息量巨大外，还在于无法全部获取周围其它行驶车辆驾驶人员当前及将要采取措施的信息。

此外，大数据的应用价值除了其内容的是否丰富以外，还取决于对本应用是否适用。阿里电商大数据可以用来分析宏观经济形势，却无法用来分析火星地表是否存在液态水，因为这些大数据内容虽然丰富，但却不包含任何有关火星方面的信息内容。

因此，一个应用广泛的大数据，一定是一个内容十分丰富——换句话说，就是连接面十分广泛、全面——的数据集，与体量没有必然关系。就价值而言，连接比规模更重要。

3. 行政决策和国家治理的视角（关注社会治理能力的提升）

国家宏观经济形势、百姓的消费热点、民众对某一重大事件的反应、流行疾病的爆发预警乃至反恐维稳的目标锁定等等，这些涉及政府行政决策的信息，以及这些信息的全面、准确和及时，都是政府在国家治理层面迫切需要的。虽然这些信息大多也有一定的正规获取渠道（甚至设有专业部门负责），但种种原因导致了这些渠道所采集和汇集的信息往往或不精细、或不准确、或不完整、或不及时，使得国家行政决策因之而难以达到预期效果。改造完善这些渠道需要耗费大量成本和时间，于是在现有的、沉睡在各部门和企业系统中的业务数据中提取相关信息，以弥补现有信息渠道的各种不足，便成为信息获取的新途径和新思路。从目前业界所热传的所有大数据应用成功案例看，绝大部分属于人文社会领域，从一个侧面印证了大数据对于改善国家宏观治理的重要意义。有效开发互联网大数据应用，可以显著提升政府的国家治理能力和决策的科学性，这是许多国家政府和智库的共识。因此，不少发达国家纷纷制订本国的国家大数据战略，我国也不例外。