当前位置: 首页> 范文大全> 述职报告>

河南省CMACAST数据处理系统研究

发布时间:2022-02-15 08:37:24 浏览数:

摘要:“9210”工程建成后,河南省气象信息中心通过DVBS卫星数据接收系统接收各种气象原始资料,由MICAPS处理程序处理为各类气象资料供气象台预报员调阅使用。伴随着现代生活水平的提高以及气象事业的迅速发展,公众对气象预报产品的时效和精细化都提出了更高的要求。因此气象台预报员对预报所需要的资料也提出了更高的要求。河南省信息中心将通过DVBS卫星数据系统接收到的原始资料进行处理已经不能满足预报员的需求。河南省气象信息中心通过CMACAST卫星数据广播系统接收各种气象资料,每天接收到的资料有三十八类,多达100多G。海量的气象资料需要高性能的处理系统将其处理为气象产品,供预报员调阅。CMACAST数据处理系统将接收到的气象资料推入队列中依次进行处理为MICAPS资料,供气象台预报员调阅。CMACAST数据处理系统由5个功能模块组成,分别为服务器环境配置模块,数据处理模块,数据监控模块,数据备份模块,数据还原模块。这些模块为维护人员监控各类资料的处理情况和维护CMACAST数据处理系统提供了重要的技术支持,降低了维护的难度和复杂度。采用XML作为数据接口文件,使CMACAST数据处理系统具有较强的可扩展性。目前CMACAST数据处理系统已经成为为气象台提供资料服务的重要平台。

关键词:CMACAST;卫星数据广播系统;数据处理系统;XML

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2014)16-3701-03

Abstract: After the completion of the “9210”project,Henan Provincial Meteorological Information Center receives all kinds of meteorological data by DVBS satellite data broadcasting system and processes into MICAPS data for forecaster accessing in Henan meteorological bureau.Witj modern living standards improving and the rapid development of the meteorological cause,the public has put forward higher requirements on ageing and fine meteorological forecast products.Therefore meteorological forecasters put forward higher requirements on needing forecast information..Henan Provincial Meteorological Information Center processing data reveiving through the DVBS satellite data broadcasting system has been unable to meet the needs of the forecasters.Henan Provincial Meteorological Information Center receives various kinds of meteorological data through the CMACAST satellite data broadcasting system, receiving daily data of thirty-eight categories, more than 100 G. Massive meteorological data needs high performance system processing into weather products accesed for forecasters.CMACAST data processing system is composed of 5 modules and respectively is the server configuration module, data processing module, data monitoring module, data backup module and data reduction module.These models provide an important technical support for monitor and maintain the CMACAST data processing system and reduce the maintenance difficulty and complexity.XML is data interface of CMACAST data processing system,and makes the system having highly scalability. CMACAST data processing system is an improtant supproting technology of data service for Henan meteorological bureau.

Key words: CMACAST; satellite data broadcasting system; data processing system; XML

自“9210”工程建成后,河南省气象信息中心通过DVBS卫星数据接收系统接收各种气象原始资料,由MICAPS处理程序处理为各类气象资料供气象台预报员调阅使用。

伴随着现代生活水平的提高以及气象事业的迅速发展,公众对气象预报产品的时效和精细化都提出了更高的要求。因此气象台预报员对预报所需要的资料也提出了更高的要求。河南省信息中心将通过DVBS卫星数据系统接收到的原始资料进行处理已经不能满足预报员的需求。

目前,河南省气象信息中心通过CMACAST卫星数据广播系统接收各类实时气象资料包括警报和预警信息,常规观测资料,国内自定义格式观测资料,数值预报产品,天气雷达资料,卫星资料和预报服务产品。每天接收到的资料有三十八类,多达一百多G。气象信息中心接收到实时资料需要经过CMACAST数据处理系统处理,转换为MICAPS格式的预报产品,才能为气象台的预报员所使用。高频度地处理大量的原始资料,以及原始资料的种类也会随时增加,对处理系统提出了高效、容错程度高以及可扩展性强的要求。

1 系统流程

Cmacast系统接收机10.69.72.46通过卫星广播接收软件从卫星接收机192.168.0.1 上按照通道分类接收各种实时气象资料,并将接收到的资料存放到新一代通信系统的磁盘阵列上。

位于新一代通信系统的磁盘阵列上的/bezz/workdir/etc/目录下的分发定义文件DIR_CONFIG.2定义了如何将新一代通信系统磁盘阵列上的文件分发到存储原始资料的服务器172.18.152.9上。下面以MSG常规资料为例,介绍DIR_CONFIG.2如何定义从新一代通信系统的磁盘阵列上的文件分发到存储原始资料的服务器172.18.152.9上。

[directory] DVBL0

/bezz/workdir/incoming/cmacast/L0 #存放到新一代通信系统的磁盘阵列L0目录下的的文件

[dir options]

do not backup files #分发完L0目录下的文件,立即删除

[files]

MSG__* #查找以MSG__开头的文件

[recipient]

ftp://data:wlzx@MICA:21/data/bezz/dmsg #以ftp方式分发到存储原始资料的服务器/data/bezz/dmsg目录下,其中存储原始资料服务器主机名称为MICA

主机参数定义文件HOST_CONFIG定义了存储原始资料的服务器172.18.152.9的主机

名称为MICA。

新一代国内通信系统的mms_parallel和mms_ha服务根据配置文件DIR_CONFIG.2和HOST_CONFIG,实现了原始资料从新一代通信系统的磁盘阵列上到存储原始资料服务器的分发。

CMACAST数据处理系统读取存储原始资料服务器172.18.152.9下/home/micaps/data目录下的原始资料,进行处理,处理完的资料为MICAPS格式,存储到MICAPS服务器172.18.152.3上,供气象台预报员调阅。

2 系统主要功能

CMACAST数据处理系统由五个功能模块组成,分别为:服务器环境配置模块,数据处理模块,数据监控模块,数据备份模块,数据还原模块。

2.1 服务器环境配置模块

服务器环境配置模块为用户提供了以FTP方式或者虚盘方式获得原始数据,处理后的各类资料在服务器中的存放路径,处理的时间段和处理所需要的程序等。维护人员可以根据需要增加处理资料的种类或者删除处理资料的种类。这使得CMACAST数据处理系统具有很好的扩展性。

2.2 数据处理模块

数据处理模块根据处理服务器的时间,将处理时间段位于该时间点内的数据推入数据队列中,根据每类产品的配置信息,调用处理程序进行处理。

2.3 数据备份模块

数据备份模块能够备份原始数据和产品数据;维护人员可以自行选择需要备份原始数据还是产品,备份数据的时间和存放备份数据的物理位置,进行备份。

2.4 数据还原模块

数据还原模块可以从存储原始资料的服务器上获取数据进行数据恢复,或者从产品的备份数据中进行恢复;维护人员可以选择是从存储原始资料的服务器还是从产品备份数据进行恢复,然后设置起始恢复点和恢复时长,以便程序恢复指定时间的数据,默认为24小时。该功能使维护人员不用补调历史原始资料,迅速处理历史资料,生成历史产品。该功能降低了维护的复杂度,使手工处理变得简单可行。

2.5 数据监控模块

数据监控模块主要用来监视产品的生成情况,数据服务器接收原始数据的情况,以及监视数据接口进程的执行情况,这使维护人员能够迅速定位没有处理出来的产品是由于原始数据缺失还是处理程序处理失败。该功能使得维护人员能够快速定位处理产品失败的原因,便于维护人员迅速解决问题。

3 关键技术的应用

CMACAST数据处理系统处理的资料有三十多类,处理的频率也很密集,这对处理系统提出了很高的要求,也综合应用了一些关键技术。

3.1 XML的应用

与以前的DVBS数据处理系统相比,CMACAST数据处理系统具有很强的扩展性。这主要是由于采用了XML技术。XML作为CMACAST数据处理系统的数据接口文件,用于描述和保存各种原始资料的配置信息。CMACAST数据处理系统将所有需要处理的数据推入队列,读取各类资料的XML,调用进行处理。

以新长Z自动站文件为例,

长文件名常规地面报 #定义了处理资料的文件名

CMACAST #定义了存储原始资料的服务器名称

aws/st_new #定义了新长Z自动站文件位于存储服务器的目录

1/1-31/12

#指定了处理间隔

Z_SURF_C_*_yyyyMMddhhmmss_O_AWS_FTM.txt

#指定了新长Z自动站文件文件名

MICAPS #定义了处理产品的存储服务器

MICAPS_SERVER_Manager

/surface_n

#指定了新长Z自动站文件处理后存储路径

..\datatran

clsurfacenew_source_target_time

#指定了处理新长Z自动站文件的程序位于datatran目录下以及程序名称

读取配置文件的C# 代码如下:

XmlDocument Xdoc = new XmlDocument( ) ;

Xdoc. Load ( Applicat ion. StartupPath + “path. Xml”) ;

XmlNodeReader reader = new XmlNodeReader( Xdoc) ;

XmlNode No1 = Xdoc. DocumentElement. SelectSingleNode(“数据保存目录”) ;

Datapath = No1. InnerText;

XmlNode No2 = Xdoc. DocumentElement. SelectSingleNode(“网络数据目录”) ;

Netpath = No2. InnerText ;

随着气象业务的发展,CMACAST广播系统接收的资料也不断增加,已经增加的有风廓线雷达资料以及六要素区域站资料。XML的应用使得CMACAST数据处理系统具有很好的扩展性。

3.2 批处理程序的应用

对处理程序而言,某一类气象资料的接收具有重复性,因此处理该类资料也是一项重复性的任务。批处理程序是将一些可执行程序集合在一个文件中,供处理程序调取。批处理程序的优势就在于处理日常任务和重复性的任务。CMACAST数据处理系统通过调用批处理程序处理资料。

以新长Z自动站文件为例,

cf %1 1 #cf为可执行程序,位于工作目录下;进入存放新长Z自动站原始文件的目录

LongAwsMessageParser.exe longAwsMessageProcinfo.xml %1 %2 %3 -20

#在整点后20分用LongAwsMessageParser.exe 处理新长Z文件,其中%2表示处理后产品的存放路径,%3表示产品备份路径 。其中longAwsMessageProcinfo.xml定义了产品的文件名,文件格式等 。

例如,以新长Z处理后生成的UV要素为例 :

#处理生成新长Z的UV风场

5 #处理后的风场层数为5层

micaps3 #处理后的文件格式为micaps3格式

yyMMddhhmm.000 #处理后的文件名为年月日时分.000

surface_n\uv#处理后的文件放在surface_n\uv目录下

windDirect

4 结束语

由于XML具有规范而简单的格式,并有较强的可读性, 现已成为通用的数据接口文件,并为后加的风廓线雷达,六要素等资料的接入提供了很大方便,具有较强的扩展性。这也是CMACAST数据处理系统的最大优势。同时,CMACAST数据系统的数据监控模块和数据还原模块为维护人员快速定位数据处理失败的原因和处理数据提供了重要的基础支撑。

CMACAST数据处理系统从2013年1月试运行,到2013年5月正式运行,在2013年汛期发挥了重要作用,成为为气象台提供资料服务的不可缺少的重要平台。

参考文献:

[1] 王敏.河南省新一代国内气象信息系统的本地化应用分析[J].气象与环境科学,2013,36(3):69-74.

[2] 李湘.气象通信系统发展与展望[J].气象,2010,36(7):56-61.

[3] 王春芳,李湘,陈永涛,等.中国气象局卫星广播系统(CMACast)设计[J].气象,2012,23(1):113-120.

[4] 刘然,蒋克俭,胡英楣,等.中国气象局卫星广播系统(CMACAST)主站播发平台的设计[J].应用气象学报,2012,23(1):113-120.

[5] 谢国雄,梁心雄,叶维端,等.CMACast与DVNS系统的对比分析[J].电脑知识与技术,2013,16:3692-3695

[6] 李满霜,任晓炜.PCVASAT单收站系统的应用[J].广西气象,2000,21(3):47-50.

[7] 胡英没,沈文海,宋之光.多进程并发在国内通信系统中的应用[J].应用气象学报,2007,18(6):877-884.

[8] 肖文明,杨根录.气象信息传输业务流程优化的初步分析[J].应用气象学报,2009,20(4):497-503.

[9] 李集明,沈文海,王国复.气象新息共享平台及其关键技术研究[J].应用气象学报,2006,17(5):621-628.

[10] 于连庆,胡争光.MICAPS中天气图交互制作子系统[J].应用气象学报,2011,22(3):375-384.

[11] 潘新民,王全周,崔炳俭,等.CINRAD-SA/SB型新一代天气雷达快速定位方法[J].气象与环境科学,2013,36(1):71-75.

[12] 王芬,李腹广,李赟.新一代多普勒天气雷达CINRAD/CD产品数据缺乏原因分析[J].气象与环境科学,2010,33(4):84-88.

[13] 魏延涛,王祖汉,徐远远,等.河南省气象技术装备监控管理系统[J].气象与环境科学,2011,34(1):79-83.

上一篇:大尺度大气/海洋流动的数学理论

上一篇:华东地区雷暴天气对流有效位能统计分析

相关范文