《云南省省级气象信息存储共享系统.doc》由会员分享，可在线阅读，更多相关《云南省省级气象信息存储共享系统.doc（62页珍藏版）》请在三一办公上搜索。
1、云南省级气象信息存储共享系统可行性研究报告云南省气象局2006年4月目录1 建设目的意义11.1目的11.2 意义21.3 项目开展必要性32 现状及发展趋势52.1现状52.2 发展趋势83 需求分析103.1 气象信息存储需求103.2 气象预报、服务业务发展的需求143.3 气象信息资源开发利用的需求143.4 经济社会发展对气象信息的需求153.5 系统功能与性能需求153.5.1 系统功能需求153.5.2 系统性能需求224 建设内容264.1 网络存储264.2 数据库274.3 信息共享平台274.3 异地数据灾难备份275 信息存储共享的主流技术285.1 网络存储285.1
2、.1现有信息网络存储的主流技术285.1.2 SAN的主流技术325.2 数据库技术355.2.1主流数据库355.2.2 数据仓库技术395.3 信息共享技术406 项目的技术方案406.1 网络存储406.2 数据库426.2.1气象资料的分类426.2.2各类资料的存储方式426.2.3主流数据库产品分析436.2.4数据仓库446.3 信息共享平台456.3.1建设原则456.3.2总体设计466.3.3主要功能设计496.3.4技术关键及应对措施507 项目关键和应对措施528 项目可行性和经济可行性538.1 技术可行性538.2 工程可行性548.3 经济可行性548.4 环境可
3、行性549 投资估算和进度安排549.1 投资估算549.2 进度安排5610 经济效益、社会效益分析5611 负责单位审核意见591 建设目的意义1.1目的云南省气象信息存储共享系统既是国家气象信息系统乃至国家基础信息系统的组成部分，又是云南省级基础信息系统的重要组成部分。在国家气象信息共享平台建设的基础上，增强气象信息的自动存储、加工处理和综合分析应用能力，满足气象业务现代化的需要,实现与部门内外的信息共享。1.1.1提高气象信息的存储管理能力随着气象卫星、多普勒雷达、气象自动观测站等现代探测技术和网络通讯技术的快速发展、目前获取的气象观测数据、资料成倍增长。通过项目建设，运用当今先进的计
4、算机计算、存储技术和计算机网络技术，积极推进云南气象信息共享平台建设；统一数据源，提高气象资料的一致性。对观测信息进行科学组织、管理、存储，为各部门提供快捷、高效、准确、全方位的气象信息服务。1.1.2建设气象信息服务系统建成先进的省级气象信息共享平台和现代化的气象信息服务系统，实现连通相关行业的信息中心的气象信息交换与信息共享，建成以数据库为核心的存储共享系统，实现信息管理的自动化和规范化。1.1.3实现气象信息共享利用云南省气象宽带光纤通信网络、网络存储系统、分布式数据库，形成纵向和全国气象部门、横向和云南省相关部门联通的气象通信和信息交换共享业务，充分发挥气象信息和网络资源优势，统一组织
5、和管理云南省气象局所收集的省内乃至全球范围的观测资料及其分析加工产品，实现气象信息的共享和服务。1.1.4异地存储提高气象信息安全性气象信息是气象业务、气象科研和服务发展的不可缺少的基础，是无数气象科研工作者心血的结晶。通过基于网络的异地数据灾难备份的建设，能极大的提高气象信息的安全性。1.2 意义 1.2.1充分发挥气象信息资源的使用效益随着社会的进步和经济的发展，人们对天气、气候的变化越来越敏感，相关领域的科学研究对气象数据信息的需求和应用越来越广泛。特别是在气象部门内部，随着科技的进步和社会需求的发展，气候资源的利用、预报服务、数值预报的应用、高性能计算以及研究型业务的开展，对气象资料的
6、规范化、实时化、共享化的要求越来越高，通过建设气象信息存储共享系统来提高气象信息化水平已成为云南气象发展的必然。本项目一方面提供基本气象资料并汇集其生成的各种气象服务产品，另一方面又对部门外部非商业用户提供气象资料服务而成为气象资料服务的主窗口。本项目的开展将提升气象资料的使用效益，为科技创新、政府决策、经济建设、国防安全和社会公众提供多层次的全面的气象科学数据服务。1.2.2提高气象信息资源的管理水平和共享能力气象在人类挽救自身生命和财产的努力中具有独特的作用，气象服务的公益性质和互惠互利性质，决定了气象信息资源的共享具有一定的基础，但提升其共享水平也存在着很大的局限性。目前云南气象部门的省
7、、市（州）、县三级宽带网络已建设业完成，全省所有市（州）、县都通过光纤通信网与省级中心联成广域网络。随着自动气象站、自动雨量气温双要素站、自动雨量站的建设，各级各类资料大幅增加，目前我省已形成了基本的基础资料信息共享。但由于存在诸多原因，我省大量的历史资料、实时资料等气象信息的管理和共享主要采用半人工方式，缺乏联机自动检索和加工处理能力，随着气象与其他相关单位的信息交互日渐频繁，信息量不断增加，现在的信息存储能力难以满足业务、科研发展的需要，气象信息人工存储方式的缺陷日益显现，我省气象部门的气象信息资源的管理水平和共享能力还远远不能满足内部需求，更不能够满足日益发展的社会需求。本项目将以信息存
8、储管理、共享服务需求开展研究，将显著提高云南省气象信息的科学管理水平，增强气象信息资源的共享能力，提高全省业务服务能力。1.3 项目开展必要性1.3.1满足业务科研需要随着网络通讯技术、新一代数值预报技术和天气预报业务的飞速发展、以气象自动观测站、多普勒雷达为核心的省级新一代气象综合探测系统的建成和投入业务使用，使我省可获取的气象数据资料量呈海量增加，所有这些，都对气象数据存储共享提出了迫切的需求和严峻的挑战。建立省级数据存储共享系统，对数量庞大的信息进行科学地组织、管理、存储和使用，实现快捷、高效、准确、全方位气象资料服务，是气象业务、科研及社会经济建设的需要。省级数据存储共享系统的建设，将
9、大大提高气象数据的收集服务能力，扩展收集的覆盖面及处理时效，满足云南省气象业务、气象科研不断发展的需要。1.3.2满足服务需要社会进步、经济发展和科学研究对气象资料的社会共享提出了迫切的要求。对大数据量气象信息服务，用户一方面提出很高的时效要求；另一方面又要有统一数据源，提高可靠的气象信息。云南省级气象信息存储共享系统的建设，将大大地提高我省气象数据收集、服务的能力，极大地扩展收集的覆盖面及处理时效，为国民经济宏观决策，如应用气候规律开发云南，指导政府经济建设、在减灾防灾制定重大决策中发挥作用。近年来，随着我省国民经济的持续、快速发展，各行各业对气候资料的需求大幅增加。尤其是对国家安全和军事战
10、略具有重要意义的气候资料尤其是高空资料的需求极大增加，在开发西部的战略指导下，云南的发展急需气候资料部门提供详实、全面的全省气候环境数据，以指导我省合理开发。尽快建设气象信息存储共享系统，以满足国民经济发展和国防建设、保卫国家安全及领土完整、减灾防灾的需要是十分迫切的。2 现状及发展趋势2.1现状气象信息存储管理作为基础气象业务工作受到越来越高度的重视，包括资料收集、加工处理、存储和服务的数据管理工作在标准化、规范化和现代化方面取得了重要进步。经过多年的努力，越来越多的历史资料已经成为可供计算机管理的数字化资料，主要的气象资料已经进入数据库系统进行管理和服务，已经建立的大量标准、规范的可供用户
11、直接使用的数据集产品，使气象资料的完整性、安全性和准确性得到越来越多的保障。以气象通信网络、高性能计算技术为代表的我省气象信息网络系统的发展已取得长足进步，以Sybase、SQL Server为主的商用数据库管理系统在我省的气象信息业务中得到初步应用，以数据为中心的业务流程正在逐步形成。省局大院内的各单位以及部分市（州）气象局从自己的业务工作需要出发，陆续建立起针对本单位工作内容所需要的资料管理系统；这些资料管理系统有些是配有资料输入、处理、管理、检索、以及备份归档，并带有一定监控等功能的较为完整、完备和规范的工作流程，并建立在较为可靠的硬件、软件平台上的业务系统，有些则相对简单，有些甚至仅仅
12、是一些资料的累计，既无相应的信息检索功能，更没有质量控制、管理维护等措施。随着气象科技的发展，我省大气探测系统将以自动观测站、特种气象要素观测、大气本底站、多谱勒雷达、气象卫星、EOS资源卫星等为核心建设新一代气象综合探测系统，获取的气象资料将呈海量增加。气象信息的增加和政府、社会服务需求的不断增长，现有的气象信息系统已不适应气象事业发展的需要，主要体现在:现有信息存储能力不足，管理效率不高，影响相关业务的开展现有气象资料种类较多，数据量较大。其中，常规观测资料（包括农气资料、业务服务产品资料等）数据量较小；而数值模式资料、卫星观测资料以及天气雷达观测及产品资料的数据量较大。由于缺少较好的存储
13、系统，不同的信息暂存于不同的计算机和多种介质上，没有掌握对气象信息控制的主动权，无法对气象信息进行有效的控制，使得气象信息的综合处理不仅费时、费力，且无法在有效时间内获得业务或服务用气象数据。服务器系统几乎都是以单机形式运行，缺乏容错保护功能，很容易因某一服务器故障而导致业务的短时中断；运行在各计算机系统上的业务作业没有统一的数据来源、数据格式和缺少二进制代码级的兼容。管理分散、使用不便由于历史原因，资料管理工作一直未能很好解决，各类数据库系统分散于不同的部门。到目前为止，云南省气象档案馆所真正掌握的完整的气象资料仍仅限于常规气象观测资料及其相关的统计产品，其它如数值预报产品、数值分析产品、卫
14、星观测及产品资料、雷达观测及产品资料、特种观测资料等资料的管理分散，保存时间不能满足业务及研究的需求，而且大量的数据使用后就丢弃没有延续保存，管理的疏漏导致资料使用的不便，以致影响一些业务及研究工作的开展。由于现有数据库的容量有限，致使大量的气象信息资料存储在光盘上，没有联机自动存储能力，对数据备份、信息的使用以及信息管理均有一定的影响。同时，部分常用的观测和产品资料由于未做进一步的加工处理，使得众多的用户重复进行报文解码和质量控制工作。资料管理和服务缺少统一规范我省气象资料的管理还没有统一的规范，无论是在数据的收集、加工处理，还是在数据本身的格式上都没有形成统一的符合业务标准的规范；在数据的
15、服务上，既没有统一的提供者，也没有统一的数据源，更没有规范的支持用户检索获取数据软硬件环境。信息资源的开发利用水平和共享程度低尽管随着新的大气探测技术和业务的发展，各类气象信息资料大量增加，但存在着条块分割和数据壁垒的问题。由于历史原因，云南省局内已建立的各数据库系统相对孤立，没有共享功能，整体性弱。各业务、科研系统为了自身系统运行的需要，只好另行建立基于本系统需求的资料库，或从对应的数据库中提取有关资料，保存于本地，虽然这些资料库中的大部分资料在其他数据库中已经存在，造成信息资源的严重浪费。目前，我局除实时气象资料能够实现联机调用外，大量的历史资料及特种观测信息检索主要采用半人工方式，缺乏联
16、机自动检索和加工处理功能，自动加工处理能力明显不足，虽然已有部分资料在局域网内实现了共享，但其距离气象资料共享管理办法的要求还有很大差距，共享服务能力较弱，不能很好满足行业及社会共享需求。资料库缺少面向业务应用的灵活的检索接口一般而言，资料库目前在检索功能基本上主要有联机检索和程序调用检索两种方式：联机检索基本上局限于资料的浏览和下载，程序调用检索则必须在数据库服务器上运行。目前省局已建立的各数据库在检索功能大部分仅限于资料的浏览和下载，基本没有程序检索功能，大量的应用都跑在数据库服务器上，势必影响资料访问效率，无论从数据库安全，还是数据库服务器运行能力等方面考虑，都是不科学的。由此造成各业务
17、、科研系统为了自身系统运行的需要，必须另行建立基于本系统需求的资料库，虽然这些资料库中的大部分资料在公用数据库中已经存在。2.2 发展趋势信息技术是当代发展最快的技术之一，信息技术的飞速发展为气象信息系统发展提供了良好的发展机遇和技术基础。 数据库管理技术数据库管理技术应用领域不断拓宽，适合于因特网上各种应用目的的管理技术将得到更进一步的发展，管理的数据类型多样化，开发工具更加丰富、智能化；多级管理技术、统一透明的应用界面日趋成熟，检索效率将进一步提高；并行数据管理技术更加成熟，并行查询算法更加先进；分布式数据库管理功能日趋强化，数据的一致性、整合性、安全性等更加完善；数据备份功能更加强化，把
18、数据和数据库系统作为两个独立的资源，确保数据安全，建立一个高效、合理和安全的数据备份机制，是当今各大数据库开发商追逐的方向。 数据仓库和数据挖掘技术由传统的数据仓库向动态数据仓库发展。传统的数据仓库提供的决策信息是战略性的、长期的；动态数据仓库是网络经济飞速发展需求驱动的产物，主要用于经营性决策，其要求决策要快，以防错失良机，造成重大的经济损失；数据挖掘技术是从大量的数据中找出有价值的信息，供决策使用，使决策者或被服务对象从中收益。随着人工智能研究的发展，数据挖掘技术也将得到相应的快速发展。 存域网（SAN）和网络附加存储（NAS）技术存储越来越成为气象资料共享的瓶颈和薄弱环节，如何更好地利用
19、现有的网络通信优势，实现现有及未来的更多的气象数据的应用，使现有气象数据利用率和实时性得以大幅度提高，为精细化预报提供实时资料保障，更好地为气象事业服务，是我省迫切需要解决的问题。随着网络存储技术的发展，近年来从应用为中心向以存储（数据）为中心的应用架构方向转移，其特点为：大容量及优异的容量扩展性；高速的I/O性能；高可用性；易于实现多主机、多OS共享存储、多服务器集群高速、可靠的备份。存域网技术逐步走向成熟，并将成为数据管理技术对多级存储介质进行集中统一管理的较好的运行平台之一；网络附加存储技术性能不断改进，并将与 SAN共存，配置在同一个环境中，达到优势互补。 数字图书馆技术数字图书馆技术
20、的发展将为纸质历史记录的数字化（扫描、压缩成图像文件）、信息化（提取出有结构的数据、存入数据库）提供技术方法。数字图书馆具有虚拟网络特点，是一个超大规模、开放性、分布式的数字信息资源网络体系结构。能实现复杂信息的加工存取和海量信息存贮的功能。网络系统具有良好的兼容性、互操作性、可扩充性，并具有智能化检索功能，符合国际标准和规范。 信息共享技术以满足国家和社会公众对气象科学数据的共享需求为目的，依托成熟的业务技术体系，以现有气象数据资源为基础，通过整合集成，标准化和归一化处理，形成一批以大气圈层为核心，涵盖气候系统范畴的数据集产品；采用大规模商用数据库技术、层次化存储管理技术和Web技术，建设体
21、系基本完整、项目较为齐全、质量比较可靠的共享气象资料数据库和可视化、分布式的气象资料共享网络服务平台，构建覆盖全省、网通行业、联结全国的基于Internet网络的气象科学数据共享服务平台，为各方面用户提供全方位、多层次、网络化和可视化的气象基础信息共享服务。3 需求分析3.1 气象信息存储需求 从中国局下载的数据量估算中国局下发全球常规观测资料，每天105MB。中国局下发数值预报产品资料GRIB，MM5资料（CN），每天约210MB。HLAFS资料（CH），每天约45MB。T213资料（BJ），每天121MB。欧洲中心资料（EC），每天1.5MB。日本降水量资料（RJ），每天600KB。德国降
22、水量资料（ED），每天2MB。 本省收集的数据量估算气象卫星观测资料：接收风云静止卫星云图每天约3GB；每天接收27张风云静止云图，共2.9GB。其中正点接收全圆盘图24张，每张110MB；半点（5:30、11:30、23:30）接收半圆盘图3张，每张72MB。转换格式文件每天40MB；风云极轨卫星云图约450MB；美国极轨卫星云图约2500MB；EOS卫星遥感资料约2400MB；本省六部多普勒雷达观测资料：6个雷达站每天传输的雷达产品资料约432MB：每次（约6分钟1次）生成的25个雷达产品，一个站一次发送文件300KB，一天300*6*240=432MB；6个雷达站传输的雷达体扫文件（基数
23、据）压缩后为480MB：一个站一天80MB，6个站80*6=480MB。自动站资料：目前包括每小时一次，每10分钟一次的自动站报文，每天共约3.5MB。以后将提高到每分钟一次，每天共约35MB。本省常规地面高空观测资料：本省常规地面高空观测资料及其加工产品，每天11MB；每月常规地面高空观测资料报表文件为150MB，每年1.8GB；本省高性能计算机数值预报产品，预计约50 MB；本省其它综合观测资料：含闪电定位、酸雨检测、土壤水分监测等等资料每天10MB；与外系统合作获得的资料如水文资料、环境监测资料、风能监测资料、国土资源资料等约每天100MB； 资料汇总省局目前及未来5年的资料存储量估算见
24、下表：资料名称目前资料量未来资料量日资料量(MB)年资料量(GB)日资料量(MB)年资料量(GB)风云静止卫星云图31001131.531001131.5风云极轨卫星遥感资料450164900328美国极轨卫星遥感资料2500912.52500912.5EOS卫星遥感资料24008762400876多普勒雷达资料1000365300005400自动站资料3.51.310.53.83MICAPS资料1024373.761024373.76MM5资料21076.6521076.65HLAFS资料4516.4254516.425T213资料12144.16512144.165欧洲中心资料1.50.5
25、51.50.55日本降水量资料0.62.190.62.19德国降水量资料20.7320.73PCVSAT接收常规资料10538.32510538.325本地加工常规资料114.015114.015合计10973.64007.140430.69208.6 小结云南省的气象信息工作主要是面向实时业务及准实时业务、科研和服务，对气象资料的应用及存储需求涉及到所有的气象观测资料及产品资料。长期以来，由于存储能力的限制，省级存储只能在基本满足业务需要的情况下选择性的存储，许多资料分散在各业务单位。现存数据量大约5TB (包括将信息化的纸质资料、归档在省气象台信息档案科历史资料、分散保存在各个业务单位的资
26、料)。考虑新的信息资料和新的业务应用的增加，现在年数据增量约为6TB，估计5年后省级数据库存储共享系统保存的数据总量为35TB，其中在线保存部分占14TB，归档部分占21TB。 部分珍贵资料需信息化。目前，许多珍贵的气象观测资料仍以纸张的形式存放在气象资料室，如序列完整、质量可靠、应用广泛的太阳辐射和农业气象报表资料以及数量众多的温度、湿度、风、降水自记纸均未作数字化处理，不能利用计算机进行加工处理和服务，需进行信息化。 正在建立与气象相关的一些资料正式收集途径。环境保护局观测资料、水文气象观测资料、农业等与气象有关行业的观测资料目前尚无获取的正式途径，而气象业务对这些资料的需求是不言而喻的，
27、所以要建立正式的收集途径。 气象业务未来发展对数据存储和利用的要求很高，估计未来年数据存储量将成倍增长，因此，省级数据库存储共享系统应留有足够的存储空间以满足未来年的数据存储需求。3.2 气象预报、服务业务发展的需求省级气象信息存储共享系统是气象基本业务体系的重要组成部分，是省级资料工作的核心业务系统，本系统为基本气象信息分析预测系统提供基础资料支撑，同时又是各种加工分析产品的省级汇集地；对于气象信息服务系统，一方面，本系统为其提供基本气象资料并汇集其生成的各种气象服务产品，另一方面，又对部门外部非商业用户提供气象资料服务而成为气象资料服务的主窗口，与其他基本业务系统有着密切的联系。3.3 气
28、象信息资源开发利用的需求气象信息存储共享系统收集省内观测资料的主要数据源，统一组织和管理云南省气象局所收集的省内乃至全球范围的观测资料及其分析加工产品。承担云南省气象局各业务系统、科研工作和管理部门对气象资料及其相关产品开发利用的联机检索和调用。3.4 经济社会发展对气象信息的需求依托气象信息综合业务网向下级气象部门分发各类资料产品，同时向有关政府部门提供决策服务产品和基本气象资料；通过因特网向社会上的授权用户提供基本气象资料服务，从而实现气象资料多层次的共享。3.5 系统功能与性能需求3.5.1 系统功能需求省级基本气候资料存储系统的主要目标是实现气象信息的高效管理和充分共享，高效规范的应用
29、软件是系统顺利建成并充分发挥效益的关键。系统对软件的功能需求包括以下几个部份。资料收集需求气象业务的特点是既有实时性很强的中短期和短时天气预报，又有时间要求相对低的气候业务、农气业务和科研，不同的业务性质对资料的时效要求也会有所不同。因此气象资料的获取就有实时和非实时之分，在资料的收集功能方面要考虑采用不同的手段对不同类型的资料进行有效的收集。实时资料的绝大部分都是实时产生、实时传送、实时应用，所以对这些资料的接收时效要求非常高，要求能够随时到达随时接收，将延迟时间降到最低。省局气象档案馆珍藏有大量的以纸张形式保存的历史气象资料，它们对气象业务和科研工作的发展具有重要的使用价值。需要将这些非信
30、息化的资料进行数字化处理，转化为计算机可读的信息化资料，一方面服务于气象业务科研工作，充分开发和利用这些数据资源；另一方面拯救这些濒临丢失的宝贵资料。数据加工处理需求数据的加工处理是存储共享系统中极其重要的工作，通过加工处理使各类气象资料进行有效的分类检测、形成格式化和标准化的数据，为数据的入库和管理乃至检索应用打好基础。数据在进入存储共享系统之前要进行相应的预加工处理，而预加工处理的内容要视具体的资料而有所不同。在存储共享系统中，观测资料的量相比其它资料而言并不大，但对它的处理却是最为复杂的。对观测资料的预处理主要是指对从通信线路上接收的资料（包括实时传输的报文和非实时传输的气象月报表文件）
31、进行格式检查，对那些格式有错误的报文和文件则要根据一定的原则由程序自动进行纠正，而不能由程序纠正的有格式错误的报文则应该剔除放入人工纠错的目录，以保证在质量控制前资料格式的正确性。对产品资料，凡是以报文格式传送的也都要进行基本的格式检测。为了应用的方便，对那些以分块传送的格点资料，例如数值预报产品，则要进行多块拼接，形成有效的区域、或半球、或全球产品后再进入数据库管理。其它以文件方式形成或传送的产品资料，要根据其具体格式进行适当的检测与处理，尤其是文件首行的关键信息需要进行检测与确认。对于特定的气候资料、统计分析资料、特种观测及其它科学实验资料等，也必须经过事先的加工处理或进行必要的格式转换再
32、进入存储系统。元数据是数据管理的核心数据，它包括存储系统中各数据库子库、目录文件、数据集、被迁移数据的信息描述以及存在于本系统之外的其它单位或载体的数据记录的说明等，按照所制定的元数据标准和元数据描述标准专门制作形成的元数据文件。存储共享系统中除了应具有完整的元数据集外，还应有相应的管理软件，当管理的数据发生变化时，元数据信息的生成与更新也随之进行。气象数据种类的多样化，也使得其格式多种多样，为了使本系统所管理的数据能够在内容和格式上统一规范，则必须在资料入库前按照相应的数据格式标准，对经过预处理或质量控制后的资料再进行格式转换，以形成入库前的标准数据格式。这样才有利于数据库的统一管理和用户使
33、用数据的格式标准化。数据存储管理需求存储共享系统的服务对象是基本气象业务、科研和对外数据共享，主要解决公共气象数据的存储共享问题。这些数据包括各种探测资料和业务分析加工预报产品。对于那些特定业务系统的专用数据，或服务于特定业务系统的专用数据库不进入本系统管理，根据其专用的特性进行专门管理，但基本的公用数据和服务产品则必须纳入到本系统统一管理。对资料的需求分析表明，不同种类的资料，用户检索需要的响应时间及用户检索的频度有很大差别，而不同需求的资料总量在数量级上均超过TB量级，年数据增长量也超过TB量级。综合考虑用户的需求和系统设备配置的性价比，存储共享系统需采用多级存储的概念来进行管理。对用户而
34、言，希望主要数据长期或永久保存在在线的存储设备中，显然这是不现实的。存储共享系统可以通过多级分层管理，满足用户对资料的检索时效要求，这就需要合理规定各类数据在不同存储设备中的保存期限。在具体设计时，将视具体资料和磁盘空间而定，其原则是必须满足业务对资料使用的时间要求。气象数据种类的多样性、格式的复杂性和应用的时效性，决定了数据管理的复杂性。不同种类的资料，其检索方式是不一样的。例如，对常规观测资料，用户需要提供关于要素、时间、空间、值域等多项条件组合的检索，显然，对这类资料用数据库方式管理较为合适；而对数值分析和预报二维格点场资料以及图形图像资料，用户一般需要某时次的完整的场资料和图形图像文件
35、，显然，对这类资料用文件库方式管理较为合适。因此对数据的存储管理将包括对数据库的管理和对文件库的管理，并把它们很好地结合起来，实现对系统整体数据的集中统一管理。数据类型的不断增加和数据量的快速增长是气象资料的显著特点，这得益于现代观（探）测技术的发展以及计算机技术的快速发展，特别是数值预报模式分辨率的提高将会使产品数据成倍增长。因此存储共享系统不但要考虑现有数据的管理和使用，更要考虑未来数据的增长趋势，特别是要适应新的资料类型的增加。与此同时，随着气象事业的发展，新的业务种类的增加也会对数据的管理有新的需求。这就要求存储共享系统具有良好的可扩充性，预留足够的扩展接口，这包括新种类资料的入库、新
36、的检索需求、存储空间的预留及可扩充性等因素，以适应新增数据和新的业务需求。数据维护需求对于保存于在线设备中的数据，无论是采用数据库管理还是采用文件系统管理，总是要不断地进行追加与更新，这是气象数据的应用特点所决定的。特别是对于实时资料，必须具有随时处理、随时入库、随时更新的能力。实时资料的更新一般是由运行的程序自动完成的，但如果资料格式有变化或者有新的资料类型出现，则原来的程序将不能正确处理，必须对相应的程序进行修改才能保证数据的正确与完整。对于非实时资料的追加，应有自动和人工两种方式。对由实时转入非实时的数据采用自动方式，对那些分散的、通过加工收集的零散数据则采用人工输入命令方式追加入库。为
37、了保证有足够的磁盘空间存储最新的气象数据，系统必须制定定时清除库中超出保存周期的数据的策略，清除策略要依据不同类型数据保存周期的不同而有所不同。数据的清除功能包括对数据库中的数据、文件系统管理的数据以及其它相关目录的数据进行清除。除了程序定时自动清除外，系统还应提供交互式人工指定清除功能，指定的内容包括日期、时间段、资料内容等。数据检索需求数据的检索对用户来说应该是透明的，即无论用户索要的资料存放在何处、何种设备上，用户都能通过同一界面获得数据；实时气象资料和非实时气象资料尽管在存储和管理上有所区别，但对检索应用的用户而言，它们是透明的，即用户检索的界面是一致的，检索的资料不存在实时和非实时的
38、差别。数据检索应该提供以下三种方式：程序调用程序调用是内部业务系统、服务系统乃至科研工作的主要数据获取方式，存储共享系统中实时需求的所有数据都必须支持程序调用方式，并且应提供标准的C语言接口。用户通过程序调用可以获得本系统中的任意数据子集. 通过程序调用的资料检索速度要求在秒钟级。终端检索通过主机终端或其它客户终端实现联机用户的数据检索，也是数据应用的重要方式之一。终端检索除了应具有程序调用的功能外，还应具有一定的统计功能，在可视化终端上，用户界面提供菜单操作方式，并具有一定的图表显示功能。Web服务外部用户主要通过Web服务器获取本系统的有关资料。原则上Web服务器应具有获取存储共享系统所有
39、数据的功能，但对于具体的数据或用户则要视其安全级别和使用权限决定是否能够获取相应的数据。一般来说，提供给Web用户的是那些可以实现共享的基本数据和经过加工的产品数据。在Web界面中，用户可以按照资料类别、日期及时段、地理范围及层次等检索所选择的资料，但所有选项均是以鼠标点击的方式实现。为保证数据的安全性和规范管理，基于浏览器检索的Web服务应建立完善的用户管理系统，实现用户网上登记、身份确认、在线资料下载成本支付等功能。用户管理与安全控制需求系统对每一个数据用户都要进行身份注册与登记，并根据用户性质划分不同的等级和相应的数据访问权限。一旦有用户进行非法操作和访问时，系统要根据安全策略进行控制或
40、拒绝。系统要对用户的所有行为，包括检索数据的类型、时间和空间范围、访问数据的频率等进行相应的统计，以便掌握系统的数据应用情况，或通过相应的分析及时调整数据访问策略。存储共享系统必须制定有效的措施来保证数据的安全性与完整性，数据的安全保护一方面是要防止高级别的、保密性强的数据不随意被其它用户访问；另一方面是要防止不测用户对数据的恶意破坏。系统监控需求数据流的状态反映了系统运行的情况，特别是系统异常情况的反映。因此在具有实时性很强的存储共享系统中对数据流的实时监控就显得十分重要。监控的对象主要是数据收集、加工处理及检索应用等环节，因此在系统设计时要考虑在各个重要运行环节设置观察点，并且能够随时获取
41、该点的运行状态参数，当某一个环节出现异常时，也能够及时发出警告信息通知系统管理人员。数据存储管理状态包括有关数据管理软件的运行状态、系统中数据迁移的情况、数据存储类型及总量、数据应用情况等。对这些状态进行有效监控将有助于从宏观上对系统进行掌握和控制，从而保证系统运行的有效性。 存储共享系统的设备包括高性能服务器、存储设备、存域网设备、存域网管理服务器、以及有关的网络及接口设备等。监控的内容包括服务器CPU的使用率、运行进程的数量、存储设备的空间使用率、网络端口的流量、设备本身运行的状况等。存储共享系统应该有专门的系统监控平台，在监控平台上有比较完善的监控信息显示功能，既有系统正常运行的状态显示
42、，也有系统异常状态的显示，如果出现较为严重的故障还应发出警告信息。监控画面应该清晰明了，能够反映系统整体运行情况，也可以通过子画面切换查看各分系统的运行状况。系统监控信息平台除主要提供给系统管理员使用，还可提供给授权的特殊用户使用。因此，该平台应具有多用户共享功能。3.5.2 系统性能需求 整体性能需求云南省级存储共享系统在整体性能上必须满足省级气象资料存储不断增长的需求，保证基础网络和存储系统的安全、可靠、实时、高效。该系统应当具有开放性和标准性，整体设计符合国际惯例与标准。系统总体设计具有可靠性和先进性，选用成熟可靠的先进技术和产品组织系统, 充分考虑系统的容错功能，充分满足省级气象资料业
43、务实时不间断的工作，及时为业务服务提供稳定支持。该系统应当采用最新主流技术和产品，符合技术发展方向，具有较长的技术周期。采用模块化结构化设计，使系统的规模扩充，功能增加更易实现，提高整个系统的可扩充性；同时，应尽可能降低存储系统运行维护平均成本，达到易于使用，易于管理与维护的目的。该系统应具有集中管理的能力，可方便地实现系统状态监控和系统配置。设备和系统应具有良好的故障诊断功能，便于及时发现故障，排除故障，缩短故障恢复时间。整体系统应具有安全保障体系，确保系统的安全和保密。 可靠性气象业务系统（特别是天气预报系统和数值天气预报系统）具有很强的时效性要求和不可间断性要求，这一切要求存储共享系统的
44、运行平台满足24小时7天的运行要求，故障率应小于0.01%，单次故障时间（包括发现故障、处理故障和系统恢复时间）应小于1小时。同时应当确保在任何情况下数据不被丢失。 安全性安全性包括物理安全性、系统安全性、用户安全性、文件安全性和入侵安全性等几个方面。物理安全性指网络服务器不能放在公共场所，应放在一个专用机房里；系统安全性指操作系统和核心服务器系统支持安全性部署策略，具有模块化的认证机制；用户安全性，方便用户对资源的访问，防止用户访问与其工作无关的资源；文件安全性实现控制对用户访问的同时，保护文件的安全性；入侵安全性实现对系统内部的漏洞检测与对外来攻击的实时侦测，同时系统在可能的情况下能够支持
45、实时病毒检测和查杀。 稳定性系统应具备应对突发的应用峰值事件的能力，不因这些突发事件的出现而导致系统性能的下降。系统性能稳定性包括系统运行平台性能的稳定性，存储设备性能的稳定性、网络及传输通道（包括设备）性能的稳定性等。 标准性为保证存储共享系统的可维护性、可移植性、可兼容性和可扩展性等，系统在各方面应尽可能采用当前业界流行的、技术先进并具有较长生命周期的国际工业标准。 通用性考虑到省一级的数据存储共享系统面对的是多种系统平台的各种复杂的应用，存储共享系统应当具备能够有效地支持这种异构处理环境的能力，因此系统应当尽可能选用通用的技术。 可扩展性为适应气象业务工作不断发展所带来的新的要求，保护现
46、有的投资，存储共享系统应当具备良好的可扩展能力；其中包括性能的可扩展能力和规模的可扩展能力。性能的可扩展能力指系统各部分设备的性能具备扩展能力，主要包括系统运行平台、存储设备及网络传输设备等。规模的可扩展能力指存储共享系统在存储容量、管理范围等方面具备扩展能力。 开放性存储共享系统面向局大院所有合法用户，系统应对分布于不同物理地址、不同局域网、不同网段的用户提供资料的透明检索。 系统及数据的可管理性系统的可管理性指系统（包括管理人员）能随时掌握信息的存储位置，存储系统和子系统的状态，按照需要进行信息存储容量的再分配，并通过性能的监视、分析和调整实现包括信息存储系统、服务器和应用在内的整个系统性
47、能优化。数据的可管理性指存储共享系统在数据的收集、加工处理、质量控制、入库、被使用、迁移/回迁以及备份等所有环节上对数据具有完备的管理能力和相应的策略，这是确保数据完整性、可用性、安全性等要求的必要条件。 系统高效性存储设备应具备高性能、高容量，响应及时、快速，以保证系统检索、管理、扩充的高效性。检索性能要求省级数据存储共享系统应提供较强的检索能力，使得授权用户能在任何时间、任何情况下快速、便捷地检索到其所需要的数据。省、市州气象台承担着各种气象预报服务的职责，目前及未来一段时间内高峰时段对省级数据库存储共享系统进行检索操作的并发用户数会有上百个，在一定的数据块大小范围内，多用户访问在线设备的响应时间应为秒钟级，访问近线设备的响应时间为分钟级，访问离线设备的响应时间为十分钟至几十分钟。系统应支持多用户的并发程序检索，并满足数据的读一致性、完整性和检索的准确性。资料传输性能要求为充分满足并发用户在检索相应时间上的要求，云南省级数据库存储共享系统在
