《大数据在水电工程行业的应用ppt课件.pptx》由会员分享，可在线阅读，更多相关《大数据在水电工程行业的应用ppt课件.pptx（36页珍藏版）》请在三一办公上搜索。
1、2015年8月,赛迪顾问股份有限公司,中国电建贵阳勘测设计研究院有限公司大数据在水电工程行业的应用研究,目录,1,大数据概念的提出,最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。2011年，麦肯锡出版了研究报告大数据：创新、竞争和生产力的下一个新领域，产学研界对“大数据”的关注达到历史性新高度。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。越
2、来越大、越来越快、越来越复杂，数据特性的演变和发展，催生了一个全新的概念大数据。,IBM定义大数据的3 个特征：数量、种类和速度,IDC定义大数据的四大特征(4V)： 海量的数据规模(Volume) 多样的数据类型(Variety) 快速的数据流转和动态的数据体系(Velocity) 巨大的数据价值和低密度(Value),Mckinsey定义： 量极大，无法用常规数据软件进行获取、存储、 管理和分析的数据集,1P=106G 1Z=1012G,大数据的定义,结构化数据：存在于关系数据库中，多年来一直主导着IT应用；半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础
3、，这也是谷歌和百度存在的理由；非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。,大数据的范围,描述,技术,海量数据存储技术,分布式文件系统,实时数据处理技术,Streaming Data,流计算引擎,数据分析技术,Text Analytics EngineVisual Data Modeling,自然语言处理、文本情感分析、机器学习、聚类关联、数据模型,数据高速传输技术,服务器/存储间高速通信,Infini Band,Hadoop，x86/MPPMap Reduce,搜索技术,文本检索、智能搜
4、索、实时搜索,Enterprise Search,大数据涉及的关键技术,能源与公用事业智能电表分析资产管理,零售全渠道营销实时促销,司法执法多点监测网络安全检测,交通运输物流优化缓解交通拥堵,金融服务业欺诈检测360客户视图,数字媒体 实时广告定位属性分析,健康与生命科学病历分析疾病监测,通讯 客户资料货币化网络分析&优化,大数据已应用于各行各业,目录,7,全球进入大数据时代，数据呈现爆炸式增长趋势,随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长 信息处理技术的发展使数据价值能够被更好地挖掘和利用传统的数据处理技术已经无法应对新的挑战,来源：IDC数字宇宙
5、研究报告，2011.11,据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍,各国政府高度重视大数据，上升到国家战略高度,美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative” 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论,中国：工信部物联网十二五规划信息处理技术作为4 项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等,贵州省开放政府大数据实
6、验,2014年6月,贵州省政府出资1亿元,成立云上贵州大数据产业发展有限公司,专门运营政府搭建的云平台，并展开招标，服务器选择了浪潮,机房选择了中国联通,操作系统选择了阿里。在该平台中，基础设施层、系统平台层需要政府主导去做；应用层、增值服务层、智能终端层则应该更多地交给市场。 2015年4月14日，全国首个大数据交易所贵阳大数据交易所成立，用于政府、企业之间的数据交易。秉承国有控股、混合所有制、百分百市场化运营管理的体制，不同品种的数据根据品种、时间跨度等实行不同的价格机制。,2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会（简称数博会）于5月26日在贵阳拉开帷幕，阿里巴巴、惠普、富
7、士康等知名企业参展。李克强总理在贺信中说：“数据是基础性资源，也是重要的生产力”，“中国是人口大国和信息应用大国，拥有海量数据资源，发展大数据产业空间无限”,在过去一年里，贵阳奇迹般地创造出五个“中国第一”中国首个大数据战略重点实验室、中国首个全域公共免费WIFI城市、中国首个块上集聚的大数据公共平台、中国首个政府数据开放示范城市和中国首个大数据交易所。,贵阳市已经成为国内大数据应用的先头兵,12,水电工程行业遇到大数据,水电行业数据特征,水电勘探设计工程数据的类型众多，不同类型数据包含的信息各具特点，综合各种数据所包含的信息才能得出工程项目真实的地质状况。,水电行业面临的大数据问题,水电工程
8、行业企业对大数据产品和解决方案的需求集中体现在：可扩展存储、高带宽、可处理不同格式数据的分析方案。,大数据为贵阳院带来新的机遇,对数据的有效利用日益成为贵阳院进一步发展的关键知识共享：把项目的数据（建成、坝高、材料、建设工期、造价等）、经验、知识全部共享，提高知识资源利用价值。业务创新：对市场保持足够的敏锐度，及时捕捉市场空白，并迅速作出响应决策支持：多角度、多层次、多方面、多维度展示工程过程产生数据，为项目决策、生产经营提供决策支持。,大数据将成为贵阳院发展的核心驱动引擎,目录,14,项目目标与工作范围,项目目标在调研大数据建设外部经验和内部需求的基础，构建水电工程大数据框架，梳理贵阳院大数
9、据应用场景，全面分析贵阳院大数据应用的可行性，为贵阳院水电工程信息一体化建设提供新思路。工作范围项目范围如下：1、调研大数据在其他行业的最佳实践和建设案例，分析贵阳院对大数据高级应用的需求，总结水电行业大数据应用的特征和要求，形成贵阳院大数据高级应用需求分析报告；2、研究适合水电企业的水电工程大数据框架，全面支撑大数据应用；梳理贵阳院大数据高级应用场景，并选择典型场景进行分析。,15,大数据平台目标架构及定位,准实时采集,批量采集,Hadoop平台,MPP，基于X86平台,主数据仓库,分布式数据库,基于X86平台,数据采集（云化ETL，流数据处理、爬虫）,数据层,获取层,能力层,精细化营销,智
10、能运营,物联网应用,应用商店,客服应用,基础分析能力,数据挖掘能力,实时分析能力,自助分析能力,多维分析能力,数据共享能力,指标应用,报表应用,主题分析,专题分析,互联网,CATIA,半结构化、非结构化数据,OA,ERP,财务,人力,项目管理,业务平台,结构化数据,数据源,分布式文件系统 HDFS,记录明细数据,HBase,M/R,Hive,记录汇总数据,数据统一服务和开放SQL、FTP、WS、MDX、API、,分布式数据库（MPP）：存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。主数据仓库（与MPP合设）：存储指标数
11、据、KPI数据和高度汇总数据。,Hadoop云平台：负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。,数据开放接口：向大数据应用方提供大数据平台的能力。,数据采集（ETL）：负责源数据的采集、清洗、转换和加载包括：1、把原始数据加载到Hadoop平台。2、把加工后的数据加载分布式数据库和主数据仓库,应用层,目录,17,2,与大数据应用相关-BIM技术,政策推进： 2011年住建部2011年2015年建筑业信息化发展纲要 2014年住建部关于推进建筑业发展和改革的若干意见 2014年上海市关于在本市推进建筑信息模型技术应用的指导意见
12、,三维设计可视化，方便多方沟通便于有限元、 CFD等数值模拟计算多专业协同保空间协调防冲突灵活的设计变更可在设计阶段便捷考虑经济性,建筑性能分析 日照分析、能耗模拟、声学计算、视线模拟、碰撞检查,日照模拟,自然通风系统模拟,热能环境模拟,受风作用的流体力学模拟,大数据与BIM结合-仿真计算,除建模进行结构计算分析外：,大数据与BIM结合-项目管理精细化,建筑信息模型,施工模拟,工程数量,资源消耗,工程造价,变更设计,物资采购,验工计价,限额领料,与大数据应用相关-GIS技术,一个GIS项目包括环节： 定义一个问题 获取软件或硬件 采集与获取数据 建立数据库 实施分析 解释和展示结果,GIS是一
13、种特定的空间信息系统：在计算机硬、软件系统支持下，对整个或部分地球表层（包括大气层和地下）空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述。,大数据和3D GIS融合，实现车站和线路的一体化设计以及施工模拟、监测,大数据与GIS结合-设计施工一体化,大量的不相关信息(多角度反映事物特性) 深度复杂分析（机器学习、人工智能等） 对未来趋势和模式的可预测分析(数学、力学模型) 数据价值密度较低（绝大部分数据无应用价值）,数据挖掘：对大数据通过算法搜索隐藏于其中有用的信息，与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统、模式识别等方法来实现预期目标。,与
14、大数据应用相关-知识管理,土压力,大数据与知识管理结合-建模分析、协同共享,建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）,非结构化数据,数据获取,结构化数据,分析应用,数据集市,数据集市,EDW,结构化元数据,Hadoop,建立非结构化信息的标签、摘要、索引、日志、内容等,提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合,ODS,SQL,与大数据应用相关-BI技术,关系数据库引入对XML 的支持仍然无法有效处理,ETL,大数据与BI结合-实时数据分析,实时数据分析-经营风险控制,27,实时数据分析-客户360分析,28,实时数据分析-运营
15、状态监测,利用大数据探索实现大坝、发电等基础设施（设备）运行状态信息库的充实和监测管理的准确。水电行业需要储备规模巨大的状态库，部分国家正在将大数据技术用于基础设施运营状态监控，其收集到的数据除了解基础设施的运行状态提高运维效率以外，还可用于风险预警、应急指挥等管理。物联网技术的发展使人与物的沟通成为可能，物联网对物体状态的实时反馈满足了大数据的全数据、高频采样特点，只有大数据技术才能对这些数据进行分析。,中国电子信息产业发展研究院,云平台是基础设施架构 云平台如何整合既有BIM、GIS系统？大数据是核心资产 如何获取多种类、可靠、标准化储存的信息数据？分析、挖掘是重要手段 数学理论、方法是基础发现、预测是最终目标 新知识、新方法研发运管模式是支撑 水电工程领域如何集成研发和应用？,大数据应用研究方向,华为大数据一体化平台,京东大数据平台,目录,33,项目总体咨询流程,上级信息化战略,贵阳院业务战略,企业内部访谈和调研,需求分析,行业调研,大数据技术发展趋势,大数据技术框架设计,应用场景设计,可行性研究,完善,启发,参考,大数据应用最佳实践,启发,参考,谢谢！,
