大数据模板培训ppt课件.pptx

上传人:小飞机 文档编号:3788395 上传时间:2023-03-21 格式:PPTX 页数:39 大小:3.34MB
返回 下载 相关 举报
大数据模板培训ppt课件.pptx_第1页
第1页 / 共39页
大数据模板培训ppt课件.pptx_第2页
第2页 / 共39页
大数据模板培训ppt课件.pptx_第3页
第3页 / 共39页
大数据模板培训ppt课件.pptx_第4页
第4页 / 共39页
大数据模板培训ppt课件.pptx_第5页
第5页 / 共39页
点击查看更多>>
资源描述

《大数据模板培训ppt课件.pptx》由会员分享,可在线阅读,更多相关《大数据模板培训ppt课件.pptx(39页珍藏版)》请在三一办公上搜索。

1、,1,2,3,大数据概述,大数据4V特性,相关领域应用,4,相关技术架构,目录,1,大数据概述,大数据产生的背景什么是大数据大数据时代,数据量级变化,大数据产生背景,数据量级不断增加|根据IDC 监测,人类产生的数据量正在呈指数级增长,大约每两年翻一番,这个速度在2020 年之前会继续保持下去。,数据结构日趋复杂|大量新数据源的出现则导致非结构化、半结构化数据爆发式的增长,地球上至今的数据量:,在2006 年,个人用户才刚刚迈进TB时代,全球一共新产生了约180EB的数据;,在2011 年,这个数字达到了1.8ZB。,而有市场研究机构预测:到2020 年,整个世界的数据总量将会增长44 倍,达

2、到35.2ZB(1ZB=10 亿TB),说明,互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。,1GB(Gigabyte)=1024MB1TB(Terabyte)=1024GB1PB(Petabyte)=1024TB1EB(Exabyte)=1024PB1ZB(Zettabyte)=1024EB,大数据时代,变化,数据,在web 2.0的时代,人们从信息的被动接受者变成了主动创造者,全球每秒钟发送 2.9 百万封电子邮件,每天会有 2.88 万个小时的视频上传到You

3、tube,推特上每天发布 5 千万条消息,量级,每月网民在Facebook 上要花费7 千亿分钟,发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据,数结,多样性,大数据的定义,大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。,想驾驭这庞大的数据,我们必须了解大数据的特征。,2,大数据的4V特性,体量Volume多样性Variety价值密度Value速度Velocity,数据结构,海量,存储能力,读写速度,实时,大数据,分

4、析,hadoop,hbase,spark,strom,大数据典型特性存储能力变化,数据量不断增加,存储能力也随之不断增强,存储能力,大数据典型特性读写速度提升,与云计算相结合的大数据存储速度显著提升,数据体量,读写速度,读写速度,大数据典型特性多样性发展,数据结构更加复杂,呈多样性发展,数据结构,多样性,体量Volume,多样性Variety,价值密度Value,速度Velocity,4V特性,从非结构化数据的超大规模和增长,比结构化数据增长快10倍到50倍,是传统数据仓库的10倍到50倍,总数据量的8090%,大数据的异构和多样性,多种形式(文本、图像、视频、机器数据),无模式或者模式不明显

5、,不连贯的语法或句义,大量的不相关信息对未来趋势与模式的可预测分析,深度复杂分析,机器学习、人工智能Vs传统商务智能(咨询、报告等),实时分析而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,3,相关领域应用,军事,建设公共基础设施应该如何选址?怎样有效提高公众生活安全水平?人口土地、资源利用如何优化?自然灾害、雾霾情况怎样最大化去改善?城市交通拥堵情况怎么去解决?,合理规划很重要,食品安全,消费行业,金融服务,电子商务,气象,交通环保,医疗卫生,军事,食品安全,消费行业,金融服务,电子商务,气象,交通环保,医疗卫生,VS,优化城市,实时交通信息:利用社交网络和天气数据来优化最新的交

6、通情况智能城市系统:自动通知消防、公安、医院等,迅速到达现场处理自然灾害预测:实时监测、对潜在危机做出快速响应,通过卫星和遥感技术,远程获取灾区情况,制定合理救援计划智慧城市建设:宏观调控人口、环境、土地资源利用等,做高效的城市规划建设,正确方式,VS,改善生活,穿戴的装备:根据睡眠模式、热量消耗、心率等时刻监控健康状况提高医疗和研发:迅速解码DNA,结合海量病例迅速制定最优治疗方案改善安全和执法:国家实时监控恐怖主义,企业防御网络攻击,警察利用社交、公共资源数据来匹配犯罪人员信息,捕捉罪犯,正确方式,用户行为数据,用户消费数据,用户社交等UGC数据,培亚马逊、SMG、淘宝,信用卡中心、蚂蚁金

7、服,谷歌地图、大众点评、美团等APP的自动定位系统,互联网金融数据,支付宝、陆金所,用户地理位置数据,互联网大数据,简单罗列几个行业,fackbook、新浪,合理使用大数据,大数据之提高经济策略,金融服务,电子商务,消费行业,根据用户的喜好、交易记录并制定权重匹配商品,提供准确的推送,根据不同地域、不同年龄段的人群的消费情况及生活习惯,制定提供最优服务的计划,结合热点、题材、政策和历史数据及趋势分析,制定良好的方向,4,相关技术,云计算列数据库实时分析hadoop生态集群,数据库,数据灵活,低价格,高性能,数据灵活,非关系型(列),性能对比,优点,缺点,优点,缺点,易理解 使用方便支持sql易

8、于维护,价格昂贵不能自动切片固定表结构读写性能差高并发读写需求,读写性能高基于键值对无耦合数据存储格式丰富价格低大多免费,不提供sql支持学习成本高BI支持弱,关系型数据库,非关系型数据库NoSql,场景不同效果也不同,目前NoSql是最为合适大数据发展的,关系型数据库:Mysql、Oracle、SQserver等,非关系型数据库:Hbase、MongoDB、Redis等,云计算,我们已经进入一个无处不网、无时不网的时代!,云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法

9、,用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。,大数据与云计算,云计算与大数据的关系是静与动的关系,前者强调的是计算、存储能力;大数据需要处理大数据的能力(数据获取、清洗、转换、存储、分析、统计等能力),其实就是强大的计算能力和数据存储能力。大数据必须采用云端分布式架构对海量数据进行分布式存储、分布式处理。云计算为大数据资源、大数据挖掘提供技术设施大数据挖掘为云计算建设和运作提供决策,相互关联性,大数据之实时分析,是指对规模巨大的数据进行分析,利用大数据技术高效的快速完成分析,达到近似实时的效果,更及时的反映数据的价值和意义。,近实时的数据分析,是传统架构的50-100

10、0倍,高效的响应速度在当今互联网显得极为重要,实时大数据分析,spark实时分析框架,共性:开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,流式实时分析框架storm,Hadoop集群,什么是hadoop?集群又是什么?,是编程语言吗?,作用?设计理念?,跟大数据有什么关系?,Hadoop 是开源平台,本身不是数据库,但可处理非结构化数据 这点关系数据库很难做到java、android等程序是用来做交互的,而hadoop是用来做计算的,哪些公司在使用Hadoop,为什么使用Hadoop,集群思路引入,一户人家,家里有很多的田,他需要牛来耕地,他要怎么来决策耕田的问题呢?,一只普通的牛体力

11、有限,很快就不行了,换一只昂贵的身材健硕的牛呢?还是体力有限,很快就又不行了,最后他想到一个办法:如果找一群普通的牛,事实不会又便宜又高效呢?,集群的概念就是这么得来的,特性,HDFS:Hadoop Distributed 分布式文件系统,MapReduce:分布式运算框架,YARN:Yet Another Resource Negotiator 资源管理调度系统,生态圈,问题:怎样存储海量数据?,HDFS分布式文件系统,两个思想十分重要,1.切分,2.分装,MapReduce 介绍,MapReduce=Map(拆分)+Reduce(合并、排序),大数据时代来临,一切真相将会展现在我们面前,1

12、、有时候读书是一种巧妙地避开思考的方法。23.3.2123.3.21Tuesday,March 21,20232、阅读一切好书如同和过去最杰出的人谈话。22:49:5922:49:5922:493/21/2023 10:49:59 PM3、越是没有本领的就越加自命不凡。23.3.2122:49:5922:49Mar-2321-Mar-234、越是无能的人,越喜欢挑剔别人的错儿。22:49:5922:49:5922:49Tuesday,March 21,20235、知人者智,自知者明。胜人者有力,自胜者强。23.3.2123.3.2122:49:5922:49:59March 21,20236、

13、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2023年3月21日星期二下午10时49分59秒22:49:5923.3.217、最具挑战性的挑战莫过于提升自我。2023年3月下午10时49分23.3.2122:49March 21,20238、业余生活要有意义,不要越轨。2023年3月21日星期二10时49分59秒22:49:5921 March 20239、一个人即使已登上顶峰,也仍要自强不息。下午10时49分59秒下午10时49分22:49:5923.3.2110、你要做多大的事情,就该承受多大的压力。3/21/2023 10:49:59 PM22:49:592023/3/2111、自己要先看得起自己,别人才会看得起你。3/21/2023 10:49 PM3/21/2023 10:49 PM23.3.2123.3.2112、这一秒不放弃,下一秒就会有希望。21-Mar-2321 March 202323.3.2113、无论才能知识多么卓著,如果缺乏热情,则无异纸上画饼充饥,无补于事。Tuesday,March 21,202321-Mar-2323.3.2114、我只是自己不放过自己而已,现在我不会再逼自己眷恋了。23.3.2122:49:5921 March 202322:49,谢谢大家,

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号