《大规模数据分析系统的搭建》课件.pptx
《《大规模数据分析系统的搭建》课件.pptx》由会员分享,可在线阅读,更多相关《《大规模数据分析系统的搭建》课件.pptx(36页珍藏版)》请在三一办公上搜索。
1、,大数据分析系统的建设,推销两个观点,数据系统 分层设计,为什么推销这两个观点?,数据系统,Whatis a datasystem?Asystemthatmanagesthe storageandqueryingof data.,Query=Function(Alldata).,Sometimesyouretrievewhatyoustored,Oftentimesyoudotransformations,aggregations,etc.,MapReduceisaframeworkfor computingarbitraryfunctionson arbitrarydata.,nathanm
2、arz,theauthorofStorm,Mysql是数据系统,包括查询层(SQL)和存储层。,HBase、HDFS、NoSQL都至多算是存储层。,分层设计,垂直分层,时效性库,小时库,天级库,周库,水平分层,OLTP,OLAP SQL,NoSQL 为什么分层?减少设计复杂性,减少使用运维复杂性 资源效率使用最高,实时计算层(Storm)实时存储层(HBase),批量计算层(MapReduce)批量存储层(HDFS),输入数据,为什么推销这两个观点 小数据-大数据 大数据系统也是storage+query 大数据需要分层考虑输出数据,最近两个趋势,NewSQL,Interactive Anal
3、ysis 说明了什么,NewSQL,NoSQL太过原始,SQL容量性能有限,Megastore:ProvidingScalable,Highly AvailableStoragefor InteractiveServices(Google2011)F1-The Fault-Tolerant Distributed RDBMSSupportingGoogles Ad Business(Google 2012),NewSQL,SQL,NoSQL,Interactive Analysis,Hive响应太慢,数据库容量性能有限,Dremel:InteractiveAnalysisofWeb-Scale
4、Datasets(Google 2010),Tenzing:A SQL Implementation On The MapReduceFramework(Google 2011)PowerDrill:Processing a TrillionCells per Mouse Click(Google 2012),说明了什么 大数据的开源社区正在向数据库厂商发起挑战 OLTP:难度会稍大,撬动更多的是mysql、postgresql的领地 OLAP:很有希望,成本昂贵稳定性要求低数据量大时效性低不是不可缺少的组件,今天的重点:,大数据分析,Oracle ExadataEMC Hawk,SAP Ha
![《大规模数据分析系统的搭建》课件.pptx_第1页](https://www.31ppt.com/fileroot1/2023-3/5/12b89ad5-e255-4743-957f-ba35ebe3f266/12b89ad5-e255-4743-957f-ba35ebe3f2661.gif)
![《大规模数据分析系统的搭建》课件.pptx_第2页](https://www.31ppt.com/fileroot1/2023-3/5/12b89ad5-e255-4743-957f-ba35ebe3f266/12b89ad5-e255-4743-957f-ba35ebe3f2662.gif)
![《大规模数据分析系统的搭建》课件.pptx_第3页](https://www.31ppt.com/fileroot1/2023-3/5/12b89ad5-e255-4743-957f-ba35ebe3f266/12b89ad5-e255-4743-957f-ba35ebe3f2663.gif)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大规模数据分析系统的搭建 大规模 数据 分析 系统 搭建 课件
![提示](https://www.31ppt.com/images/bang_tan.gif)
链接地址:https://www.31ppt.com/p-3873222.html