《集团化企业开放数据平台构建之路(51cto大数据峰会分享).ppt》由会员分享，可在线阅读，更多相关《集团化企业开放数据平台构建之路(51cto大数据峰会分享).ppt（20页珍藏版）》请在三一办公上搜索。
1、傅杰2013年4月,集团化企业开放数据平台构建之路,大纲,企业集团化带来的数据挑战开放数据平台的构建之路优酷土豆集团开放数据平台,3,数据孤岛,集团化企业的数据孤岛现象更为明显！,4,企业集团化带来的数据挑战,资源浪费,数据关联,重复造轮,数据标准,物理孤岛,逻辑孤岛,挑战物理孤岛,集中存储统一采集开放计算,开放Hadoop平台,开放三要素,权限,资源,灾备,权限,身份,Hadoop安全开放,集成Kerberos自定义用户组监控报表开放注册用户120、团队16,Hadoop集群规模,日增2T+原始日志日均6000道作业日扫描上百T数据CPU利用率50-60%、峰值95%,荆棘密布,System
2、.out机房迁移(jaas bug)公平调度器故障JobTracker 堆栈满IPV6,平台运营,挑战逻辑孤岛,数据易用封装数据服务打造数据产品,开放数据平台,探索逻辑孤岛,制定业务数据标准元数据定义HIVE库互通数据产品,13,优酷土豆集团开放数据平台,14,数据平台辐射范围,数据平台,广告,推荐,拍客,搜库,指数,分成,15,数据平台内部支撑,数据平台,优酷,移动,土豆,决策,16,数据平台架构,storm,pig,mapreduce,调度系统,监控系统,管理系统,查询系统,DYC,数据产品,API系统,HDFS,hive,hbase,分布式日志收集系统,播放器,网站,广告,移动,搜索,sqoop,数据质量,数据反作弊,优酷指数,17,平台服务,18,回顾构建之路,拥抱大数据,深入大数据,开放大数据,运营大数据,近期工作,监控运营报表实时计算应用日志采集系统优化API层架构规划,20,Q&A,
