《数据湖演进之路课件.ppt》由会员分享，可在线阅读，更多相关《数据湖演进之路课件.ppt（72页珍藏版）》请在三一办公上搜索。
1、数据湖演进之路,51、没有哪个社会可以制订一部永远适用的宪法，甚至一条永远适用的法律。杰斐逊52、法律源于人的自卫本能。英格索尔53、人们通常会发现，法律就是这样一种的网，触犯法律的人，小的可以穿网而过，大的可以破网而出，只有中等的才会坠入网中。申斯通54、法律就是法律它是一座雄伟的大夏，庇护着我们大家；它的每一块砖石都垒在另一块砖石上。高尔斯华绥55、今天的法律未必明天仍是法律。罗伯顿,数据湖演进之路数据湖演进之路51、没有哪个社会可以制订一部永远适用的宪法，甚至一条永远适用的法律。杰斐逊52、法律源于人的自卫本能。英格索尔53、人们通常会发现，法律就是这样一种的网，触犯法律的人，小的可以穿
2、网而过，大的可以破网而出，只有中等的才会坠入网中。申斯通54、法律就是法律它是一座雄伟的大夏，庇护着我们大家；它的每一块砖石都垒在另一块砖石上。高尔斯华绥55、今天的法律未必明天仍是法律。罗伯顿数据湖演进之路用户画像需要从数据仓库的角度来看,才能获得完整的视图。数据集成真正从大数据的角度来看,才能明白其中的挑战。一个运行了20多年的数据架构,必然有其合理性也正是因为年代久远,存量过多,才导致举步维艰在 Cloud和5G时代,超密度网络集成和大数据洞察需求给保险行业带来新的挑战,从数据仓库到数据湖,不仅仅架构的变革,更是思维方式的升级。,数据湖演进之路,用户画像需要从数据仓库的角度来看,才能获得
3、完整的视图。数据集成真正从大数据的角度来看,才能明白其中的挑战。一个运行了20多年的数据架构,必然有其合理性也正是因为年代久远,存量过多,才导致举步维艰在 Cloud和5G时代,超密度网络集成和大数据洞察需求给保险行业带来新的挑战,从数据仓库到数据湖,不仅仅架构的变革,更是思维方式的升级。,数据仓库历史沿革,1970年,关系数据库的研究原型 System R和 INGRES开始出现,这两个系统的设计目标都是面向on-1 ine transaction processing(OLTP)的应用关系数据库的真正可用产品直到1980年才出现,分别是DB2和 INGRES。其他的数据库,包括 Sybas
4、e,Oracle,和 Informix都遵从了相同的数据库基本模型。关系数据库的特点是按照行存储关系表,使用B树或衍生的树结构作为索引和基于代价的优化器,提供ACID的属性保证到1990年,一个新的趋势开始出现:企业为了商业智能的目的,需要把多个操作数据库中数据收集到一个数据仓库中。尽管投资巨大且功能有限,投资数据仓库的企业还是获得了不错的投资回报率。从此,数据仓库开始支撑各大企业的商业决策过程。数据仓库的关键技术包括数据建模,ETL技术,OLAP技术和报表技术等。目前主要的数据仓库产品供应商包括 Oracle、IBM、Microsoft、SAS、Teradata、Sybase、Busines
5、s objects(已被SAP收购)等,数据仓年概念,数据仓库之父Bi1 Inmon在1991年出版的“Building theData Warehouse”一书中所提出的定义被广泛接受数据仓库(Data Warehouse)是一个面向主题的(SubjectOriented)、集成的(Integrated)、相对稳定的(NonVolati1e)、反映历史变化(Timne variant)的数据集合,用于支持管理决策(Decision Making Support)。这是一个偏向学术的定义,却非常准确的界定了数据仓库与其他数据库系统的本质区别。a data warehouseis a subje
6、ct-oriented,integratedtime-variant.and nonvolatile collection of data insupport of managements decision-making processW.H.Inmon,要理解数据仓库的概念,需要从与数据库的系统的对比来看数据库是作为“所有处理的单一数据源”出现和定义的数据库的出现有两个驱动因素,第一是70年代以前大量应用程序和主文件的分散存放导致一片混乱和大量冗余数据。第二是直接存取存储设备的出现使得按记录寻址成为可能。基于DBMS的在线事务处理为商业发展开辟全新的视野。数据库系统的设计目标是事务处理。数据
7、库系统是为记录更新和事务处理而设计,数据的访问的特点是基于主键,大量原子,隔离的小事务,并发和可恢复是关键属性,最大事务吞吐量是关键指标,因此数据库的设计都反映了这些需求。数据仓库的设计目标是决策支持。历史的,摘要的,聚合的数据比原始的记录重要的多。査询负载主要集中在即席查询和包含连接,聚合等操作的复杂查询。,相对于数据库系统来说,査询吞吐量和响应时间比事务处理吞吐量重要的多数据仓库和数据库系统的区别,一言蔽之:OLAP和OLTP的区别。数据库支持是OLTP,数据仓库支持的是OLAP数据处理类型OLTPOLAPUser orientation业务开发人分析决策人员system orientat
8、ionstomer-orientedMarket-oriented功能实现日常辜务处理面向分析决第关系横型(ER、面向应用多维樸型(层型或雪花)、面向主题数据量几条或几十条记录百万千万条记录Data contentsCurrent dataHistoric data单个企业的当前数据多个企业的历史数括操作类型短井发事务:查认、更新、删除查询为主:只该操作、复杂查询,对OLTP和OAP的区别还可以有一个维度,就是及时性需求。OLTP对事务的及时性需求较高,而OLAP则不然。数据仓库一般基于数据库实现,但是为部署和维护上是分离的。数据仓库可以是基于关系数据库实现的,这样的数据仓库被称为 ROLAP。数据仓库也可以是基于多维数据结构实现的,这样的数据仓库被称为 MOLAP。,数据仓年杂构,谢谢！,61、奢侈是舒适的，否则就不是奢侈。CocoChanel62、少而好学，如日出之阳；壮而好学，如日中之光；志而好学，如炳烛之光。刘向63、三军可夺帅也，匹夫不可夺志也。孔丘64、人生就是学校。在那里，与其说好的教师是幸福，不如说好的教师是不幸。海贝尔65、接受挑战，就可以享受胜利的喜悦。杰纳勒尔乔治S巴顿,
