MongoDB概述与存储结构解读课件.ppt

上传人:牧羊曲112 文档编号:1481169 上传时间:2022-11-30 格式:PPT 页数:43 大小:3.37MB
返回 下载 相关 举报
MongoDB概述与存储结构解读课件.ppt_第1页
第1页 / 共43页
MongoDB概述与存储结构解读课件.ppt_第2页
第2页 / 共43页
MongoDB概述与存储结构解读课件.ppt_第3页
第3页 / 共43页
MongoDB概述与存储结构解读课件.ppt_第4页
第4页 / 共43页
MongoDB概述与存储结构解读课件.ppt_第5页
第5页 / 共43页
点击查看更多>>
资源描述

《MongoDB概述与存储结构解读课件.ppt》由会员分享,可在线阅读,更多相关《MongoDB概述与存储结构解读课件.ppt(43页珍藏版)》请在三一办公上搜索。

1、mongoDB的概述与存储结构,汇报人:,2022/11/30,1,01,第一章 mongoDB概述,02,第二章 存储体系结构,背后的故事,硬实力,软实力,Contents,目,录,崛起的法宝,2022/11/30,2,背后的故事,1,崛起的法宝,2,第一章 mongoDB概述,2022/11/30,3,背后的故事Web2.0来袭,1.互联网应用用户量剧增2.数据量呈几何级数增长3.高并发的读写,2022/11/30,4,背后的故事RDBMS的困境,1.数据库并发负载高2.海量数据存储和访问3.数据库数据越来越大4.事务管理的负担5.对关系型数据库读/写实时性的忽略6.多表关联查询被弱化,2

2、022/11/30,5,背后的故事NoSQL的崛起,NoSQL全称是Not Only Sql,指的是非关系型的数据库。NoSQL数据库主要应用于web2.0的大规模系统,具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。,2022/11/30,6,背后的故事mongoDB的前世今生,2007年10月,MongoDB由10gen团队所发展,2009年2月首度推出MongoDB是一个介于关系数据库和非关系数据库之间的产品MongoDB 是由C+语言编写的开源数据库系统MongoDB服务端可运行在Linux、Windows或OSX平台,支持32位和64位应用

3、,2022/11/30,7,崛起的法宝vs RDBMS,2022/11/30,8,崛起的法宝数据模型,MongoDB 数据库是一个面向集合且模式自由的文档类型数据库。1. 面向集合面 向 集 合 是 指 数 据 被 分 组 存 在 在 数 据 集 中 , 被 称 为 一 个 集 合(Collencton=table)。集合类似于关系型数据库的表(table) ,不同于表的是,集合不需要定义任何模式,集合在存储文档,一个文档类似于关系型数据库的一条记录。在 MongoDB 中,要操作一个表并不需要创建它,可以直接往集合中插入数据,如果集合不存在,它会自动创建这个集合。2. 模式自由模式自由就是对

4、存储在 MongoDB 数据库中的数据,我们不需要知道它是什么结构(可以是任何的文档)。3. 文档型文档型存储的数据是键值对的集合,键是字符串,值可以是数据类型集合中的任意类型,包括数组和文档。我们把这个数据格式称为 BSON (Binary Serialized Document Notation),2022/11/30,9,崛起的法宝功能性,1.完整的索引支持:可以对文档创建索引,甚至还可以对内嵌文档以及数组创建索引。MongoDB 的查询优化器会自动分析查询语句,然后生成一个高效的查询集合。2.动态查询: MongoDB 的查询指令使用 JSON 形式,使查询表达式变得非常丰富,还可以非

5、常容易地查询文档中的内嵌对象和数组。3.查询监视: MongoDB 提供了很多性能监视工具,用于分析数据库操作的性能。,2022/11/30,10,崛起的法宝功能性(续),4.复制及自动故障转移:MongoDB 数据库支持服务器之间的复制,从节点可以复制主节点的数据,主节点的所有对数据的操作都会同步到从节点。从节点的数据跟主节点的数据是完全一样的,以作备份。主节点发生故障之后,从节点可以升级为主节点,也可以通过从节点对故障主节点进行数据恢复。5.高效地传统存储方式:支持二进制数据及大型对象(如视频),可以将图片文件甚至视频转换成二进制的数据存储到数据库中。6.自动分片以支持云级别的伸缩性: 可

6、以水平扩展数据库集群,动态添加片(服务器)。,2022/11/30,11,崛起的法宝其他招式,1.拓展功能强大2.便于管理3.适用于多种场合,2022/11/30,12,硬实力,1,软实力,2,第二章 存储结构,2022/11/30,13,VS.,硬实力磁盘,数据的存储总离不开磁盘,因此mongodb的数据存储设备当然也只能是磁盘。官方建议采用SSD固态硬盘。,mongod,Data fileSSD,Journal HDD,Log HDD,优化的IO部署方案,数据IO:随机访问为主, x: 12 ,DiskLoc: xx,Read: DiscLoc: xx,DisckLoc: xx,无冗余,写

7、性能一般,写入速度慢,条带化+镜像性能好 + 数据冗余,建议的RAID Level,硬实力存储引擎,存储引擎是数据库管理系统的一个重要组成部分。它的主要职责就是负责把数据存储到硬盘和把数据从硬盘检索出来。MySQL和Riak均支持多个不同的存储引擎。不同的存储引擎对不同的应用需求有特别的优化。如某个存储引擎可以是专为高并发写设计的,而另一个则是为高压缩率设计从而达到节省磁盘空间的目标。mongoDB默认采用的存储引擎是操作系统底层提供的内存映射文件(MMAP)(至今也只有一种)。,2022/11/30,18,硬实力内存映射,硬实力故障恢复,复制集,一个典型的集群结构如下:,Shards每一个s

8、hard包括一个或多个服务和存储数据的mongod进程(mongod是MongoDB数据的核心进程),典型的每个shard开启多个服务来提高服务的可用性。这些服务/mongod进程在shard中组成一个复制集。,硬实力负载均衡,2022/11/30,21,软实力数据类型,null 布尔 ture|false整数 123浮点 12.3字符串 “hello world”对象ID 用 new ObjectId()来申明。 日期 用 new Date()来申明时间戳数组 “apple”,”blanan”,”pear”内嵌文档 “username” : “jone”, “age”: 13, “conta

9、ct” : “home”:”123”,”moblie”:”456”RegExp 正则表达式 /a-z/,2022/11/30,22,数字型表示,MongoDB对整型数字的存储分两个级别,一个32位的,一是64位的。浮点数MongoDB仅支持64位的双精度浮点数。,整数表示法:,64位浮点数表示法:,0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0001,mongo内部, 所有数字都是用long存储, 所以单个数字是8字节,2022/11/30,23,字符型表示,MongoDB的所有字符均采用

10、UTF-8编码。UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。,2022/11/30,24,日期表示,日期类型存储是从标准纪元开始的毫秒数,不存储时区。JavaScript中,Date对象用作MongoDB的日期类型,由于JavaScript本身的特性,创建一个Date对象时,通常会调用new Date()而不是使用Date()。因为调用Date()实际返回的是对日期的字符串表

11、示,而不是真正的Date对象。格式:“date”:new Date(),2022/11/30,25,ObjectID详解,不同的机器都能用全局唯一的同种方法方便的生成它。ObjectId使用12字节的存储空间,其生成方式如下:4e931cb6edcd881e1900017f时间戳 机器ID PID 计数器时间戳保证秒级唯一,机器ID保证设计时考虑分布式,避免时钟同步,PID保证同一台服务器运行多个mongod实例时的唯一性,最后的计数器保证同一秒内的唯一性。,2022/11/30,26,字符串表示,由于字符采用的UTF-8编码,目的就是为了实现字符串的可变格式和可变长度。,参考:http:/,

12、LEN=n+5 = 长度(4字节) + 字符串(n字节) + (1字节),2022/11/30,27,BSON格式存储,例:a:12BSON结构如下: Len | vtype |key|0| v | E 长度 | value类型 | key |0 | value|结束符号 4| 1 | 1 |1| 2 |1 = 10字节,2022/11/30,28,软实力文件,在MongoDB内部,每个数据库都包含一个.ns文件和一些数据文件,而且这些数据文件会随着数据量的增加而变得越来越多。所以如果系统中有一个叫做test的数库,那么构成test这个数据库的文件就会由test.ns,test.0,test.

13、1等等组成。其中*.ns是包含命名空间的文件,保存该数据库数据的相关信息。*.0和*.1是数据文件。32位系统的MongoDB服务器每一个Mongod实例只能使用2G的数据文件。这是由于地址指针只能支持32位。,2022/11/30,29,命名空间,在数据文件内部,每个数据库都是按照命名空间组织的,一种类别的数据与其他类别的分开存放。每个集合的文档都有自己的命名空间,索引也是。命名空间的元数据存放在数据库的 .ns 文件中。每个命名空间的数据都被分成若干组,放到数据文件的某一区域内,这个区域称为数据域。在图 中可以看到数据库 foo 有 3 个数据文件,其中第 3 个是预分配的空文件。前两个数

14、据文件被分成几个数据域,属于几个不同的命名空间。,2022/11/30,30,软实力存储过程,2022/11/30,31,下图展示了数据库是如何跟底层系统打交道的,虚拟地址空间,2022/11/30,32,内部文件格式,在名字空间文件中,保存了每个名字空间的存储信息元数据,包括其大小,块数,第一块位置,最后一块位置,被删除的块的链表以及索引信息,2022/11/30,33,块结构,各个Extent(块)采用双链表的形式连接,2022/11/30,34,块和记录,各个文档数据也是采用双链表的形式连接,2022/11/30,35,块相关特性,1.每一条记录在块内从4的倍数的字节处开始2.块的大小不

15、会动态扩增3.尽量数据不跨块,但若记录的大小大于一个块的大小,必然会跨块4.相似记录计量保持在同一个块中,2022/11/30,36,软实力选择查询,MySQL: SELECT * FROM userMongo: db.user.find()MySQL: SELECT * FROM user WHERE name = foobarMongo: db.user.find(name : foobar),2022/11/30,37,MySQL: INSERT INTO user (name, age) values (foobar,25)Mongo: db.user.insert(name : fo

16、obar, age : 25)if you want add a column email on MySQL,you must : ALTER TABLE user.But in Mongo,you can just: db.user.insert(name : foobar, age : 25, email : ),软实力插入,2022/11/30,38,MongoDB在执行插入时,首先,会将插入的数据转换成BSON格式;然后,MongoDB数据库会对BSON进行解析,并且检查是否存在“_id”键(_id键在插入数据库时MongoDB会自动生成)。MongoDB还对文档的大小做了限制。1.8

17、之前的版本,文档不能超过4MB;1.8之后的版本支持16MB。除了这些之外,没有别的数据校验,就是简单的将文档原样存入数据库中。这样做的坏处是允许插入无限数据;好处就是不会受到注入式攻击,让数据库更加安全。 MongoDB在记录长度变化后,发现当前记录所在空间后面没有空余的空间可供其变长。那么这条记录就会被删除然后移动到数据集的最后。,2022/11/30,39,MySQL: DELETE * FROM userMongo: db.user.remove()MySQL: DELETE FROM user WHERE age ; $gte : = ; $lt : ; $lte : = ; $ne

18、 : !=,软实力删除,2022/11/30,40,删除原理,位置通过 DiskLoc 数据结构进行存储,存储了数据文件编号和块在文件中的位置,删除的块或者域都会在DletedList中标记,并不是直接抹掉。,2022/11/30,41,MySQL: UPDATE user SET age = 36 WHERE name = foobarMongo: db.user.update(name : foobar, $set : age : 36)MySQL: UPDATE user SET age = age + 3 WHERE name = foobarMongo: db.user.update(name : foobar, $inc : age : 3),软实力更新,2022/11/30,42,谢谢观看!,2022/11/30,43,

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号