《数据库中间件设计与实现课件.ppt》由会员分享，可在线阅读，更多相关《数据库中间件设计与实现课件.ppt（21页珍藏版）》请在三一办公上搜索。
1、数据库中间件设计与实现,1,纲要,MySQL存在的问题主流MySQL Proxy方案中间件的设计与实现总结,2,MySQL存在的问题,读写分离在客户端中配置所有DB信息，并实现读写分离DB上下线业务受影响运维跟开发需同步调整配置,3,client,db_master,db_slave,主从同步,MySQL存在的问题,4,分库分表客户端改写SQL语句客户端将SQL路由不同的DB客户端聚合结果,db1,db3,db2,sql1,sql2,sql3,sql,merge result,中间件的目标,5,减轻开发工作量支持SQL读写分离支持数据分库分表减轻运维工作量无需与开发同步高可用减少运维工作,主流
2、MySQL Proxy方案,6,主要解决方案DBProxyMysql官方产品，但只出到Beta 0.8，基本不维护BUG多、扩展功能较难C语言开发国内衍生：360 Atlas、Meituan DBProxy、Sohu DBProxy.Cobar功能简单基本不维护JAVA开发阿里内部已发展为TDDL(非代理模式),并在阿里云DRDS中大量使用国内衍生：MyCat VitessYoutube开源的数据库扩展及高可用方案，已经用于生产环境功能强大，但是构架复杂，部署及运维成本较高GOLANG开发国内GO开发：Kingshard,中间件核心功能,7,读写分离数据分库分表平滑上下线DB,中间件实现,8,
3、SQL Parser数据分片SQL路由结果归并连接池设计后端DB的高可用方案高可用方案安全审计,架构设计,9,整体架构图,SQL Parser,10,SQL Parser的设计与实现词法分析器将SQL切分语法分析器根据词法分析器结果和MySQL语法规则生成AST(abstract syntax tree)相关产品目前常见的SQL解析器主要有fdb/jsqlparser和Druid,SQL,词法分析,语法分析,AST,根据分片规则生成新 SQL,数据分片,11,分片概念逻辑：将数据落在不同的DB实例中的不同子表中分片方式：Hash、Range、Time_Range等Shard key类型：整型、
4、MySQL标准时间类型等数据到实例采用两级映射方案,shard_key,sub_table,DB,data,数据分片,12,select * from tab where id = 10,range,hash,time,config,select * from tab_0001 where id = 10,calculate table index,SQL路由,13,路由概念SQL路由是根据分片规则配置，将SQL定位至真正的数据源,结果归并,14,归并概念结果归并包括4类：普通遍历类、排序类、聚合类和分组类。每种类型都会先根据分页结果跳过不需要的数据。普通遍历类最为简单，只需按顺序遍历Resu
5、ltSet的集合即可排序类结果将结果先排序再输出，因为各分片结果均按照各自条件完成排序，所以采用归并排序算法整合最终结果分组类最为复杂，需要将所有的ResultSet结果放入内存，使用map-reduce算法分组，最后根据排序和聚合条件做相关处理。最消耗内存，最损失性能的部分即是,连接池设计,15,目标复用连接，降低后端DB压力方式一个DB实例对应一个连接池连接池个数上限可配置，无空闲连接则阻塞效果前端高并发，MySQL负载不会抖动限制连接池个数，保护后端DB不至于宕机,连接池设计,16,middleware,DB1,Conn Pool,Conn Pool,DB2,conn,conn,conn
6、,.,pop,push,连接取出时：重置字符集重置Database,后端DB的高可用方案,17,方式使用独立线程检测DB状态定期检测每台DB是否正常，周期和重试次数均可配置效果自动摘除宕机或网络中断的DB自动挂载恢复正常的DB,middleware,DB_Master,DB_Slave1,DB_Slave2,select 1,select 1,select 1,高可用方案,18,安全与审计,19,客户端IP限制用户自定义IP白名单列表SQL黑名单用户定义黑名单SQL列表慢SQL记录用户自定义慢日志耗时大小,总结,20,普遍存在的两大问题性能效率问题：采用代理的方式，有性能损耗，跨库查询性能更差。是否有其它更高效方式？功能问题：不支持分布式事务。为什么不支持？如何实现分布式事务？,21,Thank You,
