《开放云平台数据引擎CMEM.ppt》由会员分享，可在线阅读，更多相关《开放云平台数据引擎CMEM.ppt（15页珍藏版）》请在三一办公上搜索。
1、开放平台的数据引擎,CMEM系统介绍,腾讯云平台部,邹润谋,DTCC2012,CMEM的诞生背景随着web2.0的快速发展,对互联网业务数据的要求越来越高,高可用热点大,大吞吐平滑扩容,低延迟定点回档,为了应对以上挑战,在参考其他NoSQL技术的基础上腾讯开发出自己的高性能NoSQL存储CMEM在内部SNSGame和开放平台中发挥重要作用并不断发展完善DTCC2012,概述,什么是CMEM,全称为Cloud Memcache,高性能分布式数据存储服务,适用于Key-Value存储场景 适用存放对吞吐,延迟要求苛刻,数据安全性要求较高的数据,使用CMEM的好处,一键式自助申请,马上可用,开发者无
2、需自行安装memcached 通过支持memcached 协议客户端和私有API均可访问 主备切换后应用接入入口不变，应用层无需修改配置 提供master-slave热备+流水,高可靠,支持定点回档 支持应用“一键式”无损扩容,无需业务参与.,DTCC2012,一些缓存的缺点,Memcached模型,TTServer模型,MySql,Memory,Disk,Memory,缺点写量支持有限,数据库IO瓶颈扩容复杂,需要应用拆分死机后需要预热,恢复时间长,缺点回写期间毛刺严重扩容复杂,需要应用拆分预热时间长,业务不可用DTCC2012,CMEM架构模型CMEM各业务管理Master主机业务A,业务
3、B,Access接入群（全镜像)cache存储群,备件备件备件,DTCC2012,数据高可靠性支持通用协议 支持数据淘汰业务无感扩容 故障自动切换,CMEM系统模型CMEM模型,用户Access接入集群,运维,Master管理中心,Transfer搬迁中心,Stat统计中心,Dump集中备份中心,Stop策略执行中心,运维门户,Cache存储集群并发能力,写入能力强垮IDC搬迁能力锁定业务能力 探测和预警能力 统计分析功能DTCC2012,CMEM的高性能大量运用zero-copy思想,数据管道传递时,编解码次数最少网络处理逻辑运行于OS内核态,处理能力可达到35w/s(req+rsp),接近
4、硬件极限请求延迟一般在us级别Client,数据长度(字节)1024512256128,数据源ClientClientClientClient,并发数100(写)200(读)100(写)200(读)100(写)200(读)100(写)200(读),执行时间(s)300300300300,平均处理量(/s)2.9355W6.4016W4.2W10.817W3.6504W12.082W4.2922W12.357W,失败率(%)0.00000.00000.00000.00000.00000.00000.00000.0000,接入机型 Intel(R)Xeon(R)CPU E5504 2.00GHz
5、千兆网卡 8G内存存储机型 Intel(R)Xeon(R)CPU E5405 2.00GHz 千兆网卡 32G内存DTCC2012,CMEM的扩容扩容只需增加扩容存储,瞬间完成表空间扩容扩容时读写不受影响,业务完全无感知并发可变速度的数据搬迁能力接入集群,新增存储,搬迁任务,初始存储,DTCC2012,CMEM的安全保证,快速切换热备+冷备保证单机故障快速切换流水备份支持5分钟切片数据回档备份中心接入集群,主,备Standy+流水备份,DTCC2012,CMEM的迁移能力,IDC1集群A,导数据MD5比对补差2T数据比对补差1.5h,IDC2集群B,DTCC2012,CMEM的业务锁定保护,主备机同时死机,查找机器所涉及的业务,只读死机涉及的所有业务,保证数据一致性,DTCC2012,CMEM的探测和监控能力,机器自身监控告警,多点探测告警,多级别告警,定制化告警,DTCC2012,CMEM的统计分析,DTCC2012,CMEM现有规模,50T+存储数据,50+集群,4000+2000+服务 应用器 接入DTCC2012,谢谢!,Q&A,腾讯云平台部欢迎业界精英加盟,共建云存储,DTCC2012,
