《海量信令数据共享的关键问题和解决.ppt》由会员分享,可在线阅读,更多相关《海量信令数据共享的关键问题和解决.ppt(10页珍藏版)》请在三一办公上搜索。
1、海量信令数据共享的关键问题和解决,海量数据共享平台的技术挑战,大规模数据并发实时处理的能力(大规模关联计算能力)达到P级的数据存储和快速访问能力(传统数据库承载不了)硬件机器群的支持和规划开发新应用的灵活性,应用对信令数据平台处理能力的需求存在三个不同级别,实时(10us 10ms),如语音监听,准实时(10ms 10s),如手机定位,非实时(10s),如营销数据挖掘,智能采集硬件实现无损信令解析,。充分利用采集侧硬件已有资源。降低了对信令处理服务机群的压力和依赖。能在L3上实现无损压缩,算法平均压缩率在8倍左右。从底层支持实时类应用(标签),核心技术之一 分布式海量存储文件系统,基于开源内核
2、的海量数据库的底层支持稳定,冗余,经过超过8年的业界应用验证比传统的FS集群文件系统更具可伸缩性优势,核心技术之二 分布式海量数据库,。基于C,兼容linux,bsd,unix。基于列存储,适合不断追加应用标签。Write-Once Read-Many。类SQL的自定义查询语言。查询引擎是分布式,性能能随机器数量接近线性增长。实际最大集群例子:20P数据,5000个节点,核心技术之三 分布式高速消息队列,。基于内核优化(RealTime Linux)的实时消息队列服务。支持生产者消费者模式(实时)。支持主题定阅者模式(准实时)。在万兆网(10Gb)上实现最小40us的end-to-end延迟(512bit大小)。在4路opturon服务器上能实现10M包秒的吞吐量(100bit),核心技术之四 关联计算用的分布式内存数据库,。基于高速哈希表和优化B+树算法。基于(key,value)对的键值查找算法。基于分布式内存数据库模式。可用于加速包括用户识别,位置识别等等实际需要的应用标签过程,部分数据处理底层技术案例,。大话西游1游戏服务器后台架构。垂直行业数据搜索分发引擎(客户是国外IC行业龙头CorpTools),Thank you!,谢谢各位的聆听!,