《新零售大数据架构及应用解决方案课件.pptx》由会员分享，可在线阅读，更多相关《新零售大数据架构及应用解决方案课件.pptx（68页珍藏版）》请在三一办公上搜索。
1、,新零售大数据架构及应用解决方案,新零售大数据概述,1,目录,CONTENTS,大数据与新零售,2,大数据应用实践,3,大数据分析实践,4,新零售大数据概述,01,新零售大数据应用场景,为零售商铺客户提供客流分析、VIP客户识别、员工管理、消费分析，店铺在线管 理等场景化应用服务。使零售业管理者精准知晓用户到店情况，会员到店情况，并对员工排班，分析顾客消费行为等起 到辅助作用。通过人脸识别，打通下客流和线上管理，满足客户多店铺管理的需求和远程管理的需求。,AI+ 大数据,智慧商铺,应用场景,大数据时代的背景,1:N人脸识别，客户首先建立人脸库，并在人脸库中导入人脸照片。通过上传一张人脸照片和人
2、脸库中 的所有照片进行比对，可自动返回最相似的人脸照片。可用于商场门店等场所的VIP识别。,1010101010010101010110101,视频采集,人脸检测,得分：86,人脸质量评价,特征提取建模,照片,人脸,特征提取建模,人脸特征库,姓名：XXX 相似度：98%,人脸 注册 入库,人脸 采集,人脸比对展现1：N特征比对比对结果,1010101010010101010110101,大数据时代的背景,VIP/会员识别店铺在线管理通过人脸识别形成对 VIP客户身份识别。分析会员占比， 进行会员分类，当VIP到店时，系统 发出提醒。,店员管理零售业管理者通过对客流的分析， 精准知晓用户到店情况
3、，会员到店 情况，并根据客流量对员工排班， 令人力调配的达到最优。,客流分析（性别、年龄分析）对到店客流量进行分析，了解并触 达客户直接需求，洞察客户的潜在 需求，了解不同客户群体的消费特 征，使其获得更精准的服务和更好 的购物体验。消费分析可按日、周、月统计消费趋势、提袋率情况。,在线看店支持通过PC、APP实时观察客流信息，VIP到店信息，选择历史抓拍人 脸进行会员的注册。,采集全网触点数据聚合,购买一台A空调留下姓名手机,淘宝买了一台吹风机留下地址,维修留下了地址电话邮箱,进入到集团官网注册留下手机邮箱,进入到某集团APP留下点击方案行为数据,在京东把某方案放入购物篮没有付款,在国美网站
4、点评过某品牌冰箱,范冰冰接触过某集团全网轨迹,方案推荐,导购,需求预测全套方案组合,最豪气的电冰箱,世界上最静音的空调,豆浆机送给自己最好的生日礼物,范冰冰在集团标签画像,集团给范冰冰的关怀与推荐,服务关怀,空调冰箱吹风豆浆机优美生活组合,营销宝,画像宝,营销活动,空调冰箱吹风豆浆机优美生活组合,把匿名用户转化为实名用户把实名用户转化成购买客户提高客户场景购买转化率挖掘忠诚潜在流失客户价值提高方案再销售转销售金额,数聚宝,核心业务平台,2022/12/18,第一类 业务平台数据的抽取,销售数据,CRM数据,方案数据,Sqoop,ODSHIVE贴源层,HQL/MR,特征识别器精准特征识别(EMA
5、IL.)模糊特征识别,DWHIVE模型层,DMHBASE客户身份集市层,DMHBASE客户行为集市层,DMHBASE方案集市层,DMHBASE其他集市层,ML,交易数据.,数据清洗引擎排错去重合并,数据属性不同，特征不同，清洗规则不同逐步建立地址基准库,DMHBASE地址标准库,其他平台.,第二类：自动抽取WEB数据，建立方案库,样本分析,人为干预,形成规则及代码,配置好 : 交给机器就OK啦!,类似传统ETL过程,社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取,大数据时代的背景,智慧零售,动线、热点,跟踪记录顾客在店内的行走轨迹， 分析热点区域和商品关注度,客流统计,基于人脸识别
6、技术和头肩跟踪技术， 精准统计客流量， 并可按性别、年龄分别统计,视频巡店,支持通过PC、A PP实时观察店铺 实时视频。 实现远程视频管理。,会员识别,通过人脸识别技术， 精准识别会员、熟客和新客。 提供会员满意度,消费分析,通过对接POS，获取销售数据 通过和客流信息的结合。 产生商业分析报表。 辅助店铺经营,大数据时代的背景,智慧零售,用户画像分析,会员识别,利用人脸识别技术、自动比对会员库， 获取会员姓名、手机号,会员服务,营业员通过手机、电脑等终端实时 得知会员的进店情况，并根据会员画像 提供精准的营销服务,会员画像,基于会员姓名、手机号关联 大数据平台中的会员画像 为会员的精准服务
7、提供依据,大数据时代的背景,大数据时代的背景,人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设 备的发展，数据的产生在不断加快，利用数据的方式也推陈出新。“大数据”实质上 是人类利用数字认识和改造世界所达到的一个新的阶段。各行各业每时每刻都在生成海量数据,基于大数据的应用正改变着我们的工作和生活,什么是大数据？, 统计表明，人类文明至今获得的全部数据，90%在过去2年内 产生，标志着数字化时代全面来临。而电子商务、社交网络、 传感器等还在源源不断的产生数据，预计到2020年，全球数 据规模将会达到今天的44倍。,多样性（Variety） 来源多：企业内部、互联网、物联
8、网等,高速度（Velocity） 生成速度快：实时性， 必须快速识别和快速响 应才能适应业务需求,大容量（Volume） 数据体量大：对计算和 存储的要求，从TB级别， 跃升到PB级别,高价值（Value） 浪里淘沙却又弥足珍贵， 虽然价值密度较低，但 是价值点比较高,“大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段，它具备大 容量、高速度、多样性和高价值四个特点。, 格式多：包括音频、图片等非结构化数据,大数据时代带来的三个理念转变,1、样本=总体 在大数据时代，可 以分析更多的数据， 甚至可以处理和某 个特别现象相关的 所有数据，而不再 依赖于随机采样。,传统数据时代,大数
9、据时代高性能数字技术的发展突破了这种限制。与 局限在小数据范围相比，使用一切数据为我 们带来了更高的精确性，也让我们看到了一 些以前无法发现的细节大数据让我们更 清楚地看到了样本无法揭示的细节信息。,2、容忍混杂性 研究数据如此之多， 以至于我们不再执 着于追求精确度。,3、因果到相关 不再热衷于寻找因 果关系，而是转而 寻找事物之间的相 关关系。,19 世纪以来，当面临大量数据 时，都依赖于采样分析。但是采 样分析是信息缺乏和信息流通受 限制的模拟数据时代的产物。,传统数据处理追求“精确度”， 这种思维方式适用于掌握“小数据 量”的情况，因为需要分析的数据 很少，所以我们必须尽可能精准 地量
10、化我们的记录。,寻找因果关系是人类长久以来的 习惯。即使确定因果关系很困难 而且用途不大，人类还是习惯性 地寻找缘由。,大数据纷繁多样，优劣掺杂，分布广泛。拥有了大数据， 我们不再需要对一个现象刨根究底，只要掌握大体的发展方向即可,适 当忽略微观层面上的精确度会让我们在宏观 层面拥有更好的洞察力。,在大数据时代，我们无须再紧盯事物之间的 因果关系，不再把分析建立在早已设立的假 设的基础之上。而应该寻找事物之间的相关 关系，让大数据告诉我们“是什么”而不是 “为什么”。,传统零售数据现状,大数据对行业的影响,中信银行利用互联网地理数据，提升广告精准度，实现与第三方的双赢,阿里小微金融基于电商平台
11、数据，打造信用体系，实现互联网金融创新,阿里巴巴通过自有生态圈内的数以亿 计个人用户和中小企业用户的交易数据， 通过与第三方金融机构的各类型金融数据 的数据交换和数据融合，打造了完善的互 联网个人用户及中小企业用户的信用体系， 并在此基础上推出了大量颠覆传统金融行 业的互联网金融产品、服务。,中信银行与高德地图的合作，基于高 德地图的互联网开放API，获取商家公开 数据和地理位置，与中信银行自有客户地 址数据进行匹配，在中信银行的邮寄账单 和群发短信中，提供个性化的特约商户广 告服务和刷卡折扣信息，实现第三方商家 和自身金融业务的双赢。,大数据带来了思维的创新和技术的革新,信 息 技 术 革
12、新,思 维 模 式 创 新,企 业 数 据 文 化 变 革 与 数 据 竞 争 力 重 塑,数据获取,网页埋点、网络爬虫、传感器技术,分析算法,社会网络、自然语言处理、时序分析、逻辑回归,信息展现,GIS地图、轨迹图、热力图、标签云图、辐射图,处理架构,Hadoop分布式计算平台、MPP数据库、STREAM实时计算,管理思维,决策思维,商业思维, 更加重视各类事物的关联关系，不仅仅局限于因果关系 更加重视快速预测，立即采取行动而不是等一个精确的结论, 数据使流程更加透明，有助于推动管理的扁平化，提升管理效率 数据使视野更为全局，有助于合理调配企业资源，提升管理效益, 数据可以是一种产品，满足客
13、户的信息消费需求，换取商业利润 数据可以是一种服务，以数据能力汇聚商业资源，形成竞争优势,大数据的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升 级生产技术，改变生产方式，进而释放了生产力。,大数据解决思路,大数据与新零售,02,较之其他企业，新零售具备更加丰富的大数据资源,网络承载,企业管理,通信话单数据（语音话单、短彩话单、上网话单）,渠道接触数据（网厅、掌厅、短厅等电子渠道的访问路径）,行业应用数据（MAS/ADC、物联网、校讯通、12580黄页）,自有业务数据（阅读、音乐、游戏等用户行为）,新型数据,网页浏览数据（网页地址、网页内容、搜索关键词、内容分类、网址分类）
14、,应用内容数据（应用名称、功能名 称、应用内容、交互 对象、应用分类）,客户位置数据（运动轨迹、家庭地 址、办公地、交通工具、区域通行速度）,网络资源数据（基站信息、热点信 息、网元配置、设备 性能日志、综合资源）,服务营销数据（投诉语音、主动维系、营销互动、市场调查）,企业收入数据（主营业务收入、投 资收益、税费）,合作伙伴数据（银行支付、代理商、供货商、物流商、CP/SP）,运营成本数据（办公支出、薪酬、 市场营销费用、网络 运维费用）,运营管理数据（公文、邮件、审批流程、企业论坛）,新零售在BSS、OSS和MSS三域中都会产生丰富的数据资源，涵盖生产运营、企业管 理和网络承载三方面。基于
15、这些数据可以更深刻的认识客户。生产运营,客户视图数据（姓名、年龄、性别、消费、积分、终端）,业务运营数据（订购记录、产品信息、订购渠道、）,传统数据,企业资产数据（仓储信息、物资资源、物业资产）,购买,安装,客服,体验,内部数据,外部数据,标签,体验环节：和数据厂商，合作或购买统计数据购买环节：引入合作商用户数据,合并客户触点数据,2022/12/18,数据清洗整合规则建模,应用平台,现状:数据分布各地信息分离、共享程度低消费者信息不统一无法实现一对一个性化精准营销,目标:高度共享的集中统一数据平台，统一消费者视图，实现精准营销、精准决策,客户,统一元数据,方案,集中统一平台数据共享统一消费者
16、标识实现个性化精准营销,会员身份信息库消费行为信息库,方案基本属性 方案生命周期,主题数据,数据挖掘,客户 忠诚度,客户消费能力,客户 消费 习惯,方案主动售后,客户消费需求,地域 消费需求,统一会员视图,客群粗 粒度分析,个性化精准营销和关怀,个性化细粒度分析,个性化精准营销和关怀,2022/12/18,Department,24,购买交易数据从渠道和零售平台采集用户的交易记录,退换货数据从渠道平台采集退换货记录,咨询投诉数据,投拆客服互动数据从呼叫中心采集投拆数据,偶发出现行为数据从WEBAPP电商门店数据,客户统一视图,CRM或合作购买数据从或第三方购买数据,清洗规则,手机号匹配,姓名匹
17、配,地址匹配,方案号匹配,固话匹配,邮箱匹配,会员基本信息,会员购买的方案,会员存在的问题,会员间的亲友关系,会员的售后记录,客户数据清洗形成统一标签提供其他平台调用,基于各类业务平台数据分析平台数据流架构,在线平台读取型HBASE细粒度数据 Data Mart/Model,HADOOP,ODS层/HIVE,DW层/HIVE,清洗,合并,规则,报表应用Pentaho,数据服务HTML5,JDBC,WEB、手机,Cassandra,离线平台 读写型 粗粒度数据,售后平台,实时处理+规则引擎Spark Streaming,业务平台,Kafka,OLTP.,偶发行为,批处理,Sqoop,基于Hado
18、op的大数据仓库,ETL服务器Kettle,手机清洗逻辑,手机正则(b0d2,3)?-_ /*)?(134578(0-99),去除非数字,校验区号,N,Y,匹配字符长度11且匹配手机号后一位非数字,N,格式正确,格式错误,原始字符长度=11,N,Y,核心业务平台,2022/12/18,业务平台数据的抽取,销售数据,CRM数据,方案数据,Sqoop,ODSHIVE贴源层,HQL/MR,特征识别器精准特征识别(EMAIL.)模糊特征识别,DWHIVE模型层,DMHBASE客户身份集市层,DMHBASE客户行为集市层,DMHBASE方案集市层,DMHBASE其他集市层,ML,交易数据.,数据清洗引擎
19、排错去重合并,数据属性不同，特征不同，清洗规则不同逐步建立地址基准库,DMHBASE客户订单集市层,其他平台.,数据源,统一数据采集平台,Kettle,flume,sockt,FTP,文件,数据库,流,统一数据存储池,支持包括文件、流以及DBMS各种类型数据源支持结构化和非结构化数据采集提供多种接口对接各种数据源,打通所有平台、进行数据融合,Sqoop,Kafka,ETL,科大讯飞,用户维度、方案维度、订单维度、行为维度,整合跨平台、建立数据蓝图,传统数据库,MPP,RDBMS,HBASE,HDFS,新零售下大数据架构,大数据对公众的影响,一些领先的互联网公司利用自身的大数据优势，结合社会发展
20、热点和关注话题，面向 社会公众发布了各种大数据应用和指数，不但展现了自身的大数据能力，也宣扬了企 业责任，形成良好的社会影响和产业影响。,Google公司利用用户的搜索关键字，进行流感和登革热的传播预测。,淘宝利用电子商务平台上的搜索和购买行为，进 行产品分析和市场细分。,国外新零售基于大数据已经获得良好的效益,MegaFon（俄罗斯新零售） ： 通过融合不同业务系统的数据，基于用户行为设 计灵活的流量资费套餐改善客户体验，迅速拓展 市场份额拉升收入,T-Mobile: 社交媒体数据、CRM和计费系统中的交易数据进行 融合，深度洞察客户，有效降低离网率,流 量 运 营,客 户 保 有,客 户
21、服 务 与 营 销,Vodafone： 基于交际圈的浸入式客服和营销，迅速在欧洲市 场建立了品牌,第 三 方 数 据 服 务,KDDI（日本新零售）： 基于开放接口方式创新商业模式，拓展收入来源， 成为日本在互联网服务领域增长最快的新零售,新零售消费画像,大数据是新零售适应市场环境变化的钥匙,移动互联网时代，能够把握客户需求开发APP的应用商、设计优良客户体验的终端商和掌握客户 接入管道的新零售，形成了三足鼎立的局面。谁掌握客户需求，谁就能占据主导地位。客户需求 的多样化，使得通信资产被管道化，而信息资产的价值凸显。,客户需求,通讯资产,信息资产,其他资产财务/客户, 以满足人与人之间的通话为
22、目的，客 户主要的期望是话务质量，需求简单 而明确，新零售处于支配地位。,是客户建立沟通联系的手段，直接满 足客户的通讯消费需求，业务单一但 技术、资金门槛较高，所以附加值高， 通讯资产的边际效益明显。, 以支撑和服务通讯主业的生产运营为 目的，主要实现从订购、计费到收费 等环节的信息处理，数据类型较为单 一，对客户需求的理解较为狭窄，局 限在通信领域内。,财务资产：行业大发展，依靠移动通信业 务，积累了大量的财务资产。, 客户需求丰富多样，个性鲜明，以IT技 术实现的各种应用满足了客户的需求， 使新零售趋于管道地位。, 是客户接入互联网的手段，不直接满足 客户的信息消费需求，附加值低，边际
23、效益明显低于语音时代，出现量收不匹 配，通讯资产快速贬值。, 由于丰富的应用，管道内积累了更多的 客户信息，类型更为多样，内涵更为丰 富，使深度洞察客户、掌握客户需求成 为可能，数据价值产生了质的变化，信 息资产快速升值。,财务资产：由于机制限制，无法利用财务 资产进行有效投资来获取高额回报。,语音时代,移动互联网时代, 客户资产：依靠卓越的网络质量和客户服 务，“拨号盘”上形成了绝对优势的客户 规模，客户资产带来丰厚的回报。, 客户资产：优秀应用商和终端商依靠体验 和免费服务，获取了同等或更大规模的客 户资源，新零售客户资产出现快速贬值。,新零售大数据流程,大数据可以在新零售业务运营的各个方
24、面发挥价值,产品服务,个性化资费套餐差异化贴心服务定制化产品,市场营销,基于社交网络、社交媒体、位置等信息的智能营销流量经营、存量经营、集客经营、终端营销,科学决策,数据驱动决策可视化决策战略情报分析,网络优化,全程全网实时监控智能网络规划,客户洞察360度视图情感交往圈,数据外部化运用,服务社会公共事务服务其他企业和行业,大数据汇聚,大数据转化,大数据变现,通过大数据汇聚、大数据转化和大数据变现三个环节的处理，挖掘大数据资产的价值， 对内可以提升精确营销、精益管理和精准建设能力，对外可以提供丰富的信息数据产 品服务，创造价值蓝海。,新零售未来,大数据应用实践,03,大数据上的探索和实践,大数
25、据汇聚,大数据转化,大数据变现, 引入五类网络数据，构 建基础分析模型，奠定 大数据分析基础。,通过大数据解析整合，还原真实客户行为；探索大数据客户细分， 打造客户标签体系。, 围绕精确营销和精准建 站，利用各种运营位渠 道进行了一系列大数据 场景应用实践。,，围绕流量经营课题，在大数据价值挖掘的三个 环节，开展了一系列的探索和实践。,大数据汇聚：突破传统计费数据，引入5类网络数据，贯通OSS域与BSS域,宽连-手机上网行为分析系统 URL/WLAN/BPPP,华为-DPI数据,亚联-云化数据交换平台中创-信令数据,Aster,GPRS上网日志,宽带上网日志,位置信令WLAN上网日志,DPI数
26、据,大数据汇聚：基于大数据汇聚构建基础分析模型社交网络模型,构建可视化社交网络模型通过各种交往记录（语音、短信）进行自关联，利用三角算法， 以用户为中心刻画用户两两之间 认识的关系，构成的三角型越多，交往圈越紧密,构建可视化用户影响力指数利用群聚系数构建用户影响力指 数，向量中心度表示该用户在社 交网络中的重要程度。交往圈越 大，交往对象越重要，该中心度 越高,社交网络应用,有效社交圈,无效社交圈,客户维系挽留：,特定群体识别及营销：,产品和业务营销：,社交网络变更识别及营销：,高影响力客户流失预警、一人多卡 客户识别和维系、离网客户识别和 赢回等等,基于高影响力客户的产品和业务营销，例如终端
27、营销、4G潜在用户识别营销等等,利用社交网络改变识别生命周期阶段事件，例如用户上学、工作、成家等事件进行针对性营销,家庭成员识别营销、集团客户识 别营销、校园客户识别营销等特 定群体用户识别营销,在传统聚类频度分析基础上，通过详单自关联分析，构建社交网络模型，深入分析交往圈特征， 得出群中成员的影响力，为用户维系挽留、离网预警、精确营销提供依据，提升客户价值。,大数据汇聚：基于大数据汇聚构建基础分析模型用户轨迹模型,用户轨迹模型是对用户的轨迹数据（基站驻留）进行分析从而得到用户轨迹知识的模型，轨迹数 据包括时间和空间的位置序列和位置点语义标注，为用户精确服务提供依据。,变量选择,模型输出,用户
28、轨迹应用,用户移动轨迹特征刻画分析用户的驻留基站序列， 刻画用户的移动轨迹特征， 识别用户移动轨迹的频繁模 式,用户复杂路径模式匹配查找特定路径场景模式下的 用户群，获取更多的关于该 场景或该用户群的特征信息,用户移动轨迹的可视化可视化的展示用户群的移动 轨迹的变化，展示用户群的 轨迹变化模式,个体用户的频繁模式挖掘,识别客户的生活习惯和兴趣爱好， 支撑基于位置分析的客户洞察和营 销,基于位置的客户细分,根据用户位置轨迹相似性对客户进行细分,基站网络选址分析,为网络可管理的科学选址奠定位置基础,精确业务推荐,用户位置轨迹与业务订购和使用关联性分析,大数据转化：通过大数据整合分析，实现用户行为还
29、原和客户细分,在大数据引入的基础上，推进行为还原及客户细分等基础工作，奠定大数据运营的 基础。行为还原 通过大数据与传统数据的整合，逼真还原用户的完整行为习惯，实现客户、终端、位置、网络及内容可视； 突破传统小型机+高端存储+关系型数据库技术架构，初步构建 Hadoop分布式平台实现内容数据的处理,客户的生活习惯：通过位置轨迹分析技术，可,以发现客户群体的迁移规律，,甚至个人的出行习惯，并预测比如周末是否出行,大数据转化：完善跨域大数据整合分析，还原用户行为,管 道 数 据, 微博数据：客户的微博 账号、关注对象、粉丝、 发布内容等。,行业应用网关产生的数据，如： 银行业网关数据：采集 客户刷
30、卡消费后，各银 行回馈数据。, 投诉语音：采集客户通 过10086进行投诉时的 语音内容。,渠 道 数 据,行 业 数 据,客户的社交圈子： 通过社交网络技术，可以发 现客户的互联网社交圈，得 到更为丰富的客户圈子信息,客户的性格特征： 通过语音识别、文本挖掘和 情绪分析技术，可以通过投 诉行为，得到客户的性格,客户的消费能力： 通过内容分析技术，可以发 现客户刷卡消费的金额，频 度等，得到客户的消费能力, 位置信令：从网络A口， 采集客户全量的位置更 新和变动数据,大 数 据 基 础 处 理 平 台,数 据 引 入,数 据 解 析,客户无线接入时产生的数据，如：,客户接触时产生的数据，如：,
31、引入覆盖管道、渠道和行业应用三类领域的数据，夯实大数据基础，并通过大数据与传统数据的 跨域整合，还原用户的行为习惯，例如客户的社交圈子、生活习惯、性格特征、消费能力等，为 客户细分和标签体系构建打下坚实基础，支撑大数据运营。,大数据转化：持续丰富大数据客户标签体系,通过引入新的大数据和大数据分析技术，横向拓展刻画客户的维度，提升客户 标签的广度；纵向丰富原有维度的细致程度，提升客户标签的深度。,客 户 标 签,消费能力,ARPU 通话收入 上网收入, 网上购物消费 银行刷卡消费 商铺、娱乐场 所通信行为,社会属性, 家庭用户 校园用户 集团用户, 意见领袖 医疗从业者 银行从业者 ,社交行为,
32、 通信一度交往圈 上网流量 短信条数, 六度空间行为 社交应用交往圈,位置特征, 通话位置 上网位置, 住宅地 办公地 常驻地 购物商圈,上网行为, 购物行为 社交行为 资讯行为 社交行为, 各类产品网上购物行为 产品网上价格 社交对象 社交内容,终端特征PC/PAD使用 行为PC/PAD品牌、型号, 手机终端 机型、品 牌 换机周期,性格情绪, 乐观、抑郁 高兴、痛苦 开朗、内向 平静、激动,新 数 据,新 技 术,交通出行, 开车一族 公交出行 自行车 上下班线路,管道数据,行业数据,渠道数据,社交,位置轨迹,数据可视化,大数据变现：探索大数据运营实践，支撑流量经营发展（1）,围绕大数据开
33、展场景创新，推动流量精确营销、精准建设等业务应用。精确营销 利用大数据实时的特点，围绕位置、内容、异动进行基于用户行为时机捕获的营销场景设计，建立20多个流量精确营销模型，月流量包精确营销成功量 超过100万，占公司新增流量包总量的20%以上 利用大数据全面、多样的特点，打造基于用户上网行为的终端换机潜在用户模型，换机营销成功率超过8%，为传统方式的8倍,嘉兴高倒流,大数据变现：探索大数据运营实践，支撑流量经营发展（2）,23,基于大数据实时、全面、多样的特点，构建基于位置、内容、异动等类型的13大流量精确营销模 型，其中8大模型已经投入实际应用，如基于内容搜索分析的终端潜在用户挖潜模型，营销
34、成功率 达到8%，较传统方式提升8倍。,大数据变现：探索大数据运营实践，支撑流量经营发展（3）,基于网络、计费等跨域大数据的融合分析，推进TD分流和WLAN分流的提升。, 基于大数据分析：基于信令、基站数据，结合传统客户数据，综合运 用GIS可视化分析和雷达图分析方法，围绕TD终端、流量水平和TD网络 三个关键因素，进行全省对标分析，确定嘉兴短板。 提出改进意见：利用针对网络覆盖短板，提出了3个批次共893个建站区域和1295个优化基站建议；针对终端销售短板优化外呼客户群和政 策匹配，外呼成功率提高4pp嘉兴高倒流,TD分流比提升（嘉兴）,杭州江干区,钱江新城, 潜在用户挖掘：通过分析用户特定
35、场所驻留时长、高带宽要求应用使 用、流量使用水平和通信消费能力等四个方面，识别出全省300万WLAN 潜在用户。 热点选址建议：基于潜在或活跃用户的位置分布，结合WLAN热点的建设情况，提供1.9万个热点新建、2千个热点扩容和100个热点拆除等选 址工作建议。,WLAN热点建设（全省）,大数据分析实践,04,浙江移动传统经营分析系统架构,浙江移动传统经分系统主要包括数据仓库层和数据集市层，其中数据仓库层主要负责 基础数据模型的处理和历史数据存储，数据集市层从数据仓库获取基础数据模型，并 在此基础上支撑端到端应用。, 数据仓库层主要包括主仓库、应急库、 历史库和互联网日志集群。 主仓库负责原始数
36、据的采集和处理，并 将处理后的基础数据模型分发给各数据 集市，同时承载一经、KPI、MIS等及时性较高的关键应用；应急库作为主仓 库的业务级容灾系统，用于保障核心业 务连续稳定运行；历史库存储主仓库历 史数据，并用于长周期历史数据趋势分 析；互联网日志集群主要负责互联网日 志数据的预处理。,主仓库、应急库、历史库采用小型机+高端SAN存储+传统DB2数据库构建；报表库、地市数据中心、创新平台、VGOP等数据集市采用小型机+高端SAN存储+传统Oracle数据库构建。,经营分析系统架构优化的业务背景及驱动力,传统小型机+高端存储+传统关系型数据库的系统架构存在性能、成本、扩展性上的瓶颈，无法满
37、足大数据时代在低成本前提下在海量、多样的数据中高效地提取价值的要求。因此，大数据时代 的经分系统架构亟需变革。,与传统数据相比，网络数据在数据量上有质的 变化并且还在快速增长（年均增长率约60%）,传 统 计 费 话 单,新 增 网 络 数 据,与传统数据相比，网络数据有分析模式多样化（如路 径分析、社交网络分析）、存储模式非结构化（如文 本）的特征,为了支撑流量经营，浙江移动在经分系统中引入了DPI、互联网日志和位置信令等多种网络数据 源，这些网络数据具备大数据的典型特征，对现有经分系统架构带来了新的挑战。,传统经营分析系统架构的问题分析, 系统处理能力不足：网络数据具有数据量大、增长快的特
38、征（目前日均125亿条记录，3TB左右数据量，年 均增长率约60%）。现有经分系统采用传统的集中式架构（小型机+高端存储+DB2数据库），对海量数据 的处理能力不足。目前DPI数据（每日70亿条记录）的处理时间共需21个小时，无法满足流量经营业务需求（业务要求次日8点前看到前一天分析结果）； 系统处理模式单一：现有经分系统采用传统关系型数据库DB2，主要通过SQL方式进行数据处理，不具备 MapReduce等分布式处理机制，对于诸如路径分析、社交网络分析存在性能瓶颈，无法满足大数据时代 分析挖掘的业务需求；非结构化数据处理能力不足：传统关系型数据库采用二维表的方式存储预定义结构的数据，但是对文
39、本（如互联网网页）等无法用二维结构描述的数据不能进行有效存储及处理，缺乏非结构化数据的处理能力；实时解析能力不足：当前网络数据采集延时较高，如DPI数据采集延时在1小时以上，互联网日志采集延时 在30分钟，位置信令延时5分钟，无法满足实时营销的要求；网络数据仍以传统批量处理方式进行数据整 合，数据生成通常需要隔天，无法支持对实时营销事件的触发和协同要求。,数据处理能力不足,存储周期不足：目前经分历史库的容量已趋近极限，数据存储周期不足，无法满足长周期深度趋势分析的 业务需求，比如计费详单数据要求存储12+1月，目前只保存3+1月；同时海量的网络历史数据无法纳入历 史库。若采用传统方式扩容历史库
40、，成本过于昂贵（相较于X86+本地盘的云架构，相同TPMC的小型机价 格是X86平台价格的10倍，相同容量的高端存储+SAN网络价格是普通硬盘价格的20倍）。,数据存储 能力不足,接口机存在网络和性能瓶颈：外围数据源与数据仓库，数据仓库与各数据集市之间的交换都依靠接口机，面对百亿级网络数据，1Gb带宽的接口机成为数据传输瓶颈，影响数据传输的及时性；系统之间数据交互混乱、效率低：目前仓库、集市部署了多套ETL工具和多种接口方式，同时存在集市直接从源系统抽取数据的情况，造成数据不一致的隐患，影响了数据的准确性。,数据交换能力不足,大数据发展业务需求分析,客户洞察及市场营销,360度视图交往圈分析基
41、于社交网络、社交媒体、位置等信息的实时、智能营销 流量经营、存量经营、集客经 营、智慧家庭经营、智慧生活 经营客户服务,数据外部化运用,服务社会公共事务服务其他企业和行业,企业管理,投诉及满意度分析客户服务保障支撑客户业务体验分析,智能运维,产品优化创新,个性化资费套餐差异化贴心服务定制化产品业务创新,全程全网监控IT系统运营管理,财务分析成本分析供应链运营分析网络规划建设分析内审专题分析,大数据发展技术需求分析,主流大数据技术,内存数据库应用分析：将数据存储在内存RAM中并进行计算和查询，充分 发挥多核CPU的能力的数据库管理系统。内存计算未来尝试和 流计算配合，用于状态和规则的存储，尝试用
42、于缓存，优化客 户体验。,流计算技术NoSQL技术,Hadoop技术应用分析：Hadoop 在处理非结构数据和半结构数据上具备优势，尤其适合海量 数据批处理等应用需求。随着Hadoop技术的成熟，基于Hadoop的即席查询技术 也逐渐崭露头角。比如仿照Dremel的开源项目Apache Drill以及Cloudera Impala。MPP技术,应用分析： MPP数据库适合结构化数据的深度分析、复杂查询以及多 变的自助分析类应用。无需像Hadoop一样需要定制开发，同时可以 降低拥有成本。,应用分析：Storm是一种开源的分布式实时计算系统，可以简单、高效、可靠地处理 大量的数据流。Spark
43、Streaming是基于Spark衍生的开源流处理工具，以类似批处 理方式来处理这部分小数据。,应用分析： NoSQL抛弃了关系数据库复杂的关系操作、事务处理等功能，仅提供 简单的键值对(Key,Value)数据的存储与查询，换取高扩展性和高性能。例如 HBase和Cassendra等。,对信息技术部大数据平台提出的技术要求,海量数据存储,1.非结构化及海量数据处理3.海量数据的一致性，分布式事务管理能力,2.低成本的PB级数据存储外服务的需求，多种技术并存,实时大数据分析,1.实时数据展现，实时分析2.流计算能力1.多租户能力，在存储、计算、分析层实现资源隔离，提供云服务2.资源虚拟化，统一
44、存储，统一管理,云化能力,数据开放,1.分析结果对外部系统开放数据能力，发掘数据价值2.地理位置数据分析报告开放能力,BOM模型融合,1.数据质量管理和数据资产管理2.BSS，OSS，MSS三域融合数据模型,平 台 技 术 要 求,任何一种单一技术都能以满足,大数据采集、存储、处理和对,才是发展趋势，即采用“混搭”,架构,浙江移动大数据技术架构,数据处理技术：主要利用MPP数据库（NewSQL）进行数据处理，并向Hadoop逐步演进流处理技术：采用分布式实时流计算框架，实现流数据的实时处理,数据汇聚技术： 利用分布式技术（如Hadoop）采集、汇聚基础数据， 并实现对非结构化数据进行预处理,数
45、据展现技术：通过多维数据库进行实时多维度数据展现，如饼图、 直方图、雷达图、气泡图，折线图、GIS地图、轨迹图、热力图、标签云图、辐射图、传统的报表、统计 图和趋势图等,数据分析技术：通过数据挖掘技术进行数据分析，支持关联规则、聚类分析、分类算法等传统数据挖掘 功能，同时具备关系分析、时序分析、自然语言解析（分词）等多样化大数据分析功能,互联网,DPI,半/非结构化数据,ERP,BOSS,CRM,客服,网元设备,终端配置信息,业务平台,结构化数据,经分系统访问门户,指标应 用,报表 应用,主题 分析,专题 分析,临时需 求,云化数据交换平台（Hadoop）,DBAAS（数据库多租户服务）,云
46、化 数 据 交 换 平 台,主数据 仓库,传统结构化 数据处理及 承载基础应 用,海量多结构 化数据的处 理及专题类 应用,大数据分 析平台,云化 历史库,历史数据存 储及长周期 趋势分析类 应用,信令,流 处 理 引 擎,统一营销 管理平台,SAAS服务开放,DAAS,数据开放 服务,信息 总线,营销据渠道展现,数 据 开 放,数,数 据 汇 聚,数 据 处 理,数 据 分,析,数据开放技术：SAAS：以服务形式向客户提供分析结果，例如自助 分析报表DAAS：开发统一的数据访问组件，屏蔽各种数据库 的差异，对外提供统一的数据开放服务,浙江移动大数据应用架构,支撑外部系统,接入层,云化数据交换
47、平台,云化数据交换平台,应用层,基础分析应用,挖掘分析应用,自助分析应用,(准)实时分析应用,BSS域数据源,OSS域数据源,MSS域数据源,外部数据,业务平台数据,101,1,111,1,服务层,数据封装,基础功能,应用组装配置,展现层门户APP,系统预警应用,运营库,稽核平台,帐详单平台,云化历史库,经营数据中心主仓库VGOP库大数据分析平台,运营数据中心,历史数据中心,营销数据中心,开放数据中心,标签库,管理中心统一运维,数据安全,数据质量,数据资产,数据层,内部开放平台,外部开放平台,近线库,运营管理,多租户模式业务支撑,经营分析,管理支撑,实时处理平台,数据开放应用,D M Z,D
48、M 对外服务支撑 Z,营销库,广告,基于云化数据交换平台统一采集接入各域大数据，并进行标准化数据管理和数据处理、交互；基于MPP、Hadoop、oracle exdata等大数据技术，构建运营数据中心、历史数据中心、经营数据中心+营销数据中心+开 放数据中心等三个层次五个中心混搭技术架构的大数据云平台；实现面向支撑4大系统域的多租户模式平台接入能力；构建能力服务层，面向各种对外数据服务需求，对数据进行封装，提供相关服务能力；基于应用中心的分析类、预警类、数据开发类等应用，为支撑系统门户、支撑系统APP和支持外部系统提供服务支撑能力。,标签库采用Oracle Exadata构建,与传统的关系型数
49、据库相比，Exadata在Oracle RAC架构上通过引入分布式存储技术，在原有高可用性和 可维护性的基础上，大幅提升了性能和可扩展性，可以支持OLAP和OLTP混合场景；标签库需要支撑OLTP和OLAP混合负载场景，既包括标签生成过程中的复杂关联汇总，也包括标签的高并发自助查询、以及包含增删改操作的自定义标签场景，因此适合采用Exadata平台构建标签库。,Oracle Exadata的两大重要特性：Flash Cache和Smart Scan,Smart Scan技术是Exadata面向DW负载最重要的特色技 术，是Exadata最重要的一个功能，它的作用就是把SQL放 在每个stora
50、ge server上去运行，每个storage server只返 回符合条件的数据给数据库，这样就极大的降低了数据库服 务器的负载和网络流量，并充分利用了storage server的计 算资源和IO资源；在使用Smart Scan时，每个storage server返回给DB Server的是结果集，而不再是传统的 Block，DB Server完成结果集的处理，并返回给客户端；Smart Scan包含三个主要设计目标：,减少从storage server传送给DB server的数据量减少在DB server的CPU使用减少在storage server的磁盘访问时间,Flash Cach
