《诺西——基于数据挖掘的一体化用户感知管理.ppt》由会员分享，可在线阅读，更多相关《诺西——基于数据挖掘的一体化用户感知管理.ppt（38页珍藏版）》请在三一办公上搜索。
1、基于数据挖掘的一体化用户感知管理,网络，业务，用户,话音4.53,短信4.43,IM（MSN：4.6，QQ：3.5）,彩信3.58,QoE,其他浏览3.96PDF created with pdfFactory trial version,主要内容,u用户感知体系概述,u用户感知管理体系构建,u基于用户感知的优化体系,PDF created with pdfFactory trial version,在市场形势下，对用户感知的关注度不断提升！,在高度的行业市场竞争环境下，面向用户的业务/网络质量管理模式越来越,被各大运营商高度认同。以此来确保用户市场份额，提高业务的收益。,PDF create
2、d with pdfFactory trial version,竞争对手,业务资费,业务质量承诺,用户感知是网络提供的质量与用户期望的组合,内容服务器,IP,无线接入,RNC/BSC,SGSN,时延/丢包？,BackboneGGSN流媒体数据报,拥塞/时延/丢包？时延/丢包？,时延/丢包？,时延/丢包？,用户期待的运营商网络服务质量用户感知,技术性因素,非技术性因素,网络质量,终端性能,业务质量,业务内容,客户服务,PDF created with pdfFactory trial version,主要内容,u用户感知体系概述,u用户感知管理体系构建,u基于用户感知的优化体系,PDF crea
3、ted with pdfFactory trial version,根据3GPP规范建立体现用户感知的指标测量分析体系,浏览业务Service accessibilityPage download attemptPage download setup successPage download setup failure descService integrity/qualityPage download setup durationPage download durationTotal data inTotal data outDownlink average throughputUplink
4、 average throughputService RetainabilityPage download successPage download failure descService details counterDomainPathHTTP attemptHTTP successHTTP failure desc,彩信业务Service accessibilityMMS send attemptMMS receive attemptService integrity/qualityMMS send durationMMS receive durationMessage sizeServ
5、ice RetainabilityMMS send successMMS send failure descMMS receive successMMS receive failure descService details counterDirectionMessage readMessage removedAttachment countBearer stopGPS position stopCell stop,Bearer start/stopCell start/stopGPS position start/stopPDF created with pdfFactory trial v
6、ersion,KPIs数据源,KPI,KPI,KQI,KQI,KQI,KQI,业务服务质量,KPI自动拨测系统,KPI网管统计数据,QoE体系评估模型结构,KPI信令监测系统,KQIs 数据分析和建模,数据汇聚数据采集,结果的呈现,PDF created with pdfFactory trial version,丰富的优化经验,深刻的业务理解,如何建立一个好的用户感知体系？丰富的数据源精确的建模技术,流媒体服务器,IP,无线接入BSC,SGSN,GGS,e N,时延/丢包？,拥塞/时延/丢包？,Backbon流媒体数据报,时延/丢包？,时延/丢包？,时延/丢包？,PDF created wi
7、th pdfFactory trial version,案例：WAP业务模型构建(1),分析业务的整体流程和特征,WAP业务主要有以下几个过程：PDP激活（PDP context setup）WAP网关连接过程（WAP GATEWAY connect）WAP GET/POST过程（WAP GET/POST）PDF created with pdfFactory trial version,案例：WAP业务模型构建(2),PDP激活PDP激活主要是为了建立终端与GGSN之间的IP连接。涉及到通过APN查询SGSN地址，RADIUS认证等。涉及的网元包括：,SGSNDNSGGSNRADIUS SE
8、RVERWAP网关,WAP网关连接WAP网关连接过程是终端向WAP网关发送申请，及WAP网关的响应过程。涉及的网元包括：,SGSNGGSNWAP网关,WAP GET/POST过程在WAP网关连接建立后，终端会向WAP网关发送GET/POST申请，请求获取某个URI的内容或发布内容。WAP网关在收到请求后会检查自己的DB，以确认此连接是否被允许。检查通过后，WAP网关会向DNSSERVER请求URI的IP地址，然后根据IP地址发出HTTP get请求。此过程涉及的网元包括：,SGSNGGSNWAP网关DNS SERVER,分析业务所涉及的网元和接口,接口：Gb,Gn,Gi,Gw等PDF crea
9、ted with pdfFactory trial version,案例：WAP业务模型构建(3),分析跟业务相关的统计（KPI）,KPI1:PDP context activate successful rate KPI2:PDP context activate delay KPI3:WAP connect successful rate KPI4:WAP connect delay KPI5:WAP GET/POST successful rate KPI6:WAP GET/POST response delay KPI7:Server response delay KPI8:WAP G
10、W process time delay KPI9:WAP DL/UL throughput KPI10:WAP DL/UL packets lost ratio PDF created with pdfFactory trial version,ATTACH成功率PDP激活成功率TBF建立成功率,APN设置错误域名错误用户无GPRS功能,SGSN负荷GGSN负荷WAP网关负荷Gb Gn Gi接口负荷,KQI,接入性,有效性,能力,完整性,速度,WAP GW连接成功率Radius成功率DNS查询成功率WAP GET成功率WAP POST成功率TBF Drop rate,ATTACH延迟PDP激
11、活时延WAP GW连接时延WAP GET 时延WAP POST时延WAP GW处理时延,案例：WAP业务模型构建(4)WAP业务质量,构建WAP业务质量评估模型,DL/UL throughputWAP DL/UL丢包率KPIPDF created with pdfFactory trial version,用户感知建模方法 对于KQI/KPI的映射方法有很多种，NSN端到端的QoE解决方案支持多种建模方法，如下:数学运算(+,-,/,%,=)逻辑运算(if,then,else,and,or not)数学统计(平均,汇总,最大,最小)另外，NSN 数据挖掘和建模DAM中心支持还先进的基于数据深度
12、挖掘的建模的方法.,KQIs,Modeling,KPIsPDF created with pdfFactory trial version,方法1：权重比值法模型,根据业务特征，优化经验，预先加权定义各个KPI对业务的影响程度，运算得到最终的业务KQI,Actual Target Weight,KQI,MeasureAvailability,Radio network availability,%GPRS network availability,%WAP GW availability,%MMSC Availability,%MMS Sending Success Rate,%MMS Ret
13、rieval Success Rate,%SMS Notification Success Rate,%TotalSpeedMMS Delivery time,secMMS Submission time,secNotification time,sece2e delivery time,sec,95.0%99.0%96.0%85.0%87.0%96.0%97.0%3535987,98.0%98.0%98.0%98.0%90.0%95.0%98.0%505020120,4%4%4%4%40%40%4%100%40%40%10%10%,4%4%4%3%39%40%4%98%40%40%10%10
14、%,100%100%,TotalPerformance,2.3%6,2.0%5,Packet loss,%Average throughput,kbpsTotal,50%50%100%,43%50%93%,Service KQI,Excellent,Availability,98%,100%,75%,73%,100%93%,100%100%,SpeedPerformanceTotal,20%5%100%,20%5%98%,GoodPoor,PDF created with pdfFactory trial version,方法2:基于数据挖掘的建模方法,PDF created with pdf
15、Factory trial version,案例:基于DAM建模流程（WAP业务）,任务理解确定系统建设任务：背景分析：目标设定；项目计划,数据采集数据采集的准备：数据采集设定；数据采集过程；,数据理解数据处理：清洗处理数据；构造数据；整合数据；格式化数据；,建模和数据挖掘建模过程：评估和选择建模技术；建造模型；评估和验证模型结果；,评估总结建模过程总结：评估项目结果；回顾项目过程；确定下一步方案；,部署模型结果的实现与部署开发与集成平台系统；,PDF created with pdfFactory trial version,step3,数据理解和清理（1）u数据清洗异常数据检测（离群值或异
16、常值）归一化处理u降维变量的合并和替代主要特征变量的提取相关变量的主成份分析PDF created with pdfFactory trial version,上行EDGE数据吞吐率,该值越高，页面下载的越快,HTTP重新获次数,影响页面浏览的顺畅，次数越多越不顺畅,决定页面浏览的成功与否,IP invalid_no,2,HTTP_Error_Rate,TCPhttp_success_Sum,页面下载完整率 页面浏览是否完整,数据呼叫建立时间 页面浏览是否顺畅,页面浏览是否顺畅,TCP建立时间,页面建立时间,TCP uplink throughput_Avg,页面浏览是否顺畅,页面是否能正常浏
17、览,HTTP 失败率,Ps_call_setup_duration 2 0.56,Page_download_duration_Avg,0.69,2,0.71,2,Activity,TCPTCP downlink throughput_Avg,0.71,2,页面浏览建立成功性 决定页面浏览的成功与否,0.88,0 0.98,Total_data_out,0,0.97,Edge_active_throughput_out,0,0.97,0,0.97,0,0.97,Page Setup Ratio,数据量越高，说明用户数据使用量多,数据上载流量,apnload_inload_outsig_star
18、tsig_end,KPIs_ps_call_webpage_idnetwork_traffic_idps_call_durationbearer_startbearer_stop,edge_activity_outedge_load_inedge_load_outpage_download_attempt_Sumpage_download_setup_success_Sum,traffic_duration,attach_success,bytes_in_Sum,tcp_duration_Sum,failure rate,downlink throughput_Avg,http_error_r
19、esponse rate,No response code_Sum,浏览业 果,edge_activity_in,数据理解和清理（2）GFeel测量信息,字段,attach_attempt 重要性,分级值,Page 使,数据业务Setup用时长,对用户的影响,TCP,activity failure rate,0,1.00,建立失败率 失败率,TCPip_service_access_attempt_Sum越高，用户感觉页面浏览越不顺利，经常失败,Payload_in_loss_ratio_Avgattach_failure_cause,tcp_id_Count 0,1.00,包的下载重传率
20、重传率越,TCPip_service_access_success_Sum 高，用户感觉页面浏览不流畅,attach_failure_desc0,1.00,激活率率,激活page_download_success_Sum 越高，说明用户浏览页面越频繁,bytes_out_Sum attach_durationpackets_in_Sum context_activation_attemptpackets_out_Sum context_activation_successHTTP reget ratepayload_in_loss_ratio context_activation_failur
21、e_causePs_call_setup_successpayload_out_loss_ratio context_activation_failure_descestablished_time context_activation_duration,bytes_in_Sum 0,EDGE数据吞吐率,page compfailure_SumHTTP Fail Ratiointerrupt_Sum数据呼叫成功性interrupt ratioinvalid_no_data_Sum建立时延 影响页面浏览的顺畅性，时间长，页面下载越慢下行invalid_have_data_Sum速率高，意味着速度快
22、,bytes_in_Count 0,Ip_service_access_duration_Avgps_call_attempt 0 0.96TCPEdge_active_throughput_inps_call_setup_success 0.96TCPTotal_data_in ps_call_setup_duration 0.96,上载流量,数据invalid_yes 数据量越高，说明用户数据使用量多,TCPPs_call_duration,0,ps_call_setup_failure_desc 0.96,数据业呼叫持续时长,数据ip_service_access_duration_Av
23、g务使用时长,TCPContent_download_duration_Avgtotal_data_inuplink throughput_Avg total_data_outhttp_id_Count total_activity_in,等待每个页面内容下载时间,层的下行速率 页面,112,0.940.940.88,层的上行速率 页面浏,页 page_download_setup_duration_Avg 面下载完加上内容显示的时间TCPpage_download_duration_Avg浏览是否顺畅TCPcontent_download_duration_Avg览是否顺畅,response
24、_duration_Avg total_activity_outcontent_size_Sum gprs_active_throughput_inPage_download_setup_duration_Avgrequest_tries_Sum gprs_active_throughput_outEstablished_time_Avgrequest_tries_Count edge_active_throughput_inHTTP reget rate edge_active_throughput_outHTTP erro code_Sum gprs_activity_in,errocom
25、p Ratio,HTTPPage code_Count gprs_activity_out 2 0.30Payload_out_loss_ratio_Avggprs_load_in 2 0.29,total_data_in1_Sumtotal_data_out1_Sumdownlink_average_throughput_Avguplink_average_throughput_Avg页面下载时间 等待每个页面下载完的实际时间dns_attempt_Sumdns_success_Sumhttp_attempt_Sum包的上传重传率 页面浏览是否完整,HTTPUplink_average_th
26、roughput_Avggprs_load_out,2,0.22,上行速率务用户感知调查结影响浏览速率,HTTPResponse_duration_Avg,2,0.21,HTTP回复时延,页面浏览是否完整,step3,PDF created with pdfFactory trial version,QoE非线性,卡方交叉,分类回归,线性回归,2.40,1.33,5.92,1.50 1.56,1.74 1.69,1.82,1.25,1.35,1.09 1.16,建模及数据挖掘（1）建模技术分析和评估模型预测效率评估对比图,模型预测效率,大尺度模型效率,一级偏差模型效率,step4,选择非线性算
27、法PDF created with pdfFactory trial version,建模及数据挖掘（2）建模,step4,PDF created with pdfFactory trial version,建模及数据挖掘（3）模型评估,step4,用户感知QoE非线性算法使用的模型是对人类大脑处理信息的方式经过数学化的模型。该模型通过模拟大量类似于神经元的抽象形式的互连简单处理单元而运行。在训练数据的基础上，该算法可以构建输入变量KQI/KPI与输出变量QoE之间的关联。误差符合预期PDF created with pdfFactory trial version,WAP业务QoE模型,GF
28、eel sin,xn,n=1,2,3,4,11+e,X1:14.2458542283025+18.8682213728792(PSCallDuration-1804.96514230769)/7097.87250071416)+(-4.28265785302442)(PSCallSetupDuration-2.36021538461538)/2.61952657600336)+(-8.66982670227037)(TotalLoad-162753.398076923)/246565.268576594)+10.6558177328901(EDGEThroughput-,9.722488461
29、53846)/9.35530507788242)+13.7985930437466(Activity-37.49)/29.1336392227771)+9.68364707251914(PayloadLossRatio-,4.76160985116377)/8.97694166718825)+(-18.5600091049174)(EstablishedTime-680.189238819357)/471.451743904279)+1.96611824660316(TcpFailureRate-0.0419208982857627)/0.113695638914273)+0.15388858
30、0727872(TcpThroughput-4.27251850588839)/7.02359992707278)+35.8733187262262(HttpRegetRate-1.05267226008668)/0.247490209286527)+(-1.89020597482778)(HttpErrorRate-0.071564110350854)/0.144184265709062)+(-2.72099264278927)(PageCompRate-0.718103347041924)/0.359789532401056)+11.9281556605889(PageDelay-2.69
31、507690995695)/5.72856173400885)+15.7401286200878(PageContentDownloadDuration-42.5503415197537)/52.5315049090545),X2:(-1.27988742539294)+(-4.81862020207968)(PSCallDuration-1804.96514230769)/7097.87250071416)+1.85707466639005(PSCallSetupDuration-2.36021538461538)/2.61952657600336)+0.335158965750741(To
32、talLoad-162753.398076923)/246565.268576594)+(-1.34931264392445)(EDGEThroughput-9.72248846153846)/9.35530507788242)+(-,83221738968529(EstablishedTime-680.189238819357)/471.451743904279)+1.28271974907134(TcpFailureRate-0.0419208982857627)/0.113695638914273)+(-1.20680898609328)(TcpThroughput-4.27251850
33、588839)/7.02359992707278)+5.8313693904569(HttpRegetRate-1.05267226008668)/0.247490209286527)+3.60402980157312(HttpErrorRate-0.071564110350854)/0.144184265709062)+0.869133024242513(PageCompRate-0.718103347041924)/0.359789532401056)+(-2.05332031930787)(PageDelay-2.69507690995695)/5.72856173400885)+(-6
34、.51720604744446)(PageContentDownloadDuration-42.5503415197537)/52.5315049090545),X3:4.54371135291703+(-0.33327767568499)(PSCallDuration-1804.96514230769)/7097.87250071416)+6.08303463889074(PSCallSetupDuration-2.36021538461538)/2.61952657600336)+8.22473129141561(totalLoad-162753.398076923)/246565.268
35、576594)+(-8.11357654241566)(EDGEThroughput-9.72248846153846)/9.35530507788242),37.49)/29.1336392227771)+(-37.49)/29.1336392227771)1.4846159736843)(PayloadLossRatio-+(-,3.52027320035647)(Activity-+(-1.66547147031781)(Activity-4.76160985116377)/8.97694166718825)+2.0.517445293895934)(PayloadLossRatio-,
36、4.76160985116377)/8.97694166718825)+3.08846193916913(EstablishedTime-680.189238819357)/471.451743904279)+(-8.18529884422046)(TcpFailureRate-0.0419208982857627)/0.113695638914273)+(-1.84985602795)(TcpThroughput-4.27251850588839)/7.02359992707278)+(-30.6573831084933)(HttpRegetRate-1.05267226008668)/0.
37、247490209286527)+(-11.2411387702832)(HttpErrorRate-0.071564110350854)/0.144184265709062)+9.46339992069836(PageCompRate-0.718103347041924)/0.359789532401056)+13.9429031283728(PageDelay-2.69507690995695)/5.72856173400885)+6.08526955339041(PageContentDownloadDuration-42.5503415197537)/52.5315049090545)
38、,X4:3.758508113994+9.83646039953437(PSCallDuration-1804.96514230769)/7097.87250071416)+3.22843121967367(PSCallSetupDuration-2.36021538461538)/2.61952657600336)+(-0.347575152632276)(TotalLoad-162753.398076923)/246565.268576594)+(-2.82816955225424)(EDGEThroughput-9.72248846153846)/9.35530507788242),+0
39、.687670053182423(Activity-37.49)/29.1336392227771)+(-1.66886888667663)(PayloadLossRatio-4.76160985116377)/8.97694166718825),+(-1.98405389441343)(EstablishedTime-680.189238819357)/471.451743904279)+(-2.06083937006776)(TcpFailureRate-0.0419208982857627)/0.113695638914273)+(-4.7341064346388)(TcpThrough
40、put-4.27251850588839)/7.02359992707278)+(-0.946014043289181)(HttpRegetRate-1.05267226008668)/0.247490209286527)+(-4.44840909600672)(HttpErrorRate-0.071564110350854)/0.144184265709062)+5.71011288611157(PageCompRate-0.718103347041924)/0.359789532401056)+12.491806427114(PageDelay-2.69507690995695)/5.72
41、856173400885)+2.12429826950973(PageContentDownloadDuration-42.5503415197537)/52.5315049090545),Fa(x)为维度“接入性能”函数，取值为0或1，H n(xn)=,WAP业务QoE模型QoE_browing g=Fa(x)(3.23 2.61 H 1 2.98 H 2 3.03 H 3+2.92 H 4)19.69+86.08),step4,PDF created with pdfFactory trial version,WAP业务模型特征分析,KPI越优秀越好？,影响用户感知的主要因素排序,PDF
42、created with pdfFactory trial version,Devices,RNC,Internet,Gn,Iu,Gi,SGSN,GGSN,数据仓库,构建基于数据分析与建模的用户感知体系用户感知,市场数据：计费数据；,用户数据；,网络外部数据：测试数据;,投诉记录；,网络内部数据：信令数据；,网管数据；.,整体方案实时数据在线分析海量数据专题挖掘,用户感知管理数据挖掘KPI/KQI指标汇聚网络业务综合数据采集,PDF created with pdfFactory trial version,主要内容,u用户感知体系概述,u用户感知管理体系构建,u基于用户感知的优化体系,PDF
43、 created with pdfFactory trial version,业务优化亟需一种新型优化管理方式,伴随着3G网络的发展，除容量、覆盖以及切换等典型优化内容外，不同的业务需求、业务分布、用户习惯、运营商策略都给当前的网规网优带来新挑战。,网络的始终处于不断的扩张建设阶段，传统工作模式，管理和优化庞大的网络业务质量需要消耗大量的人力物力。,面临的问题：复杂化,需要的工作：海量化,解决的方法：智能化,庞大的业务管理与优化工作转向用户感知，建立智能化、自动化和系统化是网络运营工作发展的重要课题。,PDF created with pdfFactory trial version,侧重底层
44、网络，关注个别问题，解决显性问题,现有的网络优化是以优化人员质和量为核心,网络优化涉及多种技术领域：交换技术、无线技术、频率配置、切换和信令、话务统计分析等。,同时，网络的不断发展，网络用户数量的不断增加，网络设备的多样化，对网络优化工程师的技术也提出了更高的要求。,移动通信网络的优化是一项技术难度大、涉及范围广、人员素质要求较高的工作。,网络优化是指对正式投入运行的网络进行参数采集、数据分析，找出影响网络运行质量的原因，并通过针对性的优化技术手段使网络达到最佳运行状态。,PDF created with pdfFactory trial version,智能化QoE管理；,面向用户切身体验；
45、,业务优化模型的创新与转变智能化，系统化，人性化目前的网络优化主要还依赖于个别技术人员的经验，借助于单一类型的网络数据开展以点为主的基础网络工作。,怎么解决用户感知和网络业务性能高度,相关性的科学分析？,优秀工程师团队；,关注网络的指标；PDF created with pdfFactory trial version,智能型的端到端业务性能优化,利用数据分析挖掘统筹管理，分析，优化用户感知业务优化领域的数据挖掘是一门交叉学科，它把人们对网络数据的应用从低层次的简单查询，提升到从数据中挖掘智能型的网络业务性能管理优化方案，改善用户感知。统筹管理整体网络，实现网络效益的最大化：评估业务整体性能，
46、发现QoE的根本问题，解决QoE的主要矛盾,用户业务使用感知PDF created with pdfFactory trial version,数据分析挖掘方法在业务优化中具备全方位的应用关联分析：分析用户感知问题原因寻找和发现网络中某项关键指标或问题的相关可能因素及其相互影响关系。如用户感知与覆盖，干扰，切换，容量以及时间等因素的关系。,趋势预测：预测业务量及网络容量根据宝贵的历史数据资料，采用统计和建模的方法得到业务量或指标变化的趋势。提前对未来可能发生的潜在问题进行预测与应对。,聚类分析：定位网络问题点将庞大的网络中的各种事件/网元根据相似性进行汇聚分类。例如，对网络中的所有小区根据各类
47、指标进行分类，科学高效的定位坏小区。,数据挖掘的典型方法与应用,偏差检测：发现业务性能异常波动业务的指标有着随机波动的特性，采用偏差检测科学的判断哪些是正常性的随机浮动哪些是异常的业务问题。PDF created with pdfFactory trial version,会,爱知世博会,上海世博规划数据设施数据人流规划,客流及话务预测网络容量保障用户感知汉诺威世,博会世博数据,客流,气温,大阪世博会天数,天气,周,预测客流预测话务,预测,模型,规划,事件PDF created with pdfFactory trial version,基于用户感知优化的流程,参数设置,站址规划PDF cre
48、ated with pdfFactory trial version,多维度综合管理用户感知，全面指导网络运营,1G,2G,3G,LTE,区域维度：不同的地域文化和经济发展不均衡，用户对业务及其质量的预期也存在差异。业务维度：,数据业务的种类发展迅速，不同的业务对网络承载能力的要求有着不同的指标。,用户维度：不同的职业和用户群体对于资费、业务类型和以及业务质量的存在着显著的群体体特征。时间维度：,用户感知是一个动态变化的衡量指标。在不同时期，QoE比较于网络业务指标更加真实反,映了用户的业务感知。PDF created with pdfFactory trial version,网络优化部门,
49、网络规划部门,网络优化部门网络/业务质量监测与评估端到端的业务优化无线/核心网网元优化用户业务体验提升网络指标优化日常优化优化流程管理,用户感知分析管理系统体现用户中心的运营趋势市场营销部门终端用户行为分析业务模型分析新业务推广,网络规划部门用户/业务增长预测分析用户/业务/网络规划网络规划建设部署P2P VIP 保障快速的用户投诉受理反应机制主动的用户体验关怀,用户满意度调查分析用户感知管理用户感知分析用户感知监控网络承载业务系统,客户服务部门PDF created with pdfFactory trial version,主要内容,uNSN 业务质量管理系统,PDF created with pdfFactory trial version,业务性能管理WAP业务质量总览,PDF created with pdfFactory trial version,业务性能管理MMS业务质量总览,PDF created with pdfFactory trial version,PDF created with pdfFactory trial version,
