《数据采集解决方案ppt课件.pptx》由会员分享，可在线阅读，更多相关《数据采集解决方案ppt课件.pptx（16页珍藏版）》请在三一办公上搜索。
1、,目录,1,2,3,4,航空业务背景,分析思路,数据质量提升解决方案,数据采集解决方案,随着产业互联网时代的到来，各行业开始认真思考大数据带来的商业价值。所有的企业都希望能提高信息系统的数据分析能力、获取隐含在数据中的额外商业价值。大数据已经在为企业提高运营质量、指导高层决策中发挥着重要贡献。 目前航空公司的信息系统不断发展，使运行数据大量堆集，由于设计和管理不规范导致数据质量问题越来越突出。根据“garbage in，garbage out”的原理，错误的数据最终会误导决策，降低企业运营质量。因此数据质量的高低成为信息系统建设成败的关键因素，直接关系到信息系统的有效应用。 亚信基于电信行业多
2、年数据分析经验，指导航空公司在数据质量提升、数据采集等方向布局，提出基于数据稽核+清洗的常态化质量提升方案，以及通过亚马逊云计算和分布式爬虫的数据采集方案，以此为智慧航运奠定基础。,大数据形势,业务背景,从常旅客数据入手，通过构建端到端的数据质量管理平台，构建了一套端到端的数据质量核查、预警、清洗和知识沉淀体系。,获取竞争对手的运价等航线信息，对运营决策、营销活动等有比较重要的参照。,数据质量是信息变现的基石,据IDC公司一份质量报告所述，全球范围内的98.7%的BI系统受数据质量所困不能充分发挥其价值，在这其中80%全球以上的系统正因数据质量问题二遭受投资者的质疑，如何对系统数据进行有效的质
3、量管理，已成为IT界的一项世界性难题,信息是企业重要的战略资源，使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘，谬以千里。,数据质量问题分类,数据冗余度大,过期数据,目标数据缺失,录入错误,信息仓库,目录,1,2,3,4,业务背景,分析思路,数据质量提升解决方案,数据采集解决方案,数据质量的问题原因分解,重复,人员业务流程培训,应用系统缺陷修复,新数据规范信息模型,存量数据数据稽核清洗,解决思路,数据质量的提升是一项系统工程，任何一方面的缺失都会导致数据质量的降低，因此，数据质量提升应该综合考虑数据处理、业务应用和使用人员三大方面的因素,目录,3,2,1,4,数据质量提升解
4、决方案,分析思路,业务背景,数据采集解决方案,稽核作业,稽核作业,稽核作业,稽核作业,数据清洗解决方案,CRM,EDW,行业信息库,客服系统,电子商务,more,数据稽核,数据清洗,统计报告,人工审核,数据装载,离线FTP,稽查审核,清洗审核,ETL抽取,待清洗目标,数据来源,其它数据源,规则配置,流程配置,清洗作业,清洗作业,清洗作业,清洗作业,数据源管理,数据源管理,知识总结,实时消息,机器学习,目录,1,2,3,4,业务背景,分析思路,数据质量提升解决方案,数据采集解决方案,数据采集解决方案,走势预测,机票报表,价格监控,业务层,应用展现,舆情分析,消息总线,More,REST+WEBS
5、ERVICE,MR+Hive+Storm,OTA,航空公司,国外网站,分布式爬虫,分布式爬虫,分布式爬虫,大数据中心,内部数据库,RDBMS,采集调度,处理层,采集站点,采集层,大数据之上，丰富的应用场景,AWS部署方案,动态Web服务EC2、Auto Scaling,RPC服务EC2、Auto Scaling,MySQL数据库RDS,负载均衡服务ELB,DNS服务Route 53,爬虫服务,弹性存储S3,弹性存储S3,Region 3（亚太）,Region 2（欧洲）,Region 1(北美),AWS内网传输,Hadoop集群EMR,AWS上设多个Regions， 欧洲、北美作为采集节点，亚太Region作为采集和运算节点，并提供动态Web服务访问。,Thank you,
