《1倪光南大数据及其应用.ppt》由会员分享，可在线阅读，更多相关《1倪光南大数据及其应用.ppt（30页珍藏版）》请在三一办公上搜索。
1、2013中国云计算产业年会暨云计算最佳应用实践巡展（镇江站）大数据及其应用,倪光南编写 2013年4月12日,1,从商业智能（BI）到大数据,大数据从数据挖掘、商业智能（BI）发展而来，经典实例如下：“啤酒与尿布”：20世纪90年代沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中。这样，他们在尿布货柜附近放置了啤酒，结果销量大幅上升。美国第二大超市Target为了抓住含金量很高的一个顾客群体孕妇，通过数据挖掘建立了一个模型，选出了25种典型商品的消费数据构建了“怀孕预测指数”，由此，它能在很
2、小的误差范围内预测到顾客的怀孕情况，从而能早早地把孕妇优惠广告夹杂在其他一大堆与怀孕不相关的商品广告中发出去，有效地招揽了孕妇顾客群。这种优惠广告间接地令一个蒙在鼓里的父亲意外发现他高中生的女儿怀孕了，一时轰动全美。,2,怎样发展到大数据？,随着互联网、移动互联网的发展，1.数据产生和发送的速度和频率急剧增长；2.数据源的数目和种类上升。全球范围内可用的数字数据从2005年的150EB增长到2010年的1200EB。预计在以后一些年里将年增长40%，即相当于人口增长速度的40倍。这意味着数字数据从2007到2020将增长44倍，或每20个月翻一番。这些新的数字数据源包括搜索、新闻、博客、微博等
3、社交网、移动电话和短信、热线电话、监控数据、遥测数据，产生的新数据的特点是：一般以数字方式产生；往往是我们日常生活或与数字服务交互的副产品；一般是自动收集、有在数据产生时同时提取和存储它的系统；在地理上或短时期里可以跟踪，如手机位置数据或通话持续时间；可连续地进行实时或近乎实时的分析。这些新的情况再加上云计算的发展，为大数据提供了合适的环境和处理能力，推动数据挖掘、商业智能发展到大数据。,3,商业智能和大数据的比较,4,大数据的一些特性,大数据的“实时”性并不意味着真正的实时，而往往是近似的“实时”：在一个相对短、相对新的时间里产生并可资利用；在一个与场景有关的短时期里，即能容许作出响应，并判
4、定效果的一个时间段里（即容许产生一个反馈过程）产生并可资利用。新的数字数据源的特点：从人们使用数字服务被动收集到的交易数据 联机数据，网页搜索、新闻媒体和社会媒体的交互数据 物理传感器数据 居民报告或群体源的主动数据,5,科学研究的第四范式,图灵奖获得者吉姆格雷（Jim Gray）基于e-Science的思路提出：大数据是科学研究的第四范式（the fourth paradigm）。e-Science是英国科学技术局研究理事会前任会长约翰泰勒(John Taylor)提出的，它实际上是一种基础设施，它提供了一种信息化的科学研究的环境和平台，使得不同学科领域的研究和科研活动能够有针对地开发特定的
5、科学研究与应用。实际上，像现在的核反应模拟、航空航天设计、生命科学研究无一不依赖于高性能计算机及相应的数值计算方法，属于计算密集型科研。第四范式的思想是和e-Science一脉相承的，第四范式是从计算密集型科研发展到以大数据为基础的数据密集型科研方法，从目前看来它将在越来越多领域的研究中发挥重大的甚至是决定性的作用。,6,科学研究方法（范式）的发展,7,资料来源：潘柱廷，攻击大数据,科学研究范式（paradigm）的发展过程，最早是实验型科研（Experimental Science），这已有几千年的历史了，后来发展到理论型科研（Theoretical Science），这也有数百年的历史了，
6、近几十年发展到计算型科研（Computational Science），现在则推进到第四范式以大数据为基础的数据密集型科研（Data-intensive Science）。,各种科学研究范式的关系,这几种范式在实际科研中往往同时使用，相辅相成。第一种范式即实验型科研是最基本的方法，因为任何科学都需要用实验来检验；理论在未经实验证实前，只能作为假设，所以第二种范式即理论型科研是以实验为基础并依赖于实验验证的；第三种范式即计算型科研往往需要利用第二种范式取得的成果，即需要在理论的指导下，利用计算能力发挥理论的作用；同样，第四种范式可以认为是第三种范式的延伸，它们都依赖于计算能力，只是第三种范式是在
7、已知规律的情况下，运用计算能力发挥规律的作用，而第四种范式则是在未知规律的情况下，运用计算能力从大数据中发现规律并发挥规律的作用。第四种范式是否将成为基本的科研方法还有待于实践的进一步检验，但其重要性已毋庸置疑。,8,http:/www3.weforum.org/docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf,大数据生态系统,个人：数据形式：群体源信息、被吸取数据动力：价格/优惠、改进服务要求：隐私权标准、选择权,私人部门：数据形式：交易数据、消费和用户信息动力：改进客户知识和预测趋势能力要求：商业模式、保敏感信息,公共部门：数据形式：统计
8、、保健、税收、经费信息、设施数据动力：改进服务保障、提升经费效率要求：隐私权标准、选择权,数据挖掘和分析,对突发事件更快的跟踪和响应对危机性质和变化的更好了解对需要服务地区的准确定位对供求关系的预测能力,共享数据,9,大数据的一个典型处理流程,10,资料来源：Challenges and Opportunities with Big Data,典型的大数据处理流程包括：数据的获取和记录、数据的清洁/抽取/标注、数据的整合/聚类/表达、数据的分析/建模和数据解释等5个阶段。在处理的过程中，异构性、规模、即时性、复杂性和隐私权等问题是大数据想要创造价值所需解决的困难。,大数据和云计算,如果说大数据
9、是一座蕴含巨大价值的矿藏，云计算则可以被看作是采矿作业的得力工具；而且，云计算也是为了解决大数据等“大”问题而发展而来的技术趋势，没有大数据的需求，云计算的功用也将得不到完全发挥。因此，大数据与云计算是相辅相成的。对于大数据而言，云计算的意义不仅在于通过相关技术解决各种具体问题，还在于通过云计算构建一种通用、高效和可靠的大数据支撑平台，掌握以数据流为中心的系统集成思想，在大数据应用层面探索更广阔的内容。为了更好地利用大数据的价值，我们需要用一种新的思路来考虑支撑整个数据处理过程的体系架构，即把分层的思路从单一系统的架构中延展到整个平台范围，将整个数据处理平台按照分层的思路统一规划设计，依据系统
10、不同组件的物理和逻辑特性在系统范围内分层。,11,12,大数据支撑平台的分层思路,来源：姚宏宇，大数据与云计算,数据可视化,13,数据可视化是关于数据之视觉表现形式的研究；其中，这种数据的视觉表现形式被定义为一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息，并且早在大数据出现之前就已经被广泛地应用了；但在大数据领域，可视化技术具有了更大的作用。,美国全国枪击死亡情况,来源：可视化数据告诉你美国枪击案到底多严重,http:/internet-,俄国,意大利,德国,荷兰,法国,巴西,印度,日本,西班牙,伊朗,美国,中国
11、,可视化技术应用实例,14,关联性分析、发现异常,很多时候，从新的数字数据源提供的数据中发现的关联性会正确地反映传统的官方统计，从而能提供更便宜、更快的、近似的预测。发现相关性只是手段，重要目的是利用相关性以及其他手段来发现人类社会活动的异常，帮助制订正确的反应策略。许多新数据源的价值不仅在于它的规模和速度，还在于它所包含信息的丰富性。在许多情况下，大数据不仅是官方统计数据的代替或作为它的近似，而且能对它进行补充，增加深度和细节。定性的社会媒体信息越多，越有助于描绘出一个关于事件的全貌，便于做出快速响应。这里，大数据的规模、速度和数据本性的组合具有很大的价值。,15,“Google登革热趋势”
12、利用搜索数据近乎实时地估计登革热在全球的传播情况（蓝色该系统估计数据，橙色巴西官方数据）,Source:http:/www.google.org/denguetrends/about/how.html,16,美国流感传染率的官方数据与基于推特的数据比较,Source:You Are What You Tweet:Analyzing Twitter for Public Health.M.J.Paul and M.Dredze,2011.http:/www.cs.jhu.edu/%7Empaul/files/2011.icwsm.twitter_health.pdf,17,在印尼的推特上，讨论米
13、价的信息和实际米价的关系,推特上关于米价的贴子（每月）,实际米价,18,观察社会媒体揭示了领先或滞后于失业高峰的某些标志,失业高峰,滞后标志,增加典押和出租,减少保健开支,取消度假,领先标志,降低汽车档次,减少杂品开销,多乘公共交通,19,大数据时代的美国总统选举,奥巴马竞选活动经理Jim Messina：“我们要用数据去衡量这场竞选活动中的每一件事情。”芝加哥竞选总部还任命Rayid Ghani为“首席科学家”，此人是埃森哲技术实验室的分析性研究带头人，新的大数据库能让竞选团队筹集到比他们曾预料到的更多的资金。华盛顿那些基于直觉与经验决策的竞选人士的优势在急剧下降，取而代之的是数量分析专家与
14、电脑程序员的工作，一位官员说：“在政治领域，大数据的时代已经到来。”,20,21,国家信息中心：中国政府网站发展数据报告2012,用大数据指导政府网站建设,国家信息中心：中国政府网站发展数据报告2012,用大数据指导政府网站建设（续）,大数据对决策者的意义,早期预警：早期检测居民使用数字设备和服务中的异常可以在时间上快速响应危机；实时感知：大数据可以描绘一幅关于现实情况的很细粒度的且当前的表述，它有助于制定行动计划和政策；实时反馈：大数据具有实时监测居民的能力，使其可用来了解哪里政策和行动计划失效并作出必要的调整。应当指出：实时的大数据信息不能代替政府决策时传统应用的定量的统计证据，但如正确理
15、解的话，它可以表明哪里需要做进一步的调查（在时间不太紧要的情况下），或者哪里需要作出立即的响应（在发生自然灾难情况下），而这是其他手段无法做到的。,24,对大数据的挑战,应用大数据面临若干挑战；一方面关系到数据本身，包括它的获取、共享和消除对隐私的顾虑。另一方面是它的分析。隐私是最敏感的问题，涉及观念上、法律上以及技术上的问题。按照ITU的定义：隐私权是个人控制或影响关于他们自身的信息是否披露的权利。我们必须警惕新技术的兴起可能会对它造成损害并应设置必要的防护。对新的数据源进行分析方面的挑战：如何得到合适的描述即对数据进行摘要；如何通过演绎，解释数据或使数据有意义；如何定义和检测异常。数据分析
16、不当可能造成误导，表面的相关不一定表明真正的因果关系。,25,学术信誉,数据复制,跨领域互操作,法律支持,隐私权！,来源：http:/gking.harvard.edu/files/datarich.pdf,大数据的未来面临保护隐私权等挑战,26,相关不一定意味着有因果关系：（蓝色：增重，红色：出租公寓）,27,把握大数据的机遇,当今世界进入大数据时代是一客观趋势，数据成为宝贵的资产，能否充分利用大数据关系到一个系统的智慧，一个企业的前途，一个机构的效率，一项决策的成败。市场研究公司IDC预测的2013年九大科技发展趋势，其中第七个趋势就是“大数据将发展壮大”。IDC认为，“就如2012年移动
17、设备和云计算成为了每家公司的必需品那样，大数据将在2013年被每一个人所使用。”IDC表示，大数据市场的年增长率将达到40%，2012年该市场的规模约为50亿美元，到2013年规模为100亿美元，到2017年规模将达到530亿美元。另一家著名的咨询公司麦肯锡的全球研究所也认为，大数据是下一个创新、竞争和生产力提高的前沿。,28,参考文献,1UN.Global Pulse:Big Data for Development:Challenges&Opportunities，May 2012.2Executive Office of the President:Big Data Across the
18、 Federal Government,March 29,20123A community white paper developed by leading researchers across the United States：Challenges and Opportunities with Big Data，2012.4国家信息中心网络政府研究中心课题组：中国政府网站发展数据报告2012，20125涂子沛：大数据：正在到来的数据革命，广西师范大学出版社，2012-07-016邬贺铨：大数据的机遇与挑战，2011-11-147赛迪顾问股份有限公司：大数据产业生态战略研究（2012年），2012.8百度文库专业资料IT/计算机：啤酒与尿布，2013.9吴迪：商业巨头是怎么玩转大数据的？，商业价值，2012-10-2110boxi：大数据时代，2012/02/14，http/,29,谢 谢!,
