《大数据的基本概念与应用前景课件.ppt》由会员分享，可在线阅读，更多相关《大数据的基本概念与应用前景课件.ppt（39页珍藏版）》请在三一办公上搜索。
1、大数据的基本概念与应用前景,大数据的基本概念与应用前景,内 容,一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战,内 容一、大数据的重要性,不同国家的大数据战略,不同国家的大数据战略国家/地区时间内容美国2012年3月启动,Source:Nigel Holmes 2012/Smolan&Erwitt:The Human Face of Big Data,Source:Nigel Holmes 2012/Sm,内 容,一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战,内 容一、大数
2、据的重要性,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。,f
3、acebook社交网络淘宝、ebuy电子商务微博、Apps,大数据时代的演变,大数据,大数据时代的演变大数据,大数据的4V特性,大数据的4V特性,YB:2的80次方，ZB的1000倍,ZB:2的70次方，EB的1000倍,EB:2的60次方，PB的1000倍,PB:2的50次方，TB的1000倍,TB:2的40次方，GB的1000倍,KB:2的10次方，1024=1KB,MB:2的20次方，KB的1000倍,GB:2的30次方，MB的1000倍,一个英文字母=1字节（byte）,http:/,DB:2的110次方，NB的1000倍,NB:2的100次方，BB的1000倍,BB:2的90次方，Y
4、B的1000倍,YB:2的80次方，ZB的1000倍ZB:2的70次方，EB,全球数据量（ZB）,1980以来，每40个月翻一番数据量增速，是GDP增速的4倍数据处理能力，是GDP增速的9倍 2000年人类信息75%是模拟数据，2007年是6%，现在1%？,全球数据量（ZB）1980以来，每40个月翻一番,Value 价值,挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低，是大数据的一个典型特征.,Value 价值挖掘大数据的价值类似沙里淘金,从海量数据中挖,内 容,一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与
5、挑战,内 容一、大数据的重要性,大数据技术将被设计用于在成本可承受的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value）,大数据技术将被设计用于在成本可承受的条件下，通过,数据、信息、知识与智能,Data,Information,Knowledge,Wisdom,39,39C,39=Fever,Take Tylenol,数据、信息、知识与智能DataInformationKnow,大数据的相关技术,A/B Testing关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学
6、习优化空间分析社会网络分析自然语言分析MapReduceR语言,数据采集数据储存与管理统计分析、预测与挖掘计算结果展示大数据,白云下面数据跑,蓝蓝的天上白云飘,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。,大数据与云计算（1）,白云下面数据跑蓝蓝的天上白云飘 如果数据是财富，,云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析
7、，为政府、医院等机构、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。,大数据与云计算（2）,云计算的模式是业务模式，本质是数据处理技术。大数据与云计算（,Hadoop与Map Reduce的概念,Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行处理。Map Reduce则是一种可以用来并行处理大数据的编程模型。同一程序在Hadoop的框架下可以用各种不同的语言（Java,Ruby,Python等）按MapReduce的编程模型进行编写和运行。,Hadoop与Map Reduce的概念 Hado,R语言,R语言擅长在Hadoop分布式文件
8、系统中存储的非结构化数据上进行分析。R现在还可以运行在HBase这种非关系型的数据库以及面向列的分布式数据存储之上。,R语言R语言是一种自由软件编程语言与操作环境，主要用于统计分,大数据的基本概念与应用前景课件,聚类图,聚类图聚类图（Clustergram）是指用图形方式展示聚类,空间信息流,空间信息流空间信息流（Spatial information,热图,热图热图（Heatmap）是一项数据展示技术，将变量值用不同,大数据的基本概念与应用前景课件,内 容,一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战,内 容一、大数据的重要性,大
9、数据应用,公共卫生：分析疾病模式和追踪疾病暴发及传播方式途径，提高公共卫生监测和反应速度。临床操作：相对更有效的医学研究，发展出临床相关性更强和成本效益更高的方法用来诊断和治疗病人。科学研究与发展：在药品和医疗器械方面，建立更低磨损度，更精简，更快速，更有针对性的研发产品线。提高临床试验设计和患者的招募，使得治疗方法可以更好地匹配个体患者的病症，从而降低临床试验失败的可能和加快新的治疗方法推向市场。,大数据应用公共卫生：,智慧医疗与大数据,面临挑战数据源结构化、半结构化（病历），非结构化（PACS影,Science杂志于2014年底和2015年初分别刊登了“公共卫生遇上了大数据”和“将大数据纳
10、入公共卫生系统”，指出：“强大的流行病学基础、稳健的知识整合、循证医学原则以及拓展的转化医学研究议程”可以推动大数据在公共卫生方面的应用。,Science杂志于2014年底和2015年初分别,大数据的基本概念与应用前景课件,大数据的基本概念与应用前景课件,大数据的基本概念与应用前景课件,大数据的基本概念与应用前景课件,五、大数据的机遇与挑战,五、大数据的机遇与挑战,五、大数据的机遇与挑战五、大数据的机遇与挑战,内 容,一、大数据的重要性二、大数据的基本特点三、大数据的相关技术与概念四、大数据的医学应用五、大数据的机遇与挑战,内 容一、大数据的重要性,我国卫生信息化发展计划35212工程,我国卫
11、生信息化发展计划35212工程,机遇,大数据赋予我们洞察未来的能力,人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代,机遇大数据赋予我们洞察未来的能力 人类从依靠自身判,挑战1：大数据时代赋予统计人员重大责任,数据的管理分析并不仅仅是提取，检索，汇总，总结。统计专业人员的参与也是必不可少的。数据本身的复杂性，使得分析的过程中充满了种种陷阱，误区。数据异质性（heterogeneity）。因素越多，建立普遍有效的统计模型的难度就越大。偏倚叠加(Biasaccumulation)虚假相关（spuriouscorrelation）无意义显著性(meaningl
12、esssignificance)羊群效应（herdingeffect）没有一定统计方面的理论知识结构，就会出现分析上的偏差，或者数据利用低效率。,挑战1：大数据时代赋予统计人员重大责任 数据的管理分析,挑战2：大数据时代的个人能力要求,计算机科学/数据开发的专业技能：扎实的计算机科学基础及运用能力，明了大数据的基础框架设施分析和建模能力：在了解数据的基础上迅速分析并建立有效的统计模型。这不仅需要扎实的统计学，还需要有敏锐的思考和洞察力。好奇心和创意的思考能力：这需要对数据有着一种渴望激情，善于全面敏锐的思考并挖掘问题。一些机构寻找人才就是看谁能在讨论数据时能够灵光一现。突出的交流能力：能清晰用非专业语言帮助客户理解分析结果，并做出决定。,挑战2：大数据时代的个人能力要求计算机科学/数据开发的专业技,挑战3：安全与隐私,最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！,挑战3：安全与隐私 最重要的是每个人的信息都被互联网所,
