《了解大数据1花木赛兰.ppt》由会员分享，可在线阅读，更多相关《了解大数据1花木赛兰.ppt（18页珍藏版）》请在三一办公上搜索。
1、大数据中的北美,花木赛兰,目录,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智
2、力与发展的领域中。,大数据时代的背景,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,大数据的4V特征,目录,1、密不可分的大数据与云计算,商业模式驱动,应用需求驱动,云计算本身也是大数据的一种业务模式,大数据是落地的云,云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数
3、据核心议题，也是云计算的最终方向。,2、管理大数据“易”理解大数据“难”,如何让大数据更有应用意义是重点；实现大数据资源化、知识化、普适化的核心非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等麻省理工学院数字商业中心的首席科学家安德鲁麦卡菲对北美33家上市公司的高管进行了结构性访谈之后发现：运用大数据做决策的那些行业前三名企业，比其竞争对手在产能上搞5%，利润上高6%。,目录,分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集
4、：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等,存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储,解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）,一些相关技术,行业拓展者，打造大数据行业基石：,IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBM Mashup Cent
5、er的计量，监测，和商业化服务（MMMS）IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案微软：2011年1月与惠普（具体而言是HP数据库综合应用部门）合作目标是开发了一系列能够提升生产力和提高决策速度的设备。EMC：EMC 斩获了纽交所和Nasdaq；大数据解决方案已
6、包括40多个产品。Oracle：Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。,大数据的应用 企业在投入,客户例证：Google 被公认为全球最大的搜索引擎，也是互联网上5大最受欢迎的网站之一，在全球范围内拥有无数的用户。Google允许以多种语言进行搜索，在操作界面中提供多达30余种语言选择。主要的搜索服务有：网页，图片，音乐，视频，地图，新闻，问答谷歌有收费和免费的多功能地图也有手机GPS的导航地图，数据量实在太大 了，谷歌拥有
7、超过100万太的服务器占全球的2%。oogle的数据库是自己开发的大型的数据库一般用oracle 或者DB2数据本身开发及运用到各行业中，现在也涉足社交网，但有服务区别于Facebook，Google将赌注下在了一个方面：更好的隐私管理方式，这也是Facebook的软肋；Google 在搜索的地位是无人能及的。但是，Google 的产品和服务早已不仅仅局限于搜索。Google 的产品包括广告（AdWords）、交流和分享（Drive 和 Hangouts）、开发资源（OpenSocial）、社交网络（Google+）、地图（Google Maps）、流媒体（Google Play）、统计工具（
8、Analytics）、操作系统（Android 和 Chrome OS）、桌面和移动应用（Gmail），以及硬件（Galaxy Nexus）。Google 的搜索业务在持续增长，在其扩张的诸多领域似乎没有太多明显的竞争对手。微软和苹果是最直接的两个竞争对手，另外值得引起 Google 注意的还有亚马逊和 Salesforce。亚马逊作为电商巨头，通过分流 Google 的网购流量减少了 Google 的广告收入；而 Salesforce 结合社交网络分析销售数据，把企业的推广费用导向了社交网络。,大数据的应用 谷歌,Facebook、Google、亚马逊这样的公司正在运用数据的力量来获得商业上
9、更大的成功，并且传统的金融、电信等企业也在充分运用数据来提升自己的商业竞争力亚马逊亚马逊在电子商务的统治地位正在威胁到 Google 的传统利益。正如 Google 等同于搜索，亚马逊就是电子商务的代名词。Google 的广告收入大约 30%到 40%来自电子商务，但是随着亚马逊日益成为一站式购物的网上超商，有多少用户会跳过 Google，直奔亚马逊呢？亚马逊的Prime会员（需缴纳79美元年费）超过1000万，仅美国的月购物人次达到1.03亿，其网站的直接访问量必然是大幅增长的。我妻子原来喜欢先搜索再购物，但是现在她总是直接在亚马逊购物，因为她是 Prime 会员，购物可以免邮费。而且亚马逊
10、众多的第三方卖家提供了多元的购物选择，价格也往往是全网最低的。除了从 Google 分流的访问量，真正能够打败 Google 的是大数据。亚马逊在客户交易数据中获取了个人信息、购物模式和个人偏好。Google 也拥有这样的数据吗？可能有，但是恐怕不及亚马逊的丰富、全面。亚马逊、eBay、Google、苹果和Tesco公司，通过收集消费者需求和行为数据，并运用数据挖掘和商务智能，来改进产品设计，提升用户体验和增加销售。麦肯锡报告研究表明，“大数据”为美国零售业带来60%的毛利润增长率，制造业产品研发效率提升了50%。强大的亚马逊，接触到现在运用大数据最NB的公司,大数据的应用 FACEBOOK
11、亚马逊,大数据的应用 摩根大通集团,摩根大通集团：摩根大通集团（JPMorgan Chase&Co，NYSE：JPM；TYO：8634），业界称西摩或小摩，总部位于美国纽约，总资产2.5万亿美元，总存款1.5万亿美元，占美国存款总额的25%，分行6000多家，是美国最大金融服务机构之一，摩根大通于2000年由大通曼哈顿银行及J.P.摩根公司合并而成，并分别收购芝加哥第一银行和贝尔斯登银行和华盛顿互惠银行。摩根大通是一家跨国金融服务机构及美国最大的银行之一，业务遍及60多个国家，包括投资银行、金融交易处理、投资管理、商业金融服务、个人银行业务等。摩根大通等银行利用关注大数据 分析追踪欺诈犯摩根大
12、通正在利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯，并针对25万员工使用该技术。摩根大通不久前聘用了从事情报技术的硅谷公司Palantir Technologies的硅谷公司，来作为对公司业务有重大影响的“几十个项目”的相关庞大数据库进行分析的一步。曾与CIA合作解密恐怖分子的化名的初创科技企业Quantifind也透露说，摩根大通也向其咨询过如何将Quantifind技术用于该行的信用卡业务。,大数据的应用 Gild,镀金公司的方法在很大程度上还仅仅处于初始的阶段，成效如何还有待检验。目前，关于使用大数据来进行招聘的想法有存在很多建设性的争议，同样存在的还有兴奋，尤其是
13、在那些很难找到优秀人才的产业。镀金公司预期今年的收益大约有200万到300万美元，并且公司已经筹得了1000万美元左右的融资，其中包括LinkedIn的早期投资人、风险资本家马克?卡凡（Mark Kvamme）的一大笔钱。测试或使用镀金公司的技术进行招募的不乏大牌客户，包括Facebook、亚马逊、沃尔玛、谷歌和Twitter。在数据中找淘金镀金公司并不是唯一在信息中淘金的公司。另一家旧金山的初创公司“人才回收站”（TalentBin），也在互联网上搜索有才华的程序员，根据该公司的网站介绍，TalentBin在程序员聚集的网站网络人才，收集“数据废气”，为雇主创建潜在的招聘名单。另外一家竞争对
14、手是“绝妙招聘”（RemarkableHire），这家公司评估个人能力的方式是看他或她在网上的成果被人评分如何。,客户例证：BNSF铁路公司是北美地区最大的货运铁路运输公司之一。该公司正在采用IBM BLU Acceleration，以更快地了解该公司1700台服务器产生的海量数据，这些服务器追踪记录维护、气象、调度，库存、安全、交付等信息。BNSF的业务分布于美国的28个州和加拿大的两个省，每天运营超过1,400辆列车，运营总里程为32500英里。“美国当地以及世界各地的人们每天都在使用BNSF运送的众多产品和材料，所以如何追踪这些货品对于公司而言起着至关重要的作用。”BNSF铁路公司数据库
15、解决方案架构师Kent Collins先生表示，“凭借与IBM开展的合作，我们现在可以轻松分析公司的大数据信息。得益于这项新技术，公司执行任务的速度比以前更快，例如查询速度提高了100倍以上，存储消耗却减少到原来的十分之一。BLU Acceleration的便捷操作让我们尤其欣赏，操作时只需要加载数据和运行查询即可。”IBM创新大数据解决方案：让大数据处理变得简易方便，更适合企业应用,大数据的应用 BNSF铁路公司,数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以
16、他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。,大数据价值链的3大构成：数据本身、技能与思维 其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。,未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。,大数据时代,传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。,大数据的应用 未来，改变一切,后序,在不久的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代，亚马逊可以帮我们推荐想要的书，谷歌可以为关联网站排序，facebook知道我们的喜好，而LinkedIn 可以猜出我们认 识谁。当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。,END,
