《“大数据”出现的背景、定义及特征.doc》由会员分享,可在线阅读,更多相关《“大数据”出现的背景、定义及特征.doc(32页珍藏版)》请在三一办公上搜索。
1、“大数据”出现的背景、定义及特征背景大数据(Big Data)一词当前越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过纽约时报、华尔街日报的专栏封面,进入美国白宫官网的新闻。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每
2、一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DV
3、D;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于时代杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、 EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为 0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类
4、生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。定义大数据或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更 积极目的的资讯。“大数据”首先是指数据体量大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集 放在一起,已经形成了PB级的数据量;其次是指数据类别大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破
5、了以前所限定的结构化 数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度快,在数据量非常庞大的情况下,也能够做到数据的实时处理。最后一个特 点是指数据真实性高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。特征大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征即体量大、多样性、价值密度低、速度快。第一,数据体量巨大。从TB级别,跃升到PB级别。第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。第三,价值密度低。以视频为例,连
6、续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。摘自百度百科大数据的六个维度安全维度大数据时代,线上与线下、虚拟与现实、软件与硬件重叠交错、跨界影响,尤其是核心的大数据不可避免地成为各种利益诉求的集散地、国与国之间进行渗透的重要渠道。数据安全既影响商业、金融等经济安全,也可能涉及文化意识形态等精神领域,甚至可能会激发社会动荡、改变战争形态、影响国家安全。明确大数据采集和使用所涉及的包括数据隐
7、私、准确性、可获取性、归档和保存等问题在内的应用规则,厘定信息使用权限和职责,确保数据依照规则规范使用。要重视大数据安全体系建设。大数据涉及政府数据公开,所以大数据的安全防护,需要有全新的模式,不仅要重视对大数据本身的安全保障,还要注重大数据平台的安全建设。管理维度数据安全管理问题,是我国应用大数据面临的最大风险。虽然将海量数据集中存储,方便了数据分析和处理,但由于安全管理不当所造成的大数据丢失和损坏,则将引发毁灭性的灾难。筑牢我国大数据安全管理的“三道防线”,强化数据安全立法工作,防止“大而无序”;尽快实现对关键装备、核心领域与人才的自主自控,防止“大而无力”;高度重视大数据显隐价值保护,防
8、止“大而无安”。总之,要以国家核心安全需要为牵引,多措并举实现大数据安全保障。政府治理维度大数据为政府治理能力的提升带来了发展机遇。首先是为推动政府治理理念和模式的变化带来机遇。在政府治理领域,通过让海量、动态、多样的数据有效集成为有价值的信息资源,推动政府转变管理理念和治理模式,进而加快治理体系和治理能力现代化。其次是为推动政府治理决策精细化和科学化带来机遇。 从政府层面来说,大数据可以将原本分散存储在不同部门、行业、主体的数据作为整体加以利用,实现统一管理,为信息分析、利用、开放提供基础。同时,大数据的信息平台,使数据资料更加全面,政府部门间的数据信息调用将更加方便快捷,可以有效地提高工作
9、效率。大数据处理模式和大数据技术的应用,可以使政府决策更具科学性、权威性;帮助政府在第一时间内获得市场数据,有利于对市场的监管;提升公共管理和服务能力,有利于定制个性化服务。 详细互联网思维维度互联网思维是一个多元概念。一般认为,互联网思维指在(移动)互联网、大数据、云计算等科技不断发展的背景下,对市场、对用户、对产品、对企业价值链乃至对整个商业生态进行重新审视的思考方式,本质是发散的非线性思维。 将大数据和社会治理紧密结合起来,改进网络舆情源头治理。将大数据和网上政务信息公开紧密结合起来,提升政府公信力。将大数据和日常舆情管理紧密结合起来,提高网络舆情整体掌控能力。将大数据和突发事件应对紧密
10、结合起来,提高网络舆情应急处置能力。将大数据和舆论引导紧密结合起来,提高感染力和说服力。 生存维度大数据是数字化生存时代的新型战略资源,正在改变人类的生产和生活方式,对国家和社会发展作用巨大。近年来,大数据引起各国科技界、产业界和政府部门的高度关注。 作为个体则必须在这个特定的环境中对自己的目的、价值和意图进行重建,从而达到强调自己个性和分享他人个性的理解。任何技术都倾向于创造一个新的人类环境。而信息技术、电脑网络乃至最近问世的大数据,已经为人类创造出一个崭新的环境。实践维度把大数据的手段和方法引入管理领域,是实现管理现代化的有效路径,也是大数据时代的必然要求。在广东省,伴随着经济的迅猛发展,
11、地方税收纳税登记户从1994年60多万户增加到2011年的285多万户,地税收入从184亿元增加到4248亿元,而同期,地税系统干部人数仅增加了20%。海量数据的即时获取和精确分析成为摆在管理者面前的一道难题。摘自求是2014年12月16日中国尝试用大数据保护知识产权 12月23日在杭州召开的“阿里巴巴网络交易平台打假工作汇报会”披露,中国的电子商务平台正在尝试联合政府相关部门、品牌商等,利用大数据保护知识产权,并计划在时机成熟时定期公布“线下假货分布及流通地图”。 近年来关于网上售假的争议不断。线下制假线上售假、知假买假,成为中国电子商务市场难以回避的问题。 “但是在电子商务平台上,每一笔交
12、易、每一个售假者都有迹可循,互联网可以成为打击制假售假的有力工具。”阿里巴巴集团首席风险官邵晓锋说。 阿里巴巴方面23日称,阿里在15年的摸索中,逐渐探索出一套基于互联网的大数据打假。通过智能图像识别、数据抓取与交叉分析、智能追踪、大数据建模系统等技术,将假货从10亿量级的在线商品中捞取出来,支持多达60个维度的组合条件筛选,每天消息处理量2亿条以上。 至于如何利用大数据打假,邵晓锋介绍说,线上的商品、商家背后对应的自然人,网购平台可以基于大数据建立各种模型,对商家和交易行为进行实时监控。售假的商家和正常商家在定价、图片使用、商品上架时间等方面都有不同,经过复杂的大数据运算,发现异常交易,再进
13、行人工判定。 而对于开店人的身份验证也在从“实名认证”向“实人认证”迈进。目前正在开发人脸和声纹特征数据库网店注册者打个电话进来验证,后台能鉴别你是不是过去开店卖过假货的某个人。 根据阿里巴巴最新披露的数据,今年前三季度,阿里巴巴平台上发现有问题并下架的侵犯知识产权商品约9000万件,其中600多万件是来自消费者和权利人投诉,其余90%是基于这套大数据体系和进一步的人工排查发现的。 不过对于网购平台来说,打假的难点在于:尽管电子商务平台有大量数据、信息,但平台本身没有执法权。大数据打假体系必须有国家相关部门打通协作。 去年以来,包括阿里巴巴在内的电商平台与公安、质监等部门建立了协作机制,线上线
14、下联动打假。例如,公安部门会把线下打假的情况反馈给阿里巴巴,进行线上核查;阿里把线上的打假信息汇聚起来,作为线索和情况反馈移交公安机关。 今年4月,上海公安在侦办“假冒运动鞋案”时,与阿里巴巴共同努力,通过嫌疑人的账户交易数据、物流发货信息等进行交叉对比分析,掌握了整个假货生产销售体系的数据信息,一举捣毁了这个以福建莆田为生产源头,经销网络涉及多地的生产销售假冒品牌运动鞋的犯罪团伙,涉案总价值达2150余万元。 一周前公布的2014淘宝联动警方打假报告显示,今年淘宝与公安机关展开了紧密的联合行动,截至12月初共破获18个集群案件,端掉200多个制售假窝点,抓获犯罪嫌疑人近400人。 网购平台的
15、大数据甚至勾画出一套中国“售假区域图”,为执法部门提供线索参考。根据淘宝数据分析,近9成网上售假团伙来自十个区域,前三大区域分布在珠三角、长三角、东南等地,且体现出制假售假集中的特点。比如,成以上的假冒饰品手表案件发生在华南地区、6成以上的运动户外假货来自东南地区。 致力于打假的网购平台不止阿里巴巴一家。今年月,微信宣布启动新一轮“雷霆行动”打击假货,专门针对微信公众账号和朋友圈中的假冒商品、假冒海外代购,进行大规模清理。10月底,京东宣布与供应商和卖家代表签署联合承诺书,做出“杜绝假冒伪劣、真实让利回馈消费者、全程优质服务”的承诺。 “说到底,打假的本质是市场信用体系建设的问题。利用大数据开
16、启打假新时代,在保护商业秘密和消费者隐私基础上的信息公开与共享,打假需要引入社会共治的理念。”全国打击侵犯知识产权和制售假冒伪劣商品工作领导小组办公室副主任柴海涛说。摘自新华网2014年12月23日大数据加快产业创新中国经济步入新常态,如何实施创新驱动战略备受关注。有学者指出,大数据将成为33万亿美元新兴产业的基础工具。中国拥有全世界最庞大的消费数据,在可预见的未来十多年内,数据的互联互通和挖掘将推动几乎涵盖所有领域的产品创新、产业创新、商业模式创新。海峡经济研究院副院长邱宝军是在周二于福建平潭出席一论坛时做出上述表述的。他指,大数据已经促进了众多产业的创新。他并举例称,今年德国队在世界杯的胜
17、利被誉为大数据的胜利。德国队在训练中使用可穿戴设备和大数据分析技术,协助教练优化球队的训练方法和战术。此外,美国LinkedIn公司通过大数据分析全球3亿多用户的行为,算出他们下一个想跳槽的职位,供企业挖角人才。经济学人称之将引发全球劳动市场革命。不仅如此,大数据也将带来工业生产的创新模式,工业4.0的基础即是传感器、物联网、数据互联互通等大数据技术。未来,当企业数据被全息收集与建模之时,现在看来非常复杂的产业供应链将不再复杂:产业供应链或可像组装电路板一般把最合适的企业敏捷有效地按需集成与组装在一起,形成最优化的供应链。新加坡驻上海总领事馆领事庄庆维介绍,从2012年至今,新加坡政府已开放了
18、超过8800个政府的数据集。数据覆盖了各个领域,包括经济、地理、环境、教育、卫生、交通等,并以电脑可读取的格式对企业和市民全面开放。这些数据的开放,亦带动了企业和科研的创新。以往政府需要投钱来开发很多市民服务应用。现在企业甚至学生,可以利用这些公开数据来开发更富有创意的应用,并开发新的商业模式。摘自大公报2014年12月17日“大数据时代”莫忘信息安全围绕个人信息的采集、加工、开发和销售正悄然变为一条“数据产业链”,由于信息泄露造成的“精准营销”和金融诈骗活动,给人们的隐私和财产造成了难以估量的损失。我们既不能熟视无睹,也不能因噎废食近日,一则“130万考研用户信息网上叫卖”的消息引发社会关注
19、。据报道,上百万考生的报名信息被人以1.5万元的价格出售,一些考生因此遭遇各种电话和短信“精准营销”。尽管中国研究生招生网工作人员表示,已就此向公安机关报案,但该事件暴露出的信息安全问题不容忽视。在大数据时代,网络对人们经济、社会活动的介入越来越深,信息和数据的收集也变得越来越便捷。这一方面使相关行业能够利用信息和数据实现更大的价值创造,另一方面也给个人信息的保护带来前所未有的挑战。用户的位置信息、行为信息、消费信息、社交信息等等,都变成了可被存储、分析的数据,如果将这些数据汇总起来,可以准确还原和预测个人在日常生活中的真实活动轨迹,如果被滥用势必加剧个人信息风险。近年来,从网上疯传的各种“查
20、开房软件”,到频繁发生的客户信息被倒卖事件,都表明信息安全已成为全社会共同面对的系统性风险。用户信息不仅涉及个人隐私,更是一种重要的“数据资产”,特别是互联网经济的崛起,使“大数据”带来的商业价值日益凸显。也正因为如此,相关行业的数据和信息被作为核心资源广泛争夺。然而,一方面缺少监管,一方面又有利可图,使非法获取个人信息的行为获得了很大的操作空间。近年来,由于经济利益的驱使、行业生态的混乱、法律法规的缺失,以及公民自身对个人信息保护意识的欠缺等原因,围绕个人信息的采集、加工、开发和销售正悄然变为一条“数据产业链”,由于信息泄露造成的“精准营销”和金融诈骗活动,给人们的隐私和财产造成了难以估量的
21、损失。我们也要看到,今天的世界正变得日益数字化,无论是政府对公共政策的制定,还是企业对市场行情的分析,都离不开信息和数据的采集。观察互联网经济的每一次创新,如百度打造的“大数据引擎”,支付宝生成的“十年账单”等,处处都让人们感受到了数据的力量。在大数据时代的信息安全风险面前,我们既不能熟视无睹,也不能因噎废食。如何让个人信息的保存、使用和流动保持在安全可控的范围,在合法、合理利用数据资源增进社会福祉的同时,筑牢个人信息安全的“防火墙”,已经成为政府和企业都无法回避的问题。捍卫大数据时代的个人信息安全,亟待建立健全系统化的防护体系。在法律层面,迫切需要制定保护公民个人信息的专门性法规,明确规定个
22、人信息的保护范围,并对个人信息的采集、使用、处理予以特别规定;在行业层面,要建立互联网、电信、金融等重点领域的行业自律机制,完善客户信息的管理规范,使客户信息的采集更加透明,并切实做好保密义务;在技术层面,要加快建立规范的网络认证标准体系,加快大数据安全保障关键技术的推广,降低信息泄露的潜在风险。唯有如此,才能有效遏制大数据时代个人信息安全的系统性风险,使大数据真正成为促进信息消费的新动力。摘自中国经济网2014年12月23日大数据十大发展趋势1.数据资源化数据的资源化是指大数据在企业、社会和国家层面成为重要的战略资源。大数据将不断成为机构的资产,成为提升机构和公司竞争力的有力武器。2.大数据
23、隐私问题大数据对于隐私将是一个重大挑战,现有的隐私保护法规和技术手段难于适应大数据环境,预计2014年将会颁布关于大数据隐私的标准和条例。3.大数据与云计算等深度融合云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值, 2014年大数据技术与云计算技术必然进入更完美的结合期。4.基于海量数据(知识)的智能2014年将会有更多基于海量数据(知识)的智能成果出现,甚至有可能产生人工大脑。5.大数据分析的革命性方法基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据/小世界里的很多算法和基础理论,这方面很可能会产生理论级别的突破。6.大数据安
24、全大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制提出更高的要求。7. 数据科学兴起2014年数据科学作为一个与大数据相关的新兴学科出现,将有专门针对数据科学的专业形成,有博士、硕士甚至本科生出现。8. 数据共享联盟数据共享联盟将在2014年逐渐壮大成为产业的核心一环。9. 大数据新职业大数据将在2014年催生一批新的就业岗位,如数据分析师、数据科学家等。具有丰富经验的数据分析人才成为稀缺资源,数据驱动型工作机会将呈现出爆炸式的增长。10. 更大的数据2014年,体现大数据特征的体量大、速度快、模态多、价值密度低等几个V的特性将变得更加极致。尤其是大数据的价
25、值密度会越来越低数据不断地增长,如何去除大数据中的噪声等垃圾数据,进而从中挖掘和提取出有价值信息的难度也随之增大。摘自人民网研究院2014年12月19日人民日报:大数据时代,谁玩得转又一次IT革命大数据这一波浪潮,将给社会带来深刻的变化,诸如多维度的思考、更深刻的洞见、更科学的决策。也许大数据这个词,热一段时间就慢慢冷了,但是我们相信,它给我们留下的是一个新的时代。SAS中国研发中心总经理刘政则进一步阐释:“大数据是继互联网之后,又一次IT产业革命。最近20年,先后出现了3个推动经济的引擎,第一个是信息高速公路,第二个是互联网,另一个就是今天的大数据。”毫无疑问,能令任何商业模式瞬间高大上的“
26、大数据”,眼下正成为最炙手可热的概念。联合会秘书长王霞甚至调侃道:“有相当一部分社会上的人士觉得,大数据已经成功取代云计算,成为下一个最忽悠的词。”大数据到底是不是“大忽悠”?它正在给我们带来什么改变?“打个比方,数据犹如沙子。单个来看,也许毫无价值可言;没有技术辨别、提纯的时候,它们就是一盘散沙。但是当数据量足够大的时候,如果有技术能够把它们利用起来,就可以将沙子变成金子。所以最重要的就是要找到淘金的方法,即大数据在各行各业的应用。正如今天一位与会嘉宾所言,如今,无论是面向企业、还是面向个人的市场,都在考虑怎么把沉默的数据变成有价值的源泉。”在发布会现场,联合会发起人之一、起名通创始人张襦心
27、说。“一加一大于二”这一切,首先得益于数据大爆炸。2006年,个人用户才刚刚迈进TB(万亿字节)时代,全球一共新产生了1.8亿TB的数据。而根据知名市场研究机构IDC的统计和预测,2012年数据量已经增长到2.8ZB(十万亿亿字节),到2020年这个数字将超过40ZB,估计是地球所有海滩的沙粒数量的57倍。“信息膨胀的速度和原子弹爆炸的速度是一样的。而这是一个持久的爆炸,远远不是一瞬间。”如果说以前大多数据是孤立的,如今随着互联网的兴起,这些数据呈现出关联形态的变化,产生“一加一大于二”的价值。在此次清华大数据产业联合会的成立仪式上,中国统计信息服务中心大数据研究实验室主任江青透露,去年11月
28、,国家统计局与百度、阿里巴巴等11家与大数据相关联的互联网企业成立了一个国家统计局的大数据平台,应用之一即为分析社情民意,提供决策参考。电子科技大学互联网科学中心主任周涛不久前提到大数据在社科上的应用:“以前做一次实验,比如说探讨宗教问题,我看到最大规模的实验,无非是几百上千人通过问卷的形式表明自己的宗教取向。但是现在我们已经找到有8000多人是有宗教标签的,在微博上也有70多万人,他们分属于不同的教派。通过分析,我们可以了解宗教的不同教派之间是不是有非常紧密的联系,历史上一些彼此不大对头的教派是不是连接比较稀松,他们之间说话、用语到底是用褒义词多还是贬义词多,用有暴力倾向的词多还是比较友善的
29、词多,我们能够宏观地了解哪个教派有最强的反社会倾向等等。”现代智能的魔力谷歌利用用户搜索记录,判断美国流感疫情的现状,比疾控中心还要快一两周。今年微软利用大数据,成功预测了第86届奥斯卡金像奖24个奖项中的21个。在清华大数据产业联合会中,各家企业也都在各自的领域,探索大数据的方向。曾在华尔街最顶尖的对冲基金DEShaw工作多年的李凌博士,正在实施中国的Kensho用大数据和人工智能技术,建立全新的量化投资模式,还可以让计算机回答诸如“央行降息对房地产行业有何影响”之类的复杂问题,向人们展示了现代智能的神奇魔力。在李凌博士看来,除传统的市场行情数据,新型的文本数据(包括互联网新闻和专业的分析师
30、报告)和社交媒体数据也可用于指导投资行为。他领导的团队使用最先进的机器学习算法,不仅能把蕴含在海量数据中的市场信号迅速、准确地抽取出来呈现在投资者面前,还能基于所有信息建立庞大的知识图谱,建立起行业、公司、产品、人、地域、行业指标等之间复杂的关联关系。张襦心则致力于大数据在文化领域的研究和在现实生活中的落地。2012年,她领导的团队基于覆盖我国超过90%人口的姓名数据,研发出了中国第一个“姓名指数”。如今她正在向人工智能起名领域进一步探索。“如果从前有一个人走过来说,给我起一个名字,必须让我一看就喜欢,我们肯定会认为这是天方夜谭,只有神仙才能猜中他的心思。而通过大数据,就可以让智能起名成为可能
31、。”从2012年至今,大数据经过铺垫、酝酿、炒作、质疑,如今已经到了走下神坛,真正深入各行各业,将巨大变革之力发挥出来的时候了。从这个意义而言,中国的大数据时代才刚刚开始。摘自人民日报海外版2014年12月12日人民时评:政府要领跑点开上海市政府数据服务网,房地产开发企业信息、社保卡受理网点、派出所基本情况有六大领域数据都可下载使用。近日,上海在此前9家单位试点的基础上,要求当地所有政府部门都要在年内向公众提供数据产品浏览、查询和下载等服务(相关报道见昨日本报第16版)。大数据时代,政府如何提升服务能力与治理水平?这样的探索无疑有着重要意义。2013年被国外媒体称为“大数据元年”,这一概念迅速
32、成为热词。联合国的一份研究报告显示,全球的数据存量在2010年已有1200艾字节(EB),并将以40%的年增长率继续递增。而仅仅是1艾字节,就相当于13亿中国人人手一本500页的书加起来的信息量。难怪有人说,数据将成为一切组织运行的基本要素,其战略意义甚至将超过土地、人力、技术和资本。政府部门在数据占有方面,无疑具有天然的优势。有专门的统计部门、干部队伍进行相关工作,有人口普查、经济普查一类的信息资料,日常工作中也积累了大量与社会经济生活息息相关的数据。从大数据的角度看来,那些沉睡在档案袋、文件夹中的数据,有着无比巨大的价值,能产生惊人的效用。比如,某导航公司将上海公开的2万多条地理位置信息用
33、于地图编制与更新,服务了上亿用户。北京也结合政务数据和社会力量,开发出“游北京”和“爱健康”两个程序,提供餐饮旅游和卫生保健指南。遗憾的是,很多数据还在沉睡。一些政府部门,或是缺乏看深一层的眼界,没有“大数据思维”,把自己掌握的丰富信息锁在柜中、束之高阁;或是缺乏迈开步子的勇气,摆脱不了“数据小农意识”,动辄以保密和隐私说事;还有少数人把政务数据当做秘而不宣的资源,甚至出现过倒卖个人数据的案例。这些都极大妨碍了政府在大数据时代保障公众知情权、提高自身服务能力的步伐。在新加坡,智能交通综合信息管理平台通过准确预测交通流速和流量,显著提升了高峰时段车辆的通行效率。这个例子说明,政府领跑大数据时代,
34、公开数据还只是第一步。大数据不仅是技术变革,更是一场社会变革,必然伴随公共管理与公共服务领域的变革。很大程度上,大数据就是政府治理现代化的一条技术路径,具有催生管理革命的效果,也必将给政府职能转变和机构改革带来新的气象。比如,购买一套住房需要填报十几张表格,一些表格1/3以上的内容是重复的,完全可以利用政府拥有的基础数据自动生成;比如,“北漂”小伙儿为办护照返乡6次补开5张证明,如果实现了综合数据联网,完全可以由政府部门内部调取,不必让老百姓急断肠、跑断腿。广泛采集数据、综合处理数据,实现政府公共服务的技术创新、管理创新和服务模式创新,这是大数据时代的必然选择。党的十八届三中全会提出推进国家治
35、理体系和治理能力现代化,如何实现?不断开拓治理资源、创新治理手段,无疑是重要内容。大数据时代到来,我们正该把握住这一时代潮流,将大数据运用到经济、社会运行的方方面面,在领跑中彰显以人为本的执政理念、与时俱进的执政风格和改革创新的执政品质。摘自人民日报2014年5月20日解放日报:打通“孤岛”,构建大数据平台作为特大型国际大都市,上海一直强调以创新和转型来解决城市发展中面临的诸多问题。而大数据恰恰能帮助上海实现这样一个复杂的系统工程。基于上海的市场竞争格局、辐射力、市民消费习惯、收入水平、地理空间等,这些数据的总和构成上海发展可资利用的大数据。所以,相比其他城市,大数据平台的整合和建立对于上海的
36、意义更大。从上海的经济发展来看,第三产业超过60%,全年用于研究与试验发展(R&D)经费支出占GDP 比重超过3%,这些指标数据与全球同类城市如新加坡、香港等相比并不落后,为大数据的推广和应用奠定了基础。目前,上海市科委已发布了上海推进大数据研究与发展三年行动计划(20132015年),并宣布上海大数据产业技术创新战略联盟成立。上海将重点选取医疗卫生、食品安全、终身教育、智慧交通、公共安全、科技服务等具有大数据基础的六大行业领域,探索交互共享、一体化的服务模式,建设大数据公共服务平台。这六大行业数据平台为大数据的发展奠定了良好的基础,但要防止产生数据的行业“孤岛”,因为数据的隔离将无法体现大数
37、据的整合性。大数据发展的要求是接入和共享,这就需要打通各个行业平台的底层数据。行业之间的数据共享问题若能得到解决,大数据的效应将能够得到几何级数的扩大,实现跨越式发展。另外,大数据的多样性、快速增长性、海量以及真假混杂等特征,让大数据的应用变得异常复杂,尤其是大数据应用中常常涉及金融方面,所以其公信力也变得极其重要。因各行业对大数据的利用开发的程度不一致,对大数据的理解也不一致,所以需要制定统一的数据规范和共享标准,连通各行业数据平台,在政府和市场双方协调和作用下,形成“具备公信力、整合统一的大数据平台”。我想,当医疗、教育、食品、交通等各类信息能够实现互通互联的时候,大数据的效应将得到爆发,
38、各类企业的创新活力也将被激发,整个产业链的创新能力得到提升,成本被大幅降低。企业创新能力的激发最终将更好服务于上海的转型发展,提升上海的综合竞争实力。摘自解放日报2014年12月23日光明日报:大数据会成治堵良药吗?用事实说话堵车。究竟是北京还是上海更堵车?在过去这很难有确切的答案。最近一份来自地图厂商高德的交通报告回答了这个问题:三季度北京成为最拥堵城市。其次拥堵的前10城市依次为:杭州市、上海市、福州市、大连市、济南市、沈阳市、温州市、广州市、郑州市,这份报告还深入剖析拥堵原因,为相关部门治理拥堵提供决策参考,不过这只是治堵第一步。大数据交通有更多施展空间1、无人驾驶汽车:谷歌无人驾驶汽车
39、虽然尚未上路,不过这给大数据交通提供了一个很好的思路。可以想象未来所有汽车都是无人驾驶汽车时,所有车辆的运行都可以在云端进行调度,物流和车流都是智能化的。这就可以让每条道路都得到最充分的应用,最大程度降低拥堵。2、实时交通调控:如果计算能力上来了,并且已经构建一张强大的实时信息通知网络和交通规则,交通部门就可以根据不断变化的交通数据,实时通知汽车如何选择出行反感、如何避开高峰时段、故障路段等。现在一些高速公路、停车场已经可以做到这一点了,未来所有道路或许都是智能化可以实时调控的,而不只是现在的“事后治理”。3、社会化交通:高德交通报告已经有一些社会化的影子了,因为其数据是每个用户贡献的。社会化
40、交通还有更多可为,比如waze的众包地图思路可以降低采集成本、增强路况实时性,这部分高德在国内也已经开始实施;再比如基于社会化网络的p2p租车、p2p拼车,则可以最大化利用闲置汽车和道路资源,降低拥堵程度。4、大数据规划:高德交通报告能帮助政府部门解决已存在的拥堵问题。大数据的价值在于它可以预测未来的可能性。政府交通部门如果在规划道路时便运用大数据手段,便可以设计出更合理的交通基础设施、交通管理制度。如果再进一步,城市规划等所有与交通有关联的部门,都可以参考大数据结果进行规划,一起为降低交通拥堵努力。不过,所有这些方案的基础都离不开这个核心:地图应用以及基于地图应用的大数据。地图应用是在把整个
41、实体空间世界映射到互联网,尤其是交通状况。如果没有地图,交通大数据只是空中楼阁。摘自光明日报2014年12月18日观点中国:政府不仅要做大数据,更要开放数据政府,甚至包括很多私人企业,都要开放数据。开放数据都是在不侵犯公民隐私的前提下。因为政府要管理这个社会,舆情挖掘这是一个很好的管理手段。同样的数据,要看怎么去用。其实在中国社会,政府要运用大数据,可能会用得更好,因为我们的行政力量是非常强大的。但必须要承认,中国社会的隐私意识,相对于西方发达国家,是相当薄弱的。但是,大数据都要做,不仅是政府自己要做,这是无可厚非的,同时也要把数据拿出开,开放出来,让大众也能利用这个数据。这些数据要经过一些技
42、术处理,并不是把原始数据整个开放。政府开放数据是很难的,是有成本的。政府要对这些数据进行处理,做出处理才能拿来开放,有价值的数据才能开放,不是所有的数据都能拿来开放。没有价值的数据,政府拿来处理之后,成本和价值就不成比例。所以,这是两个维度,要看政府怎么去用。毫无疑问,要开放数据。比如开放天气的数据。我们知道很多例子,比如麦当劳、肯德基,他们发现天气跟某种面包的销量关系很大。我们现在处于一个时代,人们很多隐性的知识、微妙的知识、潜藏的知识,原来是没办法证明的。那大数据时代,数据被记录下来,现在都可以被分析、被证明,所以人类的知识在爆炸。摘自中国网-观点中国2014年7月4日学习时报:大数据时代
43、国家博弈的新领域大数据时代的国际法适用问题:网络战争适用国际人道主义法。1949年关于战俘待遇之日内瓦公约第二条规定:“于平时应予实施之各项规定之外,本公约适用于两个或两个以上缔约国间所发生之一切经过宣战的战争或任何其他武装冲突,即使其中一国不承认有战争状态。”此外,在武装冲突中,除了禁止对非合法战斗人员的杀戮、伤害外,禁止侵犯其合法权利也同样已经成为一种普遍适用的基本原则。网络战争虽然不会造成人员伤亡,但是会对人员的合法权益(包括合法财产和获得信息的权利)造成破坏。通过对日内瓦公约的援引,我们也可以清楚地得出结论:网络空间的武装冲突同样受到人道主义法的管辖和限制,无论其行为是否经过“宣战”或
44、是否称之为“战争”。事实上,美国、英国和澳大利亚已经公开宣称国际人道主义法适用网络战争,为可能出现的网络战争做好法律准备。目前,美国军方正在慎重考虑制定法律,以授权美军可以反击直接的网络攻击。这些网络空间新规则预计可能成为现行交战公约的一部分,将允许美军对网络攻击进行快速有效的防御应对,而不需要必须获得国家安全委员会的同意。这实际是为未来美国在网络空间领域的进攻行为进行合法化。摘自学习时报2014年10月23日浙江:成立大数据应用产业联盟布局智慧城市去年9月在浙江省经信委指导下,以杭州泰一指尚科技有限公司(AdTime)为依托单位的“浙江省大数据应用技术产业联盟”正式成立。浙江省作为全国信息化
45、建设最发达的地区之一,首先信息基础设施条件好,电子商务和信息化建设发达,具有客观存在的“大数据”以及大数据应用的现实需求,并且很多企事业在多年业务发展中已积累了海量的数据以及实际的开发经验。如浙江大学与相关企业合作在城市交通管理、数字医疗等领域都进行基于大数据产品研发;以及联盟依托单位AdTime将大数据技术运用在信息消费领域上具有技术、专利等领先优势,同时是国内首个专业从事大数据营销的企业。联盟的成立最终是要为产业服务。依托浙江省的实际情况,联盟的6大成员单位即杭州华三通信技术、中国电信浙江分公司、浙商证券、浙江大学、杭州银行覆盖了技术、资源、资金等方面的优势,形成了联盟强大的基础性支持力量
46、。在这个基础上,2014年联盟制定了诸多实际工作计划,其中在产业布局方面主要包括组建大数据产业研究院达成数据共享事宜;整合政府机构相关数据,助力“智慧城市”建设;促进浙江省外贸行业的发展等。通过具体工作的实施,逐步形成围绕着大数据应用技术的良性产业链,明确与清晰盈利模式和服务方式,发展培植一系列具有较大规模、能够带动数据产业发展的行业龙头企业,形成产业链各环节明显的上下游协作发展模式。最终让大数据技术转化为促进浙江省发展的巨大推动力,加快浙江省的大数据研究及产业化的布局。摘自环球网科技2014年4月14日温州:“大数据”打造平安之城信息平台覆盖全市温州市本级在全国率先建立综治“网格化”管理信息
47、系统,形成全市协调联动的良好局面。“我们把信息采集作为基础性工作来抓,借助移动智能终端综治E通、*180服务热线等,利用网格微信群等微治理模式,全时段、全覆盖地采集信息,真正做到人口及场所等基础信息、重点人及特殊事等关键信息、群众反映的问题、部门需要的数据等重要信息一网打尽。”温州市综治办工作人员介绍。当前,温州市基层社会管理综合信息平台已覆盖全市11个县(市、区)、130个乡镇(街道)、823个城乡新社区、5482个村、1.2万个网格和市、县、乡三级4895个部门,实现了数据采集流通的“纵向底、横向边、全覆盖”。随时随地上报信息2014年6月16日,温州鹿城区五马街道黎明西路社区的网格员接到
48、群众通过“*180”服务热线(注:网格内任一座机拨“*180”,即可自动连接该网格的网格员手机)拨打的电话,称黎明西路一座老桥年久失修,多处栏杆断裂,存在严重安全隐患。网格员第一时间赶到现场核实,并用“综治E通”手机拍下现场照片,通过基层社会管理综合信息系统上报给鹿城区城市管理和行政执法局进行处置。很快,有关部门就修缮了这座老桥,保障了周边群众的人身安全。目前,温州全市配备“综治E通”手机5300多只,建立各类微信群、微博公共号等2100多个,采集信息1200多万条,占全省信息总量的三分之一。第一时间化解矛盾综治“网格化”管理信息系统运行以来,填补了过去部门站所间条块分割、信息滞后、沟通不畅、联动困难等漏洞,使网格员能够第一时间发现问题,然后在社区、街道这一级就进行及时有效的处理。据了解,2014年以来,温州市通过运用信息系统,共化解矛盾纠纷12.7万件,消除治安隐患8.5万个,服务民生事项74.8万件。信息流转联动处置4年来,温州市不断完善机制,落实责任,实施出台了关于在全