大数据技术和标准化ppt课件.ppt

《大数据技术和标准化ppt课件.ppt》由会员分享，可在线阅读，更多相关《大数据技术和标准化ppt课件.ppt（79页珍藏版）》请在三一办公上搜索。

1、大数据技术和标准化,科学、公正、诚信、服务,2,内 容,大数据发展背景 标准化工作现状 下一步工作重点,3,一、大数据催生了信息化3.0（智慧化阶段）,信息化1.0,-1995以单机应用为特征的数字化阶段,-2015以联网应用为特征的网络化阶段,2015- 以数据的深度挖掘与融合应用为特征的智慧化阶段,经历基础性变革后的未来信息技术支撑的信息化,信息化2.0,信息化3.0,？,金税工程,数据规模更大，来源更丰富，类型更复杂，变化更快,4,一、 大数据催生了信息化3.0（智慧化阶段）,以数据的深度挖掘与融合应用为特征的智慧化阶段信息化3.0,5,二、 大数据的战略意义,大数据正在改变人类的思维方

2、式,随机样本,精确求解,因果关系,全体数据,近似求解,关联关系,传统思维,大数据思维,提供新思维、新手段,6,二、 大数据的战略意义,GDP,促进经济转型增长,改善民生： 优化资源配置,健康医疗、就业、社保、教育、公共交通产业转型，创新业态： 颠覆传统产业,提高运行效率和决策能力,催生智能制造、互联网金融等新业态,大数据时代，信息技术不仅是行业发展的“倍增器”、“催化器”，甚至会成为行业的颠覆者,7,二、 大数据的战略意义,提升国家综合能力、保障国家安全,美国棱镜计划：电邮、即时消息、视频、照片、语音、文件传输、视频会议、社交网络等数据的收集与综合分析,自主可控的大数据技术体系是不可或缺的基础

3、！,8,三、 大数据产业生态链（技术）,大数据采集,大数据存储、管理和处理,大数据呈现和应用,大数据分析和挖掘,9,三、 大数据产业生态链（商业）,10,四、 我国大数据产业发展现状,基础设施和分析方法方面：主要依赖国外技术和产品，核心技术方面仍是学习者和追随者应用方面：BAT在网络大数据具有优势：网站、微博、微信、搜索、交易数据等，互联网企业的技术优势难以顺畅地扩散到各行业部门、地方和一些行业开始关注大数据资源建设初级发展阶段，缺少典型性、共识性强的大数据应用；数据资源开放方面：我国数据资源主要来源于互联网，业务、政务数据共享开放程度低 急需标准化，保证有序发展、开放共享,11,内 容,大数

4、据发展背景 标准化工作现状 下一步工作重点,12,一、大数据工作组概况,（一）组织架构,组长： 梅 宏 上海交通大学 副校长（院士） 副组长： 车品觉 阿里巴巴集团副总裁 吴建明 华为IT技术开发部部长 杜小勇 中国人民大学信息学院院长 秘书长： 高 林 工业和信息化部信软司 副司长 联络员： 刘大山 国家标准化管理委员会工业二部 处长 孙文龙 工业和信息化部信软司 处长 侯建仁 工业和信息化部电子信息司 处长,进一步扩大工作组规模 申请报名的成员单位170+家成员单位管理 统一邮箱： 微信公众平台建立联络关系 贵州省贵阳市政府、 中关村大数据产业联盟建立大数据专家团队,一、工作组概况,13,

5、一、工作组概况,（二）组织管理,2014年12月2日，工作组成立大会2015年7月14日，工作组第二次全会，正式成立7个专题组2015年12月17日，工作组第三次全会（2015年年终总结）工作组开展了一系列调研活动，组织线下活动5次，召开专题组会议18次,二、标准体系框架,15,16,基础标准为整个标准体系提供包括总则、术语和参考模型、元数据等基础性标准。技术标准该类标准主要针对大数据相关技术进行规范。包括数据治理和数据质量两类标准。其中，数据治理标准主要针对数据的收集、预处理、分析、可视化、访问、能力成熟度评价模型等方面进行规范。数据质量标准主要针对数据质量提出具体的管理要求和相应的指标要求

6、，确保数据在产生、存储、交换和使用等各个环节中的质量，为大数据应用打下良好的基础，包括质量评价、数据溯源、质量检测等标准。,二、标准体系框架,17,产品和平台标准该类标准主要针对大数据相关技术产品和应用平台进行规范。包括关系型数据库产品、非结构化数据管理产品、智能工具、可视化工具、数据处理平台和测试规范六类标准。其中关系型数据库产品标准针对存储和处理大数据的关系型数据库管理系统，从访问接口、技术要求、测试要求等方面进行规范，为关系型数据库管理系统进行大数据的高端事务处理和海量数据分析提供支持；非结构化数据管理产品标准针对存储和处理大数据的非结构化数据管理系统，从参考架构、数据表示、访问接口、技

7、术要求、测试要求等方面进行规范；智能工具用来帮助用户对大数据进行分析决策，包括ETL、OLAP、数据挖掘等工具，智能工具标准对智能工具的技术及功能进行规范；可视化工具是对大数据处理应用过程中所需用到的可视化展现工具的技术和功能要求进行规范；大数据平台标准是针对大数据存储、处理、分析系统从技术架构、建设方案、平台接口等方面进行规范；测试规范针对大数据的产品和平台给出测试方法和要求。,二、标准体系框架,18,大数据安全标准数据安全作为数据标准的支撑体系，贯穿于数据整个生命周期的各个阶段。抛开传统的网络安全和系统安全，大数据时代下的数据安全标准主要包括通用要求、隐私保护两类标准。应用和服务标准应用和

8、服务类标准主要是针对大数据所能提供的应用和服务从技术、功能、开发、维护和管理等方面进行规范。主要包括开放数据集、数据服务平台和领域应用数据三类标准。其中开放数据集标准主要对向第三方提供的开放数据包中的内容、格式等进行规范；数据服务平台标准是针对大数据服务平台所提出的功能性、维护性和管理性的标准；领域应用数据指的是各领域根据其领域特性产生的专用数据标准，包括工业、电子商务等领域。,二、标准体系框架,二、大数据参考模型,19,二、大数据标准化白皮书V2.0,20,二、研究报告,4、加强研究（英国）开放数据白皮书NIST在大数据领域的相关研究报告：大数据互操作性框架：第一卷：定义、大数据互操作性框架

9、：第二卷：大数据分类、大数据互操作性框架：第四卷：安全与隐私、大数据互操作性框架：第六卷：参考架构、NIST大数据互操作性框架：第七卷：大数据标准路线图。为了更好的开展政府大数据开放共享和数据资产管理方面的标准化工作，工作组正在开展政府大数据分类分级和数据资产管理的相关研究工作，目前已经形成两份研究报告的初稿。,21,（二）标准化工作进展已立项标准,三、标准研制,23,共定义了28个术语，该标准目前处于征求意见阶段。重点介绍：大数据大数据参考体系结构大数据生命周期模型 大数据工程化 读时模式数据科学家,三、标准研制,Volume,24,大数据big data 具有数量巨大、来源多样、生成极快且

10、多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。 注：国际上，大数据的4个特征普遍不加修饰地直接用volume、 variety、 velocity和variability予以表述，并分别赋予了它们在大数据语境下的定义：,数量 Volume,Volume,多样性Variety,多变性variability,Volume,构成大数据的数据集的规模。,速度Velocity,数据可能来自多个数据仓库、数据领域或多种数据类型。,Volume,单位时间的数据流量。,大数据其他特征，即数量、速度和多样性等特征都处于多变状态。,三、信息技术 大数据 术语,25,三、信息技术 大数据 术语

11、,大数据参考体系结构 big data reference architecture 一种用作工具的、便于对大数据内在要求、设计结构和运行进行开放性探讨的高层概念模型。 注：比较普遍认同的大数据参考体系结构一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者等5个逻辑功能构件。,26,大数据生命周期模型 lifecycle model for big data 用于描述大数据的“数据 信息 知识 价值”生命周期和指导大数据相关活动的模型；这些活动主要由收集、准备、分析和行动等阶段覆盖。 注：几个阶段的主要活动如下：a.收集阶段采集原始数据并按原始数据形式存储；b.准备

12、阶段将原始数据转化为干净的、有组织的信息；c.分析阶段利用有组织的信息产生合成的知识；d.行动阶段运用合成的知识为企业生成价值。,三、信息技术 大数据 术语,27,大数据工程化 big data engineering 为适应大数据对于有效存储、操作和分析的需求而运用治理独立资源的先进技术构建可伸缩数据系统的过程。读时模式 schema-on-read 一种数据模式应用；按此应用，在从数据库读取数据时，先经过诸如转换、净化、整合之类准备步骤。数据科学家 data scientist 数据科学专业人员；他们具有足够的业务需求管理机制方面的知识、领域知识、分析技能、以及用于管理数据生命周期中每个阶

13、段的端到端数据过程的软件和系统工程知识。,三、信息技术 大数据 术语,28,该技术参考模型展示了一个通用的、由逻辑功能构件组成的大数据系统，该模型独立于供应商、实现技术和基础设施。,三、信息技术 大数据 技术参考模型,29,大数据价值链的两个维度组织：,三、信息技术 大数据 技术参考模型,30,五个角色+两个重要的逻辑构件：,安全和隐私,管理,代表大数据系统中存在的不同技术角色,能够为大数据系统的其他五个主要构件提供服务和功能,三、信息技术 大数据 技术参考模型,已上报申请立项标准,数据开放程度衡量标准,英国内阁办公室开放数据白皮书,四、工作重点：数据资源开放共享,32,33,四、工作重点：数

14、据资源开放共享,提出重点标准研制,四、工作重点：数据资源开放共享,34,收集各领域元数据相关标准，建立元数据资源库,已收集到的各领域元数据相关标准,相关标准研制,元数据资源库,对外开放，提供服务,四、工作重点：数据资源开放共享,35,甲方：通过DCMM对自身（行业、地方、领域、企业）评估，识别差距，找到措施对乙方评估，找到合适技术提供方数据策略未来整体规划，指导部署数据战略定义数据需求，指导对数据资产的分布控制与整合建立数据标准体系，控制数据质量与安全提升人员数据管理能力，保障数据生命周期,乙方：准确定位甲方的能力和需求，从而提出针对性的大数据解决方案对甲方进行大数据能力评估和认证提供对机构和

15、人员DCMM的认可通过DCMM认证，在项目招投标中证明自身具备数据规划、管理和咨询的能力提供DCMM的咨询和培训服务,实施的意义,数据能力成熟度评估,行业地方企业领域用户第三方,四、工作重点：数据能力成熟度评估,36,结合已经申请的国家标准信息技术 大数据 系统通用规范，从可靠性、易用性、维护性、可移植性、安全可靠等功能方面对大数据系统做出规范，给出测试方法及用例等。目前草案已经完成，准备结合工作组更多的技术厂商开展相关测试验证工作。,四、工作重点：大数据系统测试,37,38,四、重点领域：数据质量标准化,需求,数据生命周期,质量问题,在通过信息化手段进行业务部门横向贯通的过程中，由于数据质量

16、存在的问题严重影响了信息化和数据的可信度，由此对公司业务运行及决策支持等均带来负面影响,在复杂的企业信息环境下，数据在创建、存储、应用、维护、迁移、报废的整个生命周期中的各个环节中，都会产生不同的数据质量问题,人力资源,复杂的信息环境,统计分析,财务管理,合同管理,客户管理,39,四、重点领域：数据质量标准化,数据质量管理企业面临的问题,哪些关键信息缺失?,企业常见的数据质量问题?,哪些数据相互矛盾?,哪些数据是否可以清晰表达?,哪些数据没有按照时间的要求进行上传?,哪些数据是重复进行定义的?,完整性,哪些数据没有按照要求的规则存储？,规范性,一致性,准确性,重复性,及时性,40,四、 重点领

17、域：数据质量标准化,概念数据质量问题及其研究由来已久,特别伴随着计 算机为主的信息技术发展而逐渐成为被广泛关注的研 究热点。虽然如此,但至今业界仍然没有就数据质量 的概念达成共识,而“满足应用需求的程度 (fitness for use)”这一概念较被认可。,41,四、 重点领域：数据质量标准化,技术架构,42,四、 重点领域：数据质量标准化,数据质量指标,43,四、重点领域：数据质量标准化,数据质量管理,数据质量是统计分析的基础,数据质量是管理创新的需求,数据质量是数据中心建设的需求,数据质量是监管的需要,数据是企业的重要资产，良好的数据质量可以提高数据的利用价值，帮助企业更准确的判断未来的

18、发展趋势。,数据质量管理是数据中心标准规范建设的一部分，也是企业基础数据库建设的必要组成.,数据资产管理是信息化发展的新的趋势，是企业中各个业务系统建设的需求，也是企业信息化管理创新的需要。,通过数据质量管理可以保证上报数据的及时性、准确性，满足上下级之间数据监管的需要,数据质量管理,企业信息化的快速发展，累积了大量的数据，如何最大化这些数据的ROI，如何更好的利用这些数据进行决策分析是企业信息化面临的最大的问题。,44,四、 重点领域：数据质量标准化,数据质量标准化情况,数据质量,DAMA DMBOK,数据质量度量，数据质量模型，数据质量指标，能力成熟度模型，物联网数据质量,ISO 1910

19、0 地理信息 质量JTC1/SC7 25012/25041,IBM、Oracle,2014年有两个元数据质量的标准,数据 是企业信息化建设的核心，质量是企业信息化建设的灵魂,45,四、重点领域：数据质量标准化,数据质量标准化需求数据质量评价指标数据质量评价模型数据质量管理体系数据质量管理评估体系,46,四、工作重点：工业大数据,产品加工数据、零部件配置关系、变更记录数据、测试数据、生产设备、质量控制等数据,产品设计、建模数据、产品结构数据等,个性化定制数据、市场营销等数据,业务管理、组织结构、电子商务、市场数据,产品故障检测数据、标识数据,47,四、工业大数据标准重点,工业大数据术语和参考架构

20、 目前制造领域对工业大数据的理解和认识水平参差不齐，没有达成共识的术语和参考结构。元数据和标识 如不加以规范和解决，产品采购、研发、生产、管理、销售、应用、运维等各环节中数据将不能贯通。工业大数据质量 与工业企业的业务水平、业务绩效存在十分密切联系。需要为智能制造行业中的数据质量评定提供一套可供参考的、切实有效的技术依据。工业大数据资产管理 工业大数据资产是企业间竞争的核心因素。需要为数据资产管理业务所涉及的各个主体和活动提供规范，从而能有效提高不同产业和企业对数据资产概念的理解以及对数据资产管理的认识。,四、工业大数据中元数据和OID标识体系,四、OID标识体系是什么？,OID（Object

21、 Identifier，对象标识符）无歧义地标识对象的全局唯一值ISO/IEC 9834-1| Rec. ITU-T X.660编码方案：XX.XX.XX.XX.树状结构，注册机构向下分配OID，无穷结点对象由从树根到结点的路径（OID）进行标识例子：农业部：OID(1.2.156.326) 扩展性强分层管理,四、OID标识体系的价值,支撑物联网产业大规模应用标识体系之间不兼容、甚至相互矛盾的问题全球范围内对象标识相互理解和处理的需求帮助用户买到高质量的产品全球范围内查询、追溯产品信息选择高质量、有保障的产品 促进信息互通、交换和共享 异构标识管理系统互连，数据互通和交换 政府、地区、行业协会

22、、企业现有的标识管理系统 打通产品、人、组织、机器等各类相关信息 产品：原材料采购、生产、流通、销售、追溯、回收、管理等各环节的信息互通,四、OID标识体系的价值,提高企业数据管理能力，加快转型升级对企业管理对象进行标识产品、资产、部门、人员、文件、上下游客户、原材料实时监控运行状况：信息生产、仓储、销售信息提高企业运行效率，提高管理决策水平 提高政府行业管理能力 充分利用各部门数据、社会化数据 提高行业实时动态监管、数据分析、政策决策能力 打击造假、保证市场公平环境 有效管理和利用我国信息资源 保障信息安全、维护国家主权,四、OID顶级编码方案,典型行业应用,国家标准行业标准地方标准,RFI

23、D传感器网络二维码,商业运营公司,组织内部对象管理,四、OID解析示意图,通用解析,应用解析,四、我国OID应用情况,OID注册中心主要职责 -负责管理“ISO分支”和“ISO-ITU联合分支” 下的中国OID分支-负责国内OID注册、管理、维护以及在国际备案工作,四、OID注册情况（1）,四、OID注册情况（2）,四、OID注册解析系统建设,OID注册解析管理系统 注册解析服务注册服务系统对接托管服务快速建立下级系统多种互连方式国际OID树国内物联网公共平台系统对接万信方达：激光码天辰：RFID矽感：二维码享控：仪器仪表,四、OID标准情况（1）,四、标准情况（2）,四、OID在应用案例,6

24、4,五、ISO/IEC JTC1 WG9大数据工作组,工作内容：制定大数据的基础标准找出大数据标准化的差距 联络跟踪JTC1内部和外部组织正在开展的标准化工作在基础标准的基础上研制其他大数据标准,65,五、 ISO/IEC JTC1 WG9大数据工作组,工作项：信息技术 大数据 概述和术语（ISO/IEC 20546）信息技术 大数据参考架构 第1部分：框架和应用指南（ISO/IEC TR 20547-1）信息技术 大数据参考架构 第2部分：用例和需求（ISO/IEC TR 20547-2）信息技术 大数据参考架构 第3部分：参考架构（ISO/IEC TR 20547-3）信息技术 大数据参考

25、架构 第4部分：安全和隐私（ISO/IEC 20547-4）信息技术 大数据参考架构 第5部分：标准路线图（ISO/IEC TR 20547-5）近期活动：2015年4月7-9日在德国举办第一次工作组会议2015年7月7-9日在西班牙举办第二次工作组会议,66,五、ISO/IEC JTC1 WG9大数据工作组,JTC1/WG9工作组会议信息：,67,五、ISO/IEC JTC1 SC32数据管理与交换,工作范围：研制开发和维护有利于规范和管理的元数据、元模型和本体的标准，此类标准有助于理解和共享数据、信息和过程，支持互操作性，电子商务以及基于模型和基于服务的开发，包括：建议用于规定和管理元数据

26、、元模型和本体的框架；规定和管理元数据、元模型和本体；规定和管理过程、服务和行为数据；开发管理元数据、元模型和本体的机制，包括注册和存储；开发交换元数据、元模型和本体的机制，包括基于互联网、局域网等的语义。大数据相关工作：在2012年成立下一代分析技术与大数据研究组，并于2014年6月，启动四项为大数据提供标准化支持的新工作项目: SQL对多维数组的支持、SQL对JSON的支持、数据集注册元模型和数据源注册元模型。,68,五、 ITU-T SG13第13研究组,具体包括：Q2、Q17、Q18，由Q17牵头开展ITU-T大数据标准化的制定工作并负责向TSAG汇报Q2涉及的研究课题： Y. IoT

27、-BigData-reqts“针对大数据的物联网具体需求和能力要求”Q17涉及的研究课题： Y. BigData-reqts“基于云计算的大数据需求和能力”Q18涉及的研究课题： Y. BDaaS-arch“大数据即业务的功能架构”,69,五、 NIST NBD-PWG大数据公共工作组,2013年6月正式成立工作范围： 建立来自于产业界、学术界和政府的公共环境，共同形成达成共识的定义、术语、安全参考体系结构和技术路线图，提出数据分析技术应满足的互操作、可移植性、可用性和扩展性需求和安全有效地支持大数据应用的技术基础设施，用于为大数据相关方选择最佳的方案。NIST计划作三个release，以对应

28、NBD-PWG工作的三个阶段：a) 识别high-level架构关键componentb) 定义参考架构components间的总体接口c) 通过用这些总体接口构建大数据总体应用来确认参考架构,70,五、 NIST NBD-PWG大数据公共工作组,5个子组及其7个输出：NIST Big Data Definitions & Taxonomies Subgroup1. M0392: Draft SP 1500-1 - Volume 1: Definitions 2. M0393: Draft SP 1500-2 - Volume 2: Taxonomies NIST Big Data Use C

29、ase & Requirements Subgroup3. M0394: Draft SP 1500-3 - Volume 3: Use Case & RequirementsNIST Big Data Security & Privacy Subgroup4. M0395: Draft SP 1500-4 - Volume 4: Security and Privacy NIST Big Data Reference Architecture Subgroup5. M0396: Draft SP 1500-5 - Volume 5: Architectures White Paper Sur

30、vey 6. M0397: Draft SP 1500-6 - Volume 6: Reference Architecture NIST Big Data Technology Roadmap Subgroup7. M0398: Draft SP 1500-7 - Volume 7: Standards Roadmap,推动ISO/IEC JTC1/WG9大数据工作组成立2015年4月7-9日，参加WG9第一次会议会议讨论新工作项目信息技术 大数据 概述和术语、信息技术 大数据 参考架构的相关内容推荐华为代表为信息技术 大数据 概述和术语的联合编辑2015年12月1-4日，参加WG9第三次会

31、议任命了WG9与各组织间的联络代表针对WG9活动宣传、ISO/IEC 20547-3信息技术 大数据参考架构 第3部分：参考架构、ISO/IEC 20547-4信息技术 大数据参考架构 第4部分：安全与隐私保护结构设立了3个特设组推荐中电长城网际代表为WG9与JTC1 SC27的联络人及ISO/IEC 20547-4特设组的主席2016年3月8-11日，参加WG9第四次会议中国提交6项贡献物，中电长城网际代表担任ISO/IEC 20547-4编辑，华为代表担任参考架构接口特设组的联合主席,五、参与国际标准化工作,71,六、政府支撑工作,73,内 容,大数据发展背景 标准化工作现状 下一步工作重点,74,组织建设,组建了较为稳定的工作组工作平台，凝聚相关“产学研用”的力量建立了与大数据产业相关企业的沟通和合作渠道,一、下一步工作重点,75,重点领域的标准化推进,政府数据开放共享OID标识元数据数据质量数据分类安全与隐私大数据平台评价体系,二、下一步工作重点,76,标准化支撑和对外合作,部委行业地方其他组织,三、下一步工作重点,77,加强国际标准化工作,关注国际相关标准和技术的最新动向深入参与国际标准化工作,四、下一步工作重点,78,业务规划,共性技术研发支持,标准研制试验验证,评估、测试,咨询,培训与体验,五、下一步工作重点,谢谢！,