《第10章大数据技术基础大数据基础ppt课件.pptx》由会员分享，可在线阅读，更多相关《第10章大数据技术基础大数据基础ppt课件.pptx（46页珍藏版）》请在三一办公上搜索。
1、第10章 大数据安全解决方案,目录,2,大数据安全的挑战与对策,基础设施安全数据管理安全,安全分析,隐私保护,10.1.1 数据加密技术,3,1.对称密码对称密码的特征是加密密钥和解密密钥相同。对称密码不仅可用于数据加密，也可用于消息的认证美国国家标局颁布的DES/AES算法。2 密钥管理如何将密钥安全、可靠地分配给通信对方，包括密钥产生、分配、存储和销毁等多方面的问题统称为密钥管理。,10.1.1 数据加密技术,4,3.非对称密码非对称密码（公钥密码体制）的特征是加密密钥与解密密钥不同，而且很难从一个推出另一个。非对称密码使用两个独立的密钥，一个可以公开，称为公钥，另一个不能公开，称为私钥。
2、两个密钥形成一个密钥对，一个密钥用于加密，另一个密钥用于解密。非对称密码算法基于数学问题求解的困难性，而不再是基于代替和换位方法；在非对称密码体制中，公钥是可以公开的，私钥是需要保密的。加解密算法都是公开的。用公钥加密后，只能用与之对应的私钥才能解密。传统的密码技术在大数据领域有一定的局限性，在本书的10.5.2中会介绍一种新的加密技术：内容关联密钥技术，它在大数据的隐私保护方面有独特的优势。,10.1.2 大数据安全与隐私,5,大数据安全与隐私涉及众多领域，包括数据安全，系统安全和网络安全，数据安全涉及数据加密和隐私保护，系统安全涉及操作系统安全和数据库安全，网络安全涉及身份认证、访问控制和
3、审计技术。大数据安全的核心技术主要包括加密技术，访问控制和认证机制。基础设施安全数据管理安全数据隐私安全验证和监控安全验证和监控,10.1.3 大数据安全保障体系,10.1.4 华为大数据安全解决方案,7,目录,8,大数据安全的挑战与对策,基础设施安全数据管理安全,安全分析,隐私保护,10.2.1 认证技术,认证是阻止非法实施信息攻击的一种技术，其作用为：（1）消息完整性认证，验证信息在传输或存储过程中是否被篡改；（2）身份认证，验证消息的收发者是否持有正确的身份认证符，如口令、密钥；（3）消息序号和操作时间（时间性）等认证，防止消息重放或会话劫持等攻击。认证体制分为三个层次:安全管理协议、认
4、证体制和密码体制。认证体制必须考虑下列因素：（1）接收者能够验证消息的真实性、完整性以及合法性。（2）消息的发送者不能抵赖发出的消息，消息的接收者不能否认接收的消息。（3）只有合法的发送者可以发送消息，其他人不能伪造消息发送。,10.2.1 认证技术,认证系统模型,认证体制相关技术包括数字签名，消息认证和身份认证,10.2.2 访问控制,认证、访间控制和审计共同保障计算机系统的安全。认证是用户进入系统的第一关，访问控制是在用户以合法合法身份进入系统后，通过监控器控制用户对数据信息的访问动作。,安全管理模型,10.2.2 访问控制,访问控制原理,10.2.2 访问控制,访问控制技术 访问控制技术
5、是指为了实现访问控制所采取的管理措施。访问控制受操作系统指挥，按照访问控制规则决定主体是否可以访问客体，在系统工作的所有过程都有体现。访问访问控制模型：基于访问控制表的访问控制。基于能力关系表的访问控制。基于权限关系表的访问控制。,10.2.3 公钥基础设施（PKI）,PKI是一个依据公钥密码原理来提供公共安全服务支持的基础平台，用户可利用PKI平台提供的安全服务进行安全通信认证。PKI按照密钥管理规则，为所有交互应用提供加密和数字签名等服务所需的密钥和证书管理。公钥基础设施主要包括认证机构、证书库、密钥备份和PKI应用接口系统等，下面是PKI的几个特色。1认证机构2身份强识别3 透明性和一致
6、性,10.2.4 华为大数据平台,华为大数据平台FusionInsight 包括FusionInsight HD和FusionInsight Stream两个组件：FusionInsight HD包含了开源社区的主要软件及其生态圈中的主流组件，并进行了优化；FusionInsight Stream是FusionInsight大数据分析平台中的实时数据处理引擎，是以事件驱动模式处理实时数据的大数据技术，解决高速事件流的实时计算问题，提供实时分析、实时决策能力。FusionInsight增强了网络隔离，数据保密性等功能，进一步提高安全性,10.2.4 华为大数据平台,1.身份鉴别和认证Fusion
7、Insight支持用户使用浏览器、组件客户端的方式登录集群。浏览器登录方式，FusionInsight提供了基于CAS的单点登录，用户在任意Web界页面登录后，访问其他各组件Web页面，无需再次输入用户口令进行认证,10.2.4 华为大数据平台,2.用户和权限管理FusionInsight提供基于角色的权限控制，用户的角色决定了用户的权限。通过指定用户特定的角色给他赋予相应的权限。每种角色具有的权限，根据需要访问的组件资源进行配置。,10.2.4 华为大数据平台,3.审计安全FusionInsight支持记录审计日志，审计日志可用于安全事件中定位问题原因及划分事故责任，FusionInsigh
8、t审计日志中记录了用户操作信息，可以快速定位系统是否遭受恶意的操作和攻击。,表10.1审计日志内容和范围,10.2.4 华为大数据平台,4多租户安全FusionInsight提供企业级的安全平台，提供系统的安全解决方案：认证（Authentication）：FusionInsight平台集成Kerberos+Ldap的认证方式，保证企业级的帐户安全。授权（Authorization）：基于用户和角色的认证统一体系，遵从帐户/角色RBAC（Role-Based Access Control）模型，实现通过租户角色进行权限管理，对用户进行批量授权管理。审计（Auditing）：对登录FusionI
9、nsight Manager的用户的所有操作进行审计，及时发现违规操作和安全风险。,表10.1审计日志内容和范围,目录,20,大数据安全的挑战与对策,基础设施安全数据管理安全,安全分析,隐私保护,10.3.1 数据溯源,数据溯源技术对大数据平台中的明细数据、汇总数据使用后中各项数据的产生来源、处理、传播和消亡进行历史追踪。大数据平台数据溯源的原则：1.大数据平台须确保对个人数据操作的可追溯。2.要求跟踪并监控对大数据平台资源和持权限人数据的所有访问，记录机 制和用户活动跟踪功能对防止、检测和最大程度降低数据威胁很重要。,10.3.1 数据溯源,数据超过存留期时要及时销毁数据，超过存留期个人数据
10、的处理方法：1.必须提供删除/匿名化机制或指导来处理超过存留期的用户数据。2.提供程序机制，根据个人数据存留期设置删除周期，存留期一到便由 程序自动删除。3.在产品客户资料中描述删除或是匿名个人数据的方法，指导客户使用。4.对于备份系统中超过存留期的个人数据，应在客户资料中告知客户进 行定期删除。5.对于设备供应者，应根据客户需求，或按照业界惯例，提供机制或指 导来删除或匿名超过存留期的用户数据。6.对于法律有特殊要求的用户隐私数据可遵照当地法律所要求的规范进 行保存和处理。,10.3.2 数字水印,数字水印技术指将特定的标识信息嵌入到宿主数据中（文本文件、图片、视频等），而且不影响宿主数据的
11、可用性。数字水印分为可见水印和不可见水印两种数字水印的设计原则：1.嵌入的水印信息应当难以篡改，难以伪造。2.嵌入的水印信息不能影响宿主数据(保护对象)的可用性，或者导致可用性 大大降低。3.数字水印要求具有不可移除性，即被嵌入的水印信息不容易甚至不可能被 黑客移除。4.数字水印要求具有一定的鲁棒性，当对嵌入后的数据进行特定操作后，所 嵌入的水印信息不能因为特定操作而磨灭。,10.3.3 策略管理,策略管理为隐私处理模块和隐私还原管理模块提供处理策略配置和版本管理，处理过程中所用到密钥的版本管理和存储管理都由其统一管理，保存到特定的安全位置，一般只由去隐私处理模块和还原处理模块调用。大数据平台
12、中的安全策略管理主要涵盖三个部分，(1)对安全密钥、口令保护进行统一定义与设置；(2)对安全规则进行集中管理、集中修订和集中更新，从而实现统一的安 全策略实施；(3)安全管理员可以在中央控制端进行全系统的监控。,10.3.3 策略管理,大数据平台中安全策略管理的特性具体要求如下：1.大数据平台应具备对安全规则进行集中管理的功能，并且支持对安全规则的 远程配置和修订；2.对密钥和口令相关的帐户支持集中化管理，包括帐户的创建、删除、修改、角色划分、权限授予等工作；3.对违反安全规则的行为提供告警消息，能够对整个大数据平台中出现的任何 涉及安全的事件信息及时通报给指定管理员，并保存相关记录，供日后查
13、询；4.提供单次登录服务，允许用户只需要一个用户名和口令就可以访问系统中所 有被许可的访问资源；5.提供必要的手段能够对外网访问策略进行管理，加强外网接口服务器的访问 策略管理工作。,10.3.4 完整性保护,大数据平台的数据完整性要求在数据传输和存储过程中，确保数据不被未授权的用户篡改或在篡改后能够被迅速发现。大数据平台的完整性保护，主要包含数据库关系完整性保护和数据完整性保护。数据库关系完整性是为保证数据库中数据的正确性和相容性，对关系模型提出的某种约束条件或规则，以期达到防止数据库中存在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息。关系完整性通常包括域完整性，实体
14、完整性、引用完整性和用户定义完整性，其中域完整性、实体完整性和引用完整性，是关系模型必须满足的完整性约束条件。,10.3.4 完整性保护,大数据平台要尽可能的利用数据库系统所提供的完整性保护机制来保护数据库中数据的完整性。然而，数据库完整性保护只能防止不满足规则约束的数据篡改，无法防范在满足规则约束以内的数据篡改。针对数据库字段中满足规则约束内的数据完整性保护，大数据平台需要满足如下安全特性：（1）要求采用业界标准的哈希认证码算法MAC计算保护对象的哈希认证码。例如HMAC-SHA256标准算法。（2）相同的字段值每次生成的认证码应该不尽相同。（3）攻击者不能通过采用表中的一条记录覆盖另一条记
15、录的方式来实施数据篡改。,10.3.5 数据脱敏,数据脱敏用于保护大数据平台中的敏感数据，主要涉及加解密算法的安全、加密密钥的安全、存储安全、传输安全以及数据脱敏后密文数据的搜索安全等。,目录,29,大数据安全的挑战与对策,基础设施安全数据管理安全,安全分析,隐私保护,10.4.1 大数据安全分析架构,10.4.1 大数据安全分析架构,数据采集 数据预处理 分布式存储 分布式索引 事件关联分析 流量基线异常检测 WEB异常检测 邮件异常检测 C&C异常检测 隐蔽通道异常检测 威胁判定,10.4.2 大数据防DDoS攻击,DDoS攻击DDoS 全称分布式拒绝服务。攻击者以瘫痪网络服务为直接目的，
16、以耗尽网络设施（服务器，防火墙，IPS，路由器接口）性能为手段，利用网络中分布的傀儡主机向目标设施发送恶意攻击流量。（1）攻击目的从直接动机上来看，攻击者使用 DDoS 攻击的主要目标有三种：a.耗尽服务器性能（包括内存，CPU，缓存等资源），导致服务中断b.阻塞网络带宽，导致大量丢包，影响正常业务c.攻击防火墙，IPS设备等网络设施，占用其会话和处理性能，使正常转发受阻2）攻击手段传输层攻击；应用层攻击；攻击辅助行为,10.4.2 大数据防DDoS攻击,利用视频XSS漏洞发动大规模DDoS攻击,10.4.2 大数据防DDoS攻击,利用大数据平台实现DDoS攻击检测,10.4.2 大数据防DD
17、oS攻击,智能的DDoS攻击检测系统,10.4.2 大数据防DDoS攻击,机器学习输入的Feature数据，是用IPFIX/NetStream信息会进行聚合后生成，并可以根据多Feature生成新的Feature，每个分析对象的总Feature数可以达到数万。聚合维度如下：源网段聚合统计源地区聚合统计目的地区聚合统计目的网站（云、数据中心）聚合统计源网站（云、数据中心）聚合统计网站（云、数据中心）同源网段聚合统计网站（云、数据中心）同源地区聚合统计自治域至自治域聚合统计地域间聚合统计云、数据中心到网站聚合统计网站所属IP同源网段聚合统计,10.4.3 攻击可视化与安全业务定制,华为攻击检测大数
18、据平台采用分层解耦的架构，智能系统接收来自在线检测系统与离线训练系统两部分的统计结果，根据业务需求完成相关数据的筛选、合并、排序等操作，保存数据全集，Web UI界面可以根据用户定制，进行数据呈现。系统具备的能力包括监控、检测和展示：安全监控功能：站点监控和疑似对象监控。检测功能：攻击检测和攻击溯源，被监控对象安全状况评估攻击状况展示：攻击地理分布展示、TOP-N 攻击统计展示、攻击流量展示和运营商间攻击流量展示流量历史回溯：区域间流量历史回溯、站点访问历史状态回溯和区域出流量历史状态回溯流量展示：站点访站点访问流量展示、运营商间流量展示和特定区域出流量展示,目录,38,大数据安全的挑战与对策
19、,基础设施安全数据管理安全,安全分析,隐私保护,10.5.1 隐私保护面临的挑战,大数据技术面临的隐私问题与挑战：1）消费者知情权；2）个人数据的控制能力；3）数据转移给第三方进行二次使用问题；4）匹配政府的法律法规及各行业标准的要求并快速响应大数据的商业诉求,10.5.2 内容关联密钥,内容关联密钥技术 区别于常见加密算法密钥多由随机数或其他与待加密明文本质上毫无关联的数据经过一定的算法所产生，内容关联密钥技术的密钥本身即为待加密明文的一部分。该加密算法按照原始待加密明文中数据的重要性（针对文件应用的重要性），将数据中数据量小但重要性或信息含量较高的那一部分数据抽取出来，作为原始待加密明文的
20、密钥；而将待加密明文中剩余的那些数据量较大但重要性较低的部分，经过一定处理(如数据填充以保证文件的完整性)后作为算法的密文。,10.5.2 内容关联密钥,2.内容关联密钥技术的特点（1）这种新机理的密钥的数据量不是由计算复杂度决定的，而是由其对数据文件应用的重要性决定的。在可控性价比下(终端资源和加密性能)，可以采用很长的密钥（数十KB 或 数十MB），所以抗暴力破解能力很强。（2）由于文件数据的离散性，不同数据文件的密钥没有任何关联性（3）在隐私保护方面，这种新的安全机理不会增加大数据存储系统负载。,10.5.2 内容关联密钥,内容关联密钥加解密框架,10.5.2 内容关联密钥,内容关联密钥加密效果图,10.5.3 华为大数据隐私保护方案,华为大数据隐私保护方案采用合适的技术措施（例如授权、加密、访问控制、匿名化、假名化及隐私策略管理），使得个人数据和用户隐私能够得到充分保护。用户授权管理 隐私策略管理 隐私风险管理,10.5.3 华为大数据隐私保护方案,思考题,基本的数据加密技术有哪几种？2.大数据安全保障体系都包含哪些内容？3.简述数据安全分析的基本原理。4.什么是DDOS攻击？在大数据场景如何防止DDOS攻击？5.大数据场景下，数据隐私保护面临哪些挑战？,
