《云计算概述.ppt》由会员分享，可在线阅读，更多相关《云计算概述.ppt（80页珍藏版）》请在三一办公上搜索。
1、,云计算简介谷歌GAE三大云计算 亚马逊AWS开源Hadoop理论研究热点总结与展望,一种在规模经济驱动下产生的大规模分布式计算。它是一个资源池，其中包含了抽象的、虚拟化的、可动态伸缩和管理的计算资源、存储资源、平台和服务，并通过因特网按需提供给用户。,Google File System(GFS)BigTable MapReduce,Client,Replicas,Masters,GFS Master,GFS Master,C0,C1,C2.,C5,Chunkserver 1,C0,C5,Chunkserver N,C1,C3.,C5,Chunkserver 2,文件被分割成chunks(典
2、型大小为64 MB)Master 管理元数据数据传输直接在clients/chunkservers之间进行,容错技术冗余备份日志校验和管理技术大规模集群安装升级故障检测节点动态加入节能技术,Google File System(GFS)BigTable MapReduce,为什么设计BigTable？数据种类繁多海量服务请求设计目标：适用性可扩展性高可用性简单性,数据模型(row,column,timestamp)cell contents,基本架构,Google File System(GFS)BigTable MapReduce,数据处理的两个阶段Map:(in_key,in_value)
3、(keyj,valuej)|j=1kReduce:(key,value1,valuem)(key,f_value),为什么使用Dynamo？半结构化数据：购物车、信息会话管理和推荐商品列表数据处理方式：简单的读取、写入，简单的键值方式存储实现：位的形式存储，处理所有的数据类型应用：S3构建在Dynamo之上，SimpleDB也极有可能,一致性哈希算法,临时性故障处理机制弱quorum机制（W,R,N）和数据回传永久性故障后的恢复Merkle哈希树,Gossip协议错误检测失效停传定期检测,新节点,A,种子节点,B,C,新节点,亚马逊机器映像（AMI）实例（Instance）弹性块存储块（EBS
4、）区域（Zone）通信机制安全及容错机制,三个概念：对象、键、桶基本操作：Get、Put、List、Delete和Head,身份认证基于HMAC-SHA1的数字签名方式Access Key ID，Secret Access Key，服务请求字符串访问控制三类用户（owner、user、group）五类访问权限（Read，Write，Read_ACP,Write_ACP,FULL_CONTROL）,域1,域2,用户账户,域3,基本部分：系统组件、消息、队列,内容推送服务CloudFront电子商务服务DevPay和FPS简单支付服务 Simple Pay土耳其机器人Alexa Web服务,设计前
5、提与目标硬件错误是常态而不是异常流式数据访问大规模数据集简单一致性模型移动计算比移动数据更划算异构软硬件平台间的可移植性,冗余备份副本存放心跳检测安全模式数据完整性检测空间回收元数据磁盘失效快照,副本选择负载均衡客户端缓存流水线复制,逻辑模型：分治的策略,实现机制分布式并行计算本地计算任务粒度连接（combine）分区（partition）读取中间结果任务管道,逻辑模型基本类型：行关键字、时间戳和列,物理模型：行分割，列存储,子表服务器Hmemcache,Hstore,Hlog主服务器子服务器连接超时元数据表映射关系根子表（ROOT Table）,开发目的为研究人员提供一个云计算研究平台设计原
6、则可移植性模块化体系结构可扩展性非侵入,工程目标：可扩展性和非入侵,Youseff划分方法,Lenk划分方法,基础设施共享，信息动态传递设计原则发送和存储尽量少的个人信息保护云中的个人信息最大限度的实现用户控制明确和限制数据使用目的提供反馈机制,Chukwa-HadoopVM内部监测,计算机能耗变化曲线,云计算环境的特点可并行不信任远程复制基于分析的数据库管理效用容错能够在异构环境中运行能够操作加密数据能够与商业化的智能产品交互,提高并行优化性能-一个基于结构化覆盖的云系统索引框架,All-Pairs挑战：调度延迟节点失效和数量数据分发隐藏限制步骤：建立模型分发数据调度作业收集结果和清理,Gr
7、idBatchDFS：GFS的扩展，支持固定块大小和固定块数目作业调度Map控制器分发控制器合并控制器递归控制器笛卡尔控制器Neighbor控制器,Cumulus：数据中心科学云,CARMEN：e-Science云计算,Reservoir：云服务融合平台可扩展、灵活性、可靠性的框架,语义分析应用Web技术如RDF、OWL是完成数据集成任务的首选MapReduce处理大规模数据经济、实用因此二者结合提供了一个针对大规模异构数据集成、查询和推理的完美解决办法生物学应用BLASTGSEA,数据库应用部署安装和性能优化商业应用企业文本分析平台地理信息应用高性能工作流,安全威胁：垃圾邮件新型病毒用户权限
8、隐私信息,反垃圾邮件网格分布式统计协同贝叶斯学习算法,CloudAV：终端恶意软件检测滞后杀毒自身漏洞关键改进：云端检测N-Version保护技术,AMSDS：恶意软件签名自动检测轻量级桌面引擎去噪，保留可能插入恶意代码的部分云端检测反病毒（静态分析、动态分析）破坏恶意软件的PE格式,云平台上的数字签名身份认证控制个人信息的公开度和使用IdM必须具有协同工作的能力,全球企业IT成本曲线,一种在规模经济驱动下产生的大规模分布式计算,规模经济的优势传输光子要比传输电子容易的多,云格（Gloud）=Grid+Cloud无统一标准松耦合性数据处理商业数据迁移成本（物理分散、逻辑集中）信息安全,Majp
9、jMVcyzj21HLfrvy96dv02lPPfYgxUS7IYmZkyEmZ0kGeYZS3bpLCkYH1lt4EK7CxmUX3ijoYSOer7ZuaVWYgz4EpZrUirVpMzzvNtf1XZw5oswSXOtFaejnOcmfE1lZgnN1RSXg8wLCG8CVQ3XPJMvodPFWcpiYJgZazNSEPNIaklYSu7qSd1UpaxmZDlpN9zW7kljfsLCLi26Yv109ffbnDH8LbUN1G6ACURQ39eG12KHL9tXsZ1jzgoCK8g1kuNOh5eFvcmVT5ZYVQt9zk3rp3qLnf02FovEXxVRxjCcFR
10、NppiJljNiOuk6fONnyX7fyGg7sXZ49BmCN5oy9VesHpKzdjTKwjrkCEQCFDehVmGax3lrOEbw63VscA3YSijtUKoCyiLzAlVRp7l4QgPNHxvJFFDyjUVN3oHlMah0XBd4uTbkfPIhHtw0evPmYOrdhEDoPwvYhzlGplU1AU9mpyiCXH8gpPCBRYjq77VcnbXumNE1yGfyTsbSj89J63kRTKDkKUg3mdS5sJ4X5cQ8dK7oW9IkScssECQdz2O9UTlpRjAFPChjhLdzopQzwxQf8ozdzOhogwAooXpUF83BX4C
11、3jRgjDJiiXEUDMaNz4vQ4n164vspddHvOIVuBBdMA4xp1YhiHk0vOJ8TL1BxogzVlMpmod6ianYGmksQq6NWCEd56hZF4wfaNyZcrGfNxnPiG6ZAxSkfmhJAKtNmCqbRmppeXp8inz4eq3HkWCMSORyMMX522xpHG6basNr6KQfbZsFbHjzyNlJrruLolKFcC84dqfijBO5Dy2NaBcNEBPgQrT12PgpcKx2or2YChN5DPjs80zzdtdAdTKuW4uVv9bbZu3K2SZ2aEhTlIC1UqrIWibkzwHh6p8gLv26zr01mJybfOzFc4T7kQH1IpPwOzMDnAKPLsLrznXGjFNIA9bSWWms6ibKZwQIKrMzalwbFrQJvOP1rPH8rx2KkyYqrtQk5VRwM1HSX,
