| 查看: 1752 | 回复: 11 | ||
| 【奖励】 本帖被评价6次，作者xawk增加金币 2.75 个 | ||
| 当前主题已经存档。 | ||
[资源]
【转贴】云计算综述【已搜无重复】
|
||
|
云计算体系结构综述 摘 要: 介绍了云计算的概念、基本原理和体系结构，对当前主流的云计算平台进行详细叙述，发现这些平台在数据安全、隐私保护以及互操作性方面存在不足之处，最后得出结论并对拟解决的问题做出展望。 关键词: 云计算；普适计算；网络服务；计算平台 中图法分类号: TP393 文献标识码: A 1 引言 IBM、 Yahoo和Google等公司都在大力开发云计算（Cloud Computing）技术。那些寻找让电脑更聪明处理复杂计算人物的研究人员在云计算那里找到了答案，这里的云不是那些漂浮在天空中的云，而是指通过互联网实现超级计算机能力的计算。可以说云计算替代了网格计算，未来服务信息都不是存在于个人电脑上，而是存在网络中，云计算是开放标准，任何个人，公司都可以利用云计算来完成自己的应用或者科学研究。 本篇文章主题是对云计算体系结构做一个综述，是按如下方式组织的：第二节阐述了云计算的基本概念；第三章介绍了云计算的几种主要形式并分析了云计算的通用体系结构；第四节对IBM、Google、Yahoo三种主流的云计算平台的架构，处理流程进行讨论；最后得出结论并分析出将来面临的挑战和拟解决问题的思路。 2 云计算概念 云计算(Cloud Computing)是在极大规模上可扩展的信息技术能力向外部客户作为服务来提供的一种计算方式，是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。具体说来，云计算也是“普适计算”的一个具体的应用，从主机时代到个人计算机的过渡使得计算机进入寻常百姓家，因特网的出现极大地改变了计算模式，但是以计算机为中心的格局并未改变。 本质上来说，云计算是三件事情：第一是它关注于人们如何看待计算设备，如何将这些设备与环境有机结合，完成人们的各项任务；第二是它关注于为了完成这些任务如何设计、布置计算应用；第三是它关注环境以及如何使用新的技术和功能提高环境下服务的获取能力。人们可以通过传统的计算机、移动设备、甚至是在网络中的嵌入式芯片（这些具有计算能力的设备随着芯片技术的发展有着越来越小的趋势）来获取这些服务。 云计算的环境就是这样一些移动、固定设备和嵌入式芯片的组合在网络支持下为完成人们的计算任务而互相协作的计算环境。这三部分构成了以人为中心、面向任务的计算环境。这与传统的信息技术有着巨大的差异。总体概括说来，云计算有以下四个特点： （1）数据在云端：不怕丢失,不必备份,可以任意点的恢复； （2）软件在云端：不必下载自动升级； （3）无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务； （4）无限强大的云计算：具有无限空间的，无限速度。 3 云计算体系结构 云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。目前云计算有以下六种计算形式： （1）SAAS（软件即服务） 这种类型的云计算通过浏览器把程序传给成千上万的用户。在用户眼中看来，这样会省去在服务器和软件授权上的开支；从供应商角度来看，这样只需要维持一个程序就够了，这样能够减少成本。Salesforce.com是迄今为止这类服务最为出名的公司。SAAS在人力资源管理程序和ERP中比较常用。 Google Apps和Zoho Office也是类似的服务； （2）实用计算（Utility Computing） 这个主意很早就有了，但是知道最近才在Amazon.com、Sun、IBM和其它提供存储服务和虚拟服务器的公司中新生。这种云计算是为IT行业创造虚拟的数据中心使得其能够把内存、I/O设备、存储和计算能力集中起来成为一个虚拟的资源池来为整个网络提供服务； （3）网络服务 同SAAS关系密切，网络服务提供者们能够提供API让开发者能够开发更多基于互联网的应用，而不是提供单机程序； （4）平台即服务 另一种SAAS，这种形式的云计算把开发环境作为一种服务来提供。你可以使用中间商的设备来开发自己的程序并通过互联网和其服务器传到用户手中； （5）MSP（管理服务提供商） 最古老的云计算运用之一。这种应用更多的是面向IT行业而不是终端用户，常用于邮件病毒扫描、程序监控等等； （6）商业服务平台 SAAS和MSP的混合应用，该类云计算为用户和提供商之间的互动提供了一个平台。比如用户个人开支管理系统，能够根据用户的设置来管理其开支并协调其订购的各种服务。 如图1 所示，系统结构图中实体解释如下： （1）User interaction interface：用户交互界面，用户来请求服务云； （2）Services catalog：服务目录，一个用户能够请求的所有服务目录； （3）System management：系统管理，用户管理计算机资源是否可用； （4）Provisioning tool：服务提供工具，能够用于处理请求的服务，需要部署服务配置； （5）Monitoring and metering：监控和测度，用于对用户服务进行跟踪测量，提交给中心服务器； （6）Servers：服务云，由系统管理，可能是虚拟服务或者真实的。 云计算是一个由并行的网格所组成巨大的服务云网络，通过虚拟化技术可以扩展服务云的计算能力。前端的用户界面准许用户通过服务目录来选择服务，在服务请求发送并验证通过之后，系统管理来找到正确的资源，接着呼叫服务提供工具来挖掘服务云中的资源。服务提供工具需要配置正确的服务栈或者Web应用。 图1 云计算体系结构图 4 云计算平台 云计算既描述了一种平台，又描述了一类应用。一个云计算平台能够根据需要动态地提供、配置、再配置和解除提供服务器。而云计算平台上则是那些经过扩展能够通过互联网访问的各种应用，这些应用运行在那些托管Web应用和Web服务的大型数据中心及功能强大的服务器上，构建了一个超大计算能力平台。 在云计算平台研发上，有IBM、Google、Yahoo、EMC、Amazon、Dell、Red Hat、CMU、Stanford、Berkeley、Washington、USC等公司和科研院所，参照云计算的体系结构，如图2所示云计算平台结构组成。下面对IBM、Google、Yahoo这三家当前主流的云计算平台做简要叙述。 图2 云计算平台结构图 4.1 IBM蓝云计算平台 IBM的云计算计划取名为蓝云（Blue Cloud），和其超级计算机蓝色基因的取名类似，IBM开发蓝云的目的，是帮助用户充分利用云计算，包括云应用的能力，通过基于SOA的Web服务，与现有的IT基础架构集成。蓝云将特别关注IT管理简化方面的突破性需求，以保证安全性、隐私性、可靠性、高使用率和高效率。另外，云计算主要针对现有的和即将出现的大规模数据密集型工作负载。如图3 IBM蓝云计算平台架构所示，IBM的蓝云计算平台由数据中心、IBM Tivoli配置管理器、IBM Tivoli Monitoring、IBM Websphere应用服务器、IBM DB2和虚拟组件构成。所有的请求都由Web 2.0组件来处理。然后转发到Tivoli配置管理器，进行服务器的分配或解除分配。为了最大化平台的计算能力，如图4所示，通过XEN虚拟平台来扩展蓝云的计算能力。 图3 IBM蓝云计算平台体系结构 图4 基于开源Linux和Xen的虚拟化基础架构 4.2 Google云计算平台 Google公司所构建的Google集群系统（Cluster System）是目前最为成功的商用集群系统，它将超过15,000台普通的商用PC机进行组合，通过软件容错，并采用MapReduce技术将WEB搜索引擎并行化，从而实行了目前世界上最大最强的网页搜索引擎系统，其性能价格比能够达到同等性能但由相对处理器个数较少其价格昂贵的高端服务器构建的系统要高许多。 Google公司的云计算平台是在其搜索引擎平台上搭建的，如图5所示，Google通过Google文件系统（GFS）实现存储，然后采用BigTable技术来作为其数据库，实现结构化、半结构化数据存储，通过MapReduce（Google开发的编程模型，使用Sawzall语言）来处理和产生大量数据集的相关实现, 用于大规模数据集(大于1 TB) 的并行运算。使用这种技术实现的编程框架, 能够使程序员不需要任何并行以及分布式系统的经验, 就能够容易地使用大型分布式系统的资源。 通过Chubby技术，来进行云计算的互斥和同步，实现进程锁控制管理。 图5 Google云计算平台体系结构 4.3 Yahoo云计算平台 Yahoo公司，一直致力于云计算平台中同Google的竞争，其核心技术是Hadoop技术，是云计算的初级阶段的实现，是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。 Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。在Hadoop中实现了类似于Google MapReduce，它能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据，并提供了对数据读写的高吞吐率。由于应用了MapReduce和分布式文件系统使得Hadoop框架具有高容错性，它会自动处理失败节点。已经在具有600个节点的集群测试过Hadoop框架。这个分布式框架很有创造性，而且有极大的扩展性，微软致力于收购Yahoo的原因之一也是想借助Yahoo当前在云计算同Google的竞争能力来致力于云计算平台的研发。 图6 Yahoo云计算平台体系结构 5 结论和挑战 互联网经历了三个时代的变迁。第一个时代是Web1.0的时代，大家通过媒体的报道和文章的撰写来了解资讯和新闻。第二个时代是Web2.0的时代，我们看到的分享的互联网的时代，也就是说个人可以经过博客，经过BBS等其他的方式都可以发表他们的意见，引起了很大的轰动，也造成了很多人与人之间、网友与网友之间的互动。那么互联网的第三个时代Web3.0，应该是Web服务无处不在，普适计算的时代，而云计算正式互联网第三个时代的开始，让网络从一个文字的，社区性的一个平台，变成一个可以在任意时间、任意地点提供无限应用的，汇集众多服务的互联网时代。本文通过上面对于云计算概念、原理、体系结构的叙述，并对当前主流云计算的平台的分析比较，发现了当前云计算平台也面临着诸多挑战： （1）数据安全性：用户数据的安全问题被认为是计算平台安全问题，云计算的一个重要问题是计算平台的安全问题。计算平台安全问题一般来讲要比网络安全复杂些。目前实现方案要用到一些不同计算机学科及实践的方法，是否可以采用可信计算(Trusted Computing)加虚拟化(Virtualization)技术来实现计算平台安全问题，这里云存储安全也需要对数据的安全性、容错性、连续数据保护等方面关注； （2）个人隐私的保护：在云计算平台中，每个人都处在开放的环境中，在云计算平台中提供或者接受服务，这样很容易使得个人隐私缺乏必要的关注，在云计算中，隐私的保护也是一个挑战； （3）服务互操作性：当前云计算对于服务的互操作性支持不够，这对于用户进行跨平台的服务，同平台不同服务之间的服务存在障碍，这也是将来云计算研究的挑战。 云计算将超级计算能力推向了大众，相信不久的将来，云计算就如天空中的朵朵白云一样，它无所不在，同时又让人无法察觉，为人们的生活提供着无限便利。 References: [1] John L. Hennessy and David A. Patterson, Computer Architecture -- A Quantitative Approach, 4th Edition, Morgan Kaufmann Publishers Inc., 2007 [2] John P. Shen and Mikko H. Lipasti, Modern Processor Design - Fundamentals of Superscalar Processors, McGraw-Hill Higher Education, 2005. [3] D. Newman, A. Asuncion, P. Smyth, and M. Welling. Distributed inference for latent dirichlet allocation. In Advances in Neural Information Processing Systems 20, 2007. [4] R. Salakhutdinov, A. Mnih, and G. Hinton. Restricted boltzmann machines for collaborative ltering. In Proc. Of the 24th international conference on Machine learning, pages 791-798, 2007. [5] E. Y. Chang, et. al., Parallelizing Support Vector Machines on Distributed Machines, NIPS, 2007. [6] Gartner, Assessing the Security Risks of Cloud Computing, June 3, 2008 [7] Kai Hwang，Web-Scale Supercomputing:From Grid/P2P Networks to Massive Systems Exploring Internet Clouds, Lecture at Peking University, Beijing, China,March 21, 2008 [ Last edited by bslt on 2009-5-18 at 16:20 ] |
回复此楼
2楼2008-12-14 10:10:00
3楼2008-12-14 14:44:08
内容不全！ 4楼2009-02-20 10:09:41
5楼2009-03-03 08:01:22
6楼2009-03-06 17:49:59
7楼2009-03-18 20:33:22
8楼2009-03-19 16:14:23
9楼2009-03-29 06:53:01
