AIoT技术分析--云计算
发布时间：2021-12-31 13:42:00 所属栏目：百科 来源：互联网
导读：随着经济的发展，技术也在不断地进步，计算机逐渐走进人们的视线里，与人们的生活融入到一起，也是促进生产力发展的一项重要的推力。尤其是在一些大中型企业中，计算机技术更是不可或缺的一部分。但是随着市场竞争的加剧，企业中或者个人需要处理和分析的
|
随着经济的发展，技术也在不断地进步，计算机逐渐走进人们的视线里，与人们的生活融入到一起，也是促进生产力发展的一项重要的推力。尤其是在一些大中型企业中，计算机技术更是不可或缺的一部分。但是随着市场竞争的加剧，企业中或者个人需要处理和分析的数据和信息变得越来越多，越来越复杂，面对众多和复杂的数据，不仅浪费时间还浪费精力。一般的计算机技术很难支撑企业的运作，于是云计算顺应时代而生，广泛的应用到了企业中。 云计算的概念 云计算是一种新兴的商业计算模型。它利用高速互联网的传输能力，将数据的存储和处理从个人计算机或服务器移到互联网上的计算机集群中。集群环境中包含一个主节点和多个子节点，其中主节点为控制节点。是一个数据管理和分配中心，子节点受主节点控制，实现数据的存储和计算。在这种主从模式下，计算机按客户的需求分配计算资源并进行计算和存取。达到与超级计算机同样的计算能力，从而降低成本。 云计算的思想是把大量的存储计算资源通过网络连接起来进行资源的统一管理和调度，从而构成一个资源池向用数据管理和分配中心，在用户看来，“云”中的资源是可以无限扩展的，可以随时获取，按需使用，就像我们日常使用的煤气、水电一样，集中统一存储和管理，方便及时取用，消耗和费用低廉。这可以使个人和企业不用再购买昂贵的硬件设备和软件产品。只需要付费自己需要的那部分服务，也免去了以前硬件的保养和软件繁琐的升级，而且更为安全可靠。另外，云计算是网格计算、并行计算、分布式计算的发展，利用云，用户可以方便地通过网络获取强大的计算能力、存储能力以及基础设施。 云计算的服务模式和系统结构 服务模式 云计算主要包括基础设施即服务、平台即服务、软件即服务3种服务模式。 基础设施即服务：商家把由多台服务器集群组成的“云端”基础设施通过互联网按量给客户提供服务，它主要包括存储资源和虚拟化服务器等服务。是一种托管式硬件服务，用户付费使用商家的硬件设施。例如， AmazonWeb服务，IBM的“蓝云”服务等都是将基础设施作为服务出租给用户。 平台即服务：它是把开发环境、软件研发平台作为一种服务提供给用户，用户可以在其开发平台上研制开发自己的应用程序并通过互联网提供给用户使用。PaaS实际上是和SaaS一样的模式提供给用户使用的。只不过 PaaS提供的服务是软件开发平台。而另一个提供的服务是应用软件。 软件即服务：它是把应用软件作为一种服务提供给用户。服务提供商统一把应用软件放在自己的“云端”服务器上，然后通过互联网提供给用户，用户根据需求订购相应的软件．并根据订购数量和时间来付费。直接通过浏览器使用。例如GoosleDoe、GoogleApps和ZohoOfice等都属于这类服务。 系统结构 云计算系统结构分为三部分，主服务器节点、子服务器节点和客户端。 主服务器节点主要负责数据映射、负载均衡、任务调度和检测容错等。子服务器节点主要负责高度并行的数据存储和计算处理任务，它受主服务节点的管理和调度，直接与客户端进行数据交换，形成一个大型协调工作的资源池，采用虚拟化技术使资源以最大的利用。主服务器节点和子服务器节点合起来组成“云”服务器，它通过互联网向客户端提供IaaS， PaaS和SaaS等服务。云计算Hadoop构架主要包括GFS（Google分布式文件系统）、BigTable（分布式数据库）和MapReduce编程等。GFS分布式文件系统和BigTable分布式数据库提供数据存取，MapReduce提供Map和 Reduce高度并行处理。客户端是云计算的人口。客户通过它提交用户请求服务，用户直接可以在Web浏览器上注册、登录、定制服务，用户请求通过互联网发送到云服务器端。 云计算的关键技术 云计算作为一种数据密集型的新型超级计算，它以数据为中心，其技术实质是存储、计算、服务器、应用软件等IT软硬件资源的虚拟化，拥有数据存储技术、数据管理技术、虚拟化技术几个关键技术。 数据存储技术 云计算作为数据密集型的超级计算，它要存储海量的数据，因此数据存储的安全可靠与数据读写的经济高效是云计算的基础。云计算采用分布式存储技术把海量的数据存储在服务器集群中，同时为一份数据存储多份副本，采用冗余存储的方式和数据加密技术来保证数据的安全可靠性；云计算用高吞吐率和高传输率来保证并行的为大量用户提供服务。云计算系统中广泛使用的数据存储系统是谷歌非开源的GFS和Hadoop团队实现 HDFS。 GFS即谷歌文件系统，是一个可扩展的分布式文件系统。用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 GFS主要分为两类节点：一个主服务器节点和多个块服务器节点。主服务器节点主要存储与数据文件相关的元数据．元数据包括一个能将64位标签映射到数据块的位置及其组成文件的表格，数据块副本位置和哪个进程正在读写特定的数据块等。主服务器节点会周期性地接收从每个块服务器节点传来的更新来让元数据保持最新状态。块服务器节点主要用于存储数据，数据文件会以每个默认大小为64MB的数据块的方式存储在块服务器上。每个数据块都有一个唯一的64位标签，并且每个数据块在整个分布式块服务器上有多个副本。 GFS这种文件系统使客户与主服务器的交换只限于对元数据的操作．所有数据方面的通信都由客户直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。 数据管理技术 计算需要对海量的分布式数据进行处理、分析，因此，数据管理技术必须能够高效地管理大量的数据。云计算系统中的数据管理技术主要是开源数据管理模块HBase。BigTable是建立在GFS、Scheduler、LocK Service 和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。BigTable采用多级映射的数据结构，并支持大规模数据处理、高容错性和自我管理等特性，提供PB级的存储能力，使用结构化的文件来存储数据，并整个集群每秒可处理数百万的读写操作。多级映射的数据结构是一个稀疏的、多维的和排序的Map，每个单元格由行关键字、列关键字和时间戳来进行三维定位。 BigTable主要分为两部分：其一是Master节点，用来处理元数据相关的操作并支持负载均衡。其二是Tablet节点，主要用于存储数据库的分片，并提供数据访问，同时Tablet是基于名为SSTable的格式，对压缩有很好的支持。 虚拟化技术 虚拟化技术是云计算、云存储服务得以实现的基础和关键。虚拟化将原本运行在真实环境中的计算机系统或者组件运行在虚拟出来的环境中，它通过在硬件资源、操作系统和应用程序这些不同的层次之间构建一个虚拟化层，这个虚拟化层做为中间层连接上下两层，它向上层提供下层相同或类似的功能，这样上层不直接运行在下层环境中，而是运行在这个虚拟化的环境层中。虚拟化层解除了上下两层的耦合关系，使上层的运行不依赖于下层的具体实现。 虚拟化可以节省开销、整合服务、使资源得到最大利用。虚拟化技术包括将单个资源划分成多个虚拟资源的裂分模式和将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术按照IT资源可分为基础设施虚拟化、系统虚拟化和软件虚拟化等，根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等。 云计算技术面临的问题 云计算的快速发展和应用给人们带来了越来越多的便利和实惠，但其发展道路上也存在着很多问题，如数据安全问题、系统稳定可靠性问题、网络传输问题、技术标准化问题等。 数据安全问题：如何保证数据存储和传输的安全可靠。数据信息长期安全使用、不丢失、不被错误修改和窃取。特别是有些数据信息是商业机密、国家机密，这些数据的安全直接关系到一个企业和国家的生存、发展和强大。数据的安全性是云计算得以发展的前提和根本，不仅需要技术的改进，也需要法律的进一步完善。 系统稳定可靠性问题：大规模的集群计算系统是云计算的支撑，当系统规模增大后。可靠性和稳定性就成为最大的挑战之一。需要通过有效的系统配置、监控、管理、调度、虚拟化等技术。实现一个强大的、动态的、自治的计算存储资源池，提供云计算所需要的大容量计算力。系统级的容错技术是系统技术方面的一个难点。大量服务器进行同一个计算时单节点故障不应影响应用的正常运行。对类似数据检索这样计算节点间无通讯的应用。这一点比较容易实现。但对那些有大量通讯的紧耦合类应用。当前业内仍无有效的系统级容错方案。目前主要还是依赖应用层面的检查点和重启技术，一方面增加了开发的难度和工作量，另外一方面对运行性能也有一定的影响力。 网络传输问题：云计算服务建立在网络基础之上，网络传输速率的高低，直接影响着云计算执行效率和优势的发挥。云计算的发展和普及依赖于网络技术的发展。 技术标准化问题：云服务在不同的云服务商之间迁移、转换等的兼容移植性问题都需要相关的技术标准去规范和实现。比如用户希望维护多个云之间的数据同步或者相互操作同步等。比较理想的解决方案是通过一些公共的方法，或者标准将多个云数据中心抽象成一个通用的虚拟中心，这样降低相互同步的复杂性，提高不同云服务之间的共用性。 云计算的发展应用及其展望 随着互联网技术、分布式计算、信息社会需求等的快速发展，再加上谷歌、微软、ＩＢＭ、浪潮等大公司的推动和各国政府的大力支持，云计算在国内外都得到了快速的发展和应用。到目前为止，已经很多行业都能捕捉到云计算的踪影。 尤其在天文地理、医学生物学、网络安全、科研军事、娱乐服务等领域，云计算有着广阔的应用发展前景。比如气象预报、地震监测、天文信息处理、ＤＮＡ信息分析、病毒扫描、高仿真军事模拟、在线游戏娱乐、海量数据检索、海量高维数据挖掘等行业都急切需要云计算技术解决其中的相关技术难题。云计算的广阔应用前景正吸引着人们掀起一翻“云”的浪潮。 （编辑：南平站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
