首页 > 其他分享 >云计算行业的相关技术知识,主要有哪些?

云计算行业的相关技术知识,主要有哪些?

时间:2023-04-19 11:39:16浏览次数:26  
标签:存储 哪些 知识 用户 计算 分布式文件系统 数据 资源 分布式


云计算是一种新型的业务交付模式,同时也是新型的IT基础设施管理方法。通过新型的业务交付模式,用户将通过网络充分利用优化的硬件、软件和网络资源,并以此为基础提供创新的业务服务。
  新型的IT基础设施管理方法让IT部门可以把海量资源作为一个统一的大资源进行管理,支持IT部门在大量增加资源的同时无需显著增加相应的人员进行维护管理,云计算的相关技术如下:

虚拟化

虚拟化可大幅度提高组织过程中资源和应用程序的效率和可用性。虚拟化把物理资源和最终呈现给用户的资源进行了分离,实际上是一个替代过程,在具有统一良好架构设计的物理资源上创建出多个替代资源(即虚拟资源),替代资源和物理资源具有相同的接口和功能,对用户来说虚拟资源具备与物理资源相同的使用功能,同时还可以有不同的属性,如价格、容量、可调整性等。

自动化部署

云计算的一个核心思想是通过自动化的方式尽可能地简化任务,使得用户可以通过自助服务方式快捷地获取所需的资源和能力。部署是基础设施管理中十分重要,也是需要花费很大工作量的一部分,包括操作系统、中间件和应用等不同层次的部署。自动化部署可提供简化流程,用户提出申请后由自动化部署平台根据调度和预约自动完成相应的部署,因此用户只需花十几分钟,甚至几分钟就可以得到一个完整的环境,极大地提高了工作效率。

应用规模扩展

云计算提供了一个巨大的资源池,而应用的使用又有不同的负载周期,根据负载对应用的资源进行动态伸缩可以显著提高资源的有效利用率,即高负载时动态扩展资源,低负载时释放多余的资源,这就是应用规模扩展技术所解决的问题。该技术以应用为基本单位,为不同的应用架构设定不同的集群类型,每一种集群类型都有特定的扩展方式,然后通过监控负载的动态变化,自动为应用集群增加或者减少资源。

分布式文件系统

分布式存储的目标是利用云环境中多台服务器的存储资源来满足单台服务器所不能满足的存储需求。其特征是,存储资源能够被抽象表示和统一管理,并且能够保证数据读写与操作的安全性、可靠性等各方面的要求。

云计算催生了一些优秀的分布式文件系统和云存储服务。最典型的云平台分布式文件系统是Googie的GFS和开源的Hadoop。这两种可伸缩的分布式文件系统利用容错和故障恢复机制,有效地克服了单节点故障导致的系统故障,实现了大规模海量级的文件存储。以Hadoop文件系统为例,Hadoop文件系统(HDFS)是一个运行在普通硬件之上的分布式文件系统,它和现有的分布式文件系统有着很多相似性。然而,与其他分布式文件系统的区别也是很明显的:HDFS是高容错性的。可以部署在低成本的硬件上,HDFS高吞吐量地对应用程序进行数据访问,它适合大数据集的应用程序,HDFS放开一些POSIX的需求去实现流式地访问文件数据。

分布式数据库与非结构化数据存储

在分布式文件系统上。典型的存储海量结构化数据的分布式存储系统包括Google的BigTable、开源的HBase等。这些系统可将非结构化数据(如网页等)存储为分布式的、多维的、有序的图。HBase是Apache的Hadoop项目的子项目,是一个分布式的、面向列的开源数据库,不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,并且采用的是基于列的而不是基于行的模式。其用户存储数据行在一个表里,一个数据行拥有一个可选择的键和任意数量的列;表是疏松存储的,因此用户可以给行定义各种不同的列。HBase主要用于需要随机访问,实时读写大数据。

分布式计算

基于云平台的最典型的分布式计算模式是MapReduce编程模型。MapReduce将大型任务分成很多细粒度的子任务,这些子任务分布式在多个计算节点上进行调度和计算,从而在云平台上获得对海量数据的处理能力。“Map(映射)”和“Reduce(化简)”的主要思想都是从函数式编程语言里借来的:当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

简单说来,一个映射函数就是对一些独立元素组成概念列表的每一个元素进行指定的操作。事实上,每个元素都是被独立操作的,而原始列表没有被更改,因为这里创建了一个新的列表来保存新的答案。也就是说,Map操作是可以高度并行的,这对高性能要求的应用以及并行计算领域的需求非常有用。Reduce操作指的是对一个列表的元素进行适当的合并。虽然它不如映射函数那么并行,但是因为化简总是有一个简单的答案,大规模的运算相对独立,所以化简函数在高度并行环境下也很有用。

云计算行业的相关技术知识,主要有哪些?_云计算



标签:存储,哪些,知识,用户,计算,分布式文件系统,数据,资源,分布式
From: https://blog.51cto.com/u_13973070/6206025

相关文章

  • 云存储和云计算之间相比较,主要是什么关系?
    现在的IT业界对于云集计算的钟爱超过了以往的任何时候,云计算产业被认为是继大型计算机、个人计算机、互联网之后的第四次IT产业革命,IT行业进入云时代,对IT界的大小企业来说云计算就是一次炼狱。其实在某种的意义上云计算并不是一项全新的技术,是在信息化积累到一定的程度需要对于IT......
  • 人脸识别是什么,目前主要应用于哪些场景?
    如今,在人与人相连的时代,围绕人提供的服务首先要解决的是辨识人的身份,为此人们发明了很多卡、证作为识别人身份的依据,这种身份识别本质上是“见物如见人,认物不认人”,它忽视了人们最本质的需要,解决老问题的同时,也带来一些新的问题。顺应时代的潮流,充分利用人脸识别技术,强调人脸大数据......
  • 人工智能来了吗,身边的人工智能应用有哪些?
    手机智能程序、语音电话、个性化资讯、语音导航……,人工智能已经悄然融入了我们生活的点点滴滴之中说起人工智能,一般人都会觉得非常前沿,非常先进,似乎更多的是科幻电影和实验室里的东西,离我们日常的生活还很遥远。但其实稍微注意下我们的身边,人工智能已经悄然融入了我们生活的点点滴......
  • 目前的大数据趋势是什么,主要存在哪些障碍?
    大数据,作为一套技术、一种经营战略是相对成熟的。这种成熟带来的好处是更先进的工具、更顺畅的部署和新的商业机会。不利的一面是,如果公司想要在实现数字化转型目标方面取得真正成功,新挑战的出现需要更为明智的策略。一家公司的数字化改造应该从清晰的趋势和障碍出发,更好地规划出一......
  • 中国云计算产业的发展趋势和当今现状
    2010~2011年中国云计算产业尚处于导入和准备阶段,处于大规模发的前夜。虽然各种类型的“公有云”和“私有云”的应用在市场上层出不穷,但是需要看到的是,与企业应用软件相比,云计算技术成熟还有一定的距离。缺少大型的云平台集成商,产业链尚待成熟。2012~2014年中国云计算产业进入起飞阶......
  • selenium部分知识点总结
    selenium部分总结最近写了一个selenium自动化脚本.基于此总结一些常用的代码1.用户输入换行符不终止输入strings=''s=input('请输入:(q停止输入)')whiles!='q':#此处可自行设置strings=strings+s+'\n's=input()"""输入:B07RW2M73......
  • 火爆的低代码开发具有哪些技术特点?
    2014年著名研究机构Forrester提出低代码概念,距今已有9年的发展史,国内市场在2021年已逐渐形成低代码生态体系。低代码不是一个新潮的热词,也不是遥不可及的创新假想,而是一种软件架构风格。技术的发展如同历史的年轮,周而复始,源源不绝。我们的思潮,从无代码时代被时代的年轮推到了分层架......
  • OpenCV2 计算机视觉应用编程秘籍:1~5
    原文:OpenCV2ComputerVisionApplicationProgrammingCookbook协议:CCBY-NC-SA4.0译者:飞龙本文来自【ApacheCN计算机视觉译文集】,采用译后编辑(MTPE)流程来尽可能提升效率。当别人说你没有底线的时候,你最好真的没有;当别人说你做过某些事的时候,你也最好真的做过。一、玩......
  • OpenCV2 计算机视觉应用编程秘籍:6~10
    原文:OpenCV2ComputerVisionApplicationProgrammingCookbook协议:CCBY-NC-SA4.0译者:飞龙本文来自【ApacheCN计算机视觉译文集】,采用译后编辑(MTPE)流程来尽可能提升效率。当别人说你没有底线的时候,你最好真的没有;当别人说你做过某些事的时候,你也最好真的做过。六、过......
  • Python OpenCV 计算机视觉:1~5
    原文:OpenCVComputerVisionwithPython协议:CCBY-NC-SA4.0译者:飞龙本文来自【ApacheCN计算机视觉译文集】,采用译后编辑(MTPE)流程来尽可能提升效率。当别人说你没有底线的时候,你最好真的没有;当别人说你做过某些事的时候,你也最好真的做过。一、设置OpenCV本章是设置Py......