首页 > 其他分享 >Cloud Bursting解决方案,Serverless容器降本增效极致体验

Cloud Bursting解决方案,Serverless容器降本增效极致体验

时间:2023-10-12 10:02:25浏览次数:50  
标签:Serverless 容器 Bursting 华为 CCI IDC Cloud

本文分享自华为云社区《DTSE Tech Talk | 第42期:Cloud Bursting解决方案,Serverless容器降本增效极致体验》,作者:华为云社区精选。

线下IDC自建K8s集群容量无法满足业务峰值诉求?IDC基础设施扩容流程慢,一次性投入大,管理维护成本高?在《云原生Bursting,如何助力企业降本增效》的主题直播中,华为云云原生 DTSE 技术布道师刘雨青,聚焦华为云Serverless容器服务CCI提供的云原生Cloud Bursting解决方案,结合典型场景案例及实操演示,帮助企业和用户快速构建降本增效方案。

什么是Cloud Bursting

Cloud Bursting(云爆发)是一种在本地基础设施到达峰值容量时使用云计算资源的配置方法。当企业内部数据中心的计算资源不足时,他们会将额外的工作负载突增到外部第三方云服务。Cloud Bursting是一种方便而经济高效的方式,可为具有不同需求模式和周期性需求峰值的工作负载提供支持。

cke_120.png

通过Cloud Bursting,云消费者可以执行以下操作:

  • 高效使用本地资源
  • 减少对本地基础设施的进一步投资
  • 享受公有云带来的规模和灵活性
  • 避免因业务激增而导致业务关键型应用程序服务中断

Cloud Bursting在云原生场景下新实现

Gartner预测,2025年,基于云原生平台的数字化业务比例将达到95%。云原生技术持续发展且市场占比不断提高, Serverless容器成为云原生2.0时代企业上云新的选择。

Serverless即通过容器来运行一个应用,且基于Serverless架构,我们无需为基础设施维护做管理,当前Serverless容器的采用规模也在逐渐增高,使用公有云Serverless容器服务可以有效降低运维成本和减少资源浪费。

华为云Serverless容器服务CCI ( Cloud Container Instance)是基于Serverless架构的容器服务。它具有极致弹性、随取随用、安全隔离、大规模多元算力、低成本等一系列特点。CCI服务是作为云原生Cloud Bursting场景下的资源提供者。云原生Bursting解决方案主要有三种接入方式——客户IDC接入、华为云容器集群接入、Console/API接入。

客户IDC接入

客户IDC场景下,即用户在自己的线下IDC中,拥有自建的K8s集群或者已使用类似华为云CCE 敏捷版服务,它托管了一套K8s集群,通过安装CCI提供的弹性套件,将自己的IDC业务弹性到云上的CCI。

华为云容器集群接入

用户通过华为云提供的CCE/ CCE Turbo,可以一键式创建K8s集群,但用户还需要自行管理Node节点。安装弹性套件后,用户可以将CCE内的高峰业务,弹性到CCI,做一个灵活的配合——用户可以将常用业务运行在集群上,高峰场景业务将它弹性到CCI。

 

Console/API接入

正常的接口调用,用户通过Console/API接入,进行业务下发。这种场景比较使用一些当前内部未使用K8s服务的企业,但内部具备自有的调度平台,虚机和容器同时使用,这种状态下,我们建议其可以采用这种方式。

云原生Bursting关键能力解析

云原生Bursting重要插件Virtual Kubelet

Virtual Kubelet是基于社区Virtual Kubelet开源项目开发的插件,作为一种虚拟的Kubelet用来连接Kubernetes集群和其他平台的API,主要场景是将K8s集群内业务弹性扩展到Serverless容器平台(如CCI等)。

社区VK基础能力:

  • 管理VK-Node的生命周期
  • 管理调度到VK-Node Pod的生命周期
  • 提供节点级API(Pod Exec、Logs等)

CCI增强型VK扩展能力:

  • Pod间网络互通、Service互通
  • 支持挂载存储
  • 智能校验、智能调度、智能屏蔽弹性资源池
  • 云上日志、监控打通
  • 环境一致性优化(DNS解析、Hostname、同步Event等)
  • 大规模、可靠性增强

cke_121.png

灵活的的调度控制策略

提供容器组(Pod)级别弹性控制能力

工作负载中添加virtual-kubelet.io/burst-to-cci标签,进行弹性控制,支持如下配置能力:

  • auto:根据用户集群内调度器实际打分结果自动决定是否弹性至CCI,其中在TaintToleration算法上会优先选择调度到CCE节点
  • localPrefer:集群资源不足时,将Pod部署到CCI
  • enforce:强制调度至CCI
  • off:不调度至CCI

cke_122.png

 

使用Scheduler Profile对象管理弹性数量和缩容优先级

cke_123.png

容器镜像线下线上统一管理

提供统一的镜像管理能力,简化Bursting过程镜像管理。

  • 默认对接华为云SWR仓库,支持SWR企业仓库
  • 提供工具一键式同步存量镜像到华为云SWR / SWR企业仓库
  • 提供工具支持新增镜像的增量、定时同步华为云
  • 支持直接访问自建harbor、云厂商企业仓库
  • 支持通过镜像快照能力提升容器镜像下载性能,单镜像5s内下载
  • Bursting弹性套件支持弹性过程中地址替换,业务配置零改造

基于Bursting套件,定义正则表达,替换pod yaml中镜像地址到华为云SWR。弹性过程业务无感,无需处理配置差异

自动匹配华为云仓库认证凭据,无需业务适配

cke_124.png

 

全局的一致体验

提供全局业务统一入口

  • Pod、ConfigMap、Service和Secret等资源统一从原K8s集群下发
  • Pod依赖项增量同步,避免全量同步造成的带宽压力
  • 支持K8s集群容器实例与弹性至CCI实例通过Service灵活互访

提供统一运维管理

  • CCI Pod提供普罗标准监控接口,支持对接客户普罗监控平台
  • CCI Pod内置fluent-bit插件,支持上传业务日志至kafka
  • Virtual Kubelet根据用户Pod变化上报event等信息回传用户集群

 

cke_125.png

云原生Bursting客户案例

基于Serverless容器打造Cloud Bursting灵活上云新体验

Q公司是全球最大的中文在线旅行网站,为消费者提供机票、酒店、会场、度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务,为旅游行业合作伙伴提供在线技术、移动技术解决方案。

客户核心诉求:

受前期疫情等影响,客户减少IDC的硬件资源投资,改用云上资源,以降本增效。客户业务已经容器化,并在线下IDC中使用Kubernetes进行容器编排,希望减少或避免应用改造。

方案价值:

打通IDC和华为云容器CCI,实现IDC资源在公有云上弹性伸缩,云上资源按需使用,按秒计费,成本节省30+%。云上实例秒级弹性扩缩容,构筑基础设施层支撑上层业务流量变化的动态响应能力和稳定性。通过华为云提供的Virtual Kubelet组件完成从IDC的K8S集群到云上Serverless容器对接,无需客户二次开发,云上/IDC体验一致。

cke_126.png

 

基于云原生Bursting打造开放、高效的云原生大数据平台

Z公司拥有2.3亿职场人用户,累计合作企业数达616万家。依托强大的数据实力,颠覆传统招聘模式,建设开放职岗生态系统,重塑人力资源市场招聘服务标准。凭借大数据和AI技术打造开放的人力资本生态,让人才和机会更精准高效的建立连接,为生态内的合作伙伴创造更多价值。

客户核心诉求 :

  • 春招秋招及日常活动,算力流量上浮几倍,无法提前预测,需实时弹性。
  • 未来计划与业务应用、算法业务等统一资源池和技术栈,混合部署;Yarn调度无法按部门按业务统计费用,预算申请与资源分配难。
  • 原有大数据集群CPU、内存及硬盘等资源使用率低,但资源仍不足,节点弹性颗粒度大,资源浪费严重。

方案价值:

  • 降本增效:改造后资源按需使用,CCE Turbo少量节点部署控制面,所有业务均弹性CCI,较之前的成本减低20%。利用云上高性能弹性资源,报表任务执行周期缩短一半,实时计算性能提高数倍。
  • 统一平台:将Flink on K8s实践和经验拓展到Spark领域,构建出高效低成本云原生大数据平台,为更多人才和机会提供更高效连接,为企业提供更高价值的数据服务。
  • 极致弹性助力头部社交公司轻松应对突发流量洪峰

W公司是互联网行业的重点和标杆,日活2.55亿、月活5.93亿,突发业务峰值流量高(如各种明星事件、春晚等),需要借助公有云实现快速弹性扩容能力。

客户核心诉求:

  • IDC资源不足,应对突发事件难以支撑流量洪峰;
  • 流量预警后,弹性伸缩效率低下,未及时扩容导致业务中断后难以快速恢复,直到流量洪峰退去;
  • 远高于日常流量需求,高规格部署,资源成本造成巨大浪费。

方案价值:

日峰伸缩,每日业务高峰触发扩容,按需申请资源,按需计费,节省资源成本30%+;热点事件平稳运行,规模虚机+容器实例扩容运行业务,30秒扩容2.4万核,帮助W公司应对50+次热点事件突发流量。

更多华为云Serverless容器服务CCI以及量身定制Cloud Bursting解决方案,欢迎访问华为云官网:

 

点击关注,第一时间了解华为云新鲜技术~

 

标签:Serverless,容器,Bursting,华为,CCI,IDC,Cloud
From: https://www.cnblogs.com/huaweiyun/p/17758812.html

相关文章

  • Spring Cloud 2023 新特性 同步网关
    网关不支持传统Servlet容器SpringCloudGateway需要运行在提供的Netty运行时。它不能在传统的Servlet容器中工作,也不能在构建为WAR时工作。WebFlux使用了异步非阻塞的编程模型,相较于传统的MVCServlet需要理解和适应新的编程范式和响应式编程概念,因此学习曲线可能......
  • 私有云盘搭建之OwnCloud的安装与服务配置​
    由于公司最近想要搞个内部的网盘,本着节约成本的原则,不断尝试不同的开源平台,其中一个比较适合的就是owncloud。安装OwnCloudOwnCloud是一款开源的云存储软件,适合作为内部网盘使用。虽然没有用户注册功能,但是有用户添加功能,你可以无限制地添加用户,并且支持多个平台使用。1.执行以下......
  • Spring Cloud服务之Nacos作为注册中心与配置中心
    1、创建maven父工程管理jar包版本创建maven骨架,删除多余部分文件。只留pom文件,添加依赖<packaging>pom</packaging><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId>......
  • Spring Cloud相关组件说明
    1、SpringCloud版本现有SpringCloud有两代实现,分为SpringCloudNetflix和SpringCloudAlibaba,由于SpringCloudNetflix版一些重要组件如注册中心Euraka、Ribbon已经不再迭代更新了,SpringCloudAlibaba慢慢孵化出SpringCloudAlibaba一套相关组件。2、SpringCloudNetflix......
  • Implicit Autoencoder for Point-Cloud Self-Supervised Representation Learning论文
    ImplicitAutoencoderforPoint-CloudSelf-SupervisedRepresentationLearning2023ICCV*SimingYan,ZhenpeiYang,HaoxiangLi,ChenSong,LiGuan,HaoKang,GangHua,QixingHuang*;ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision......
  • uniCloud-用db schema在客户端访问数据库
    先下载所有dbschema在前端代码中直接访问数据库表拿数据index.vue<template> <viewclass="content"> <viewv-for="itemindataList":key="item._id"> {{item.name}}---{{item.gender}}---{{item.age}} </view> <......
  • 全域Serverless+AI,华为云加速大模型应用开发
    日前,华为全联接大会2023在上海召开。华为云CTO张宇昕在大会上发布了基于Serverless技术的大模型应用开发框架,框架以面向AI领域全新升级的FunctionGraph3.0为核心,将BaaSforAI后端和开放平台快速无缝集成,助力企业轻松商用AI应用。在“全域Serverless+AI加速应用创新”专题......
  • uniCloud-云对象基本用法
    在项目的uniCloud---cloudfunctions文件夹上右键,新建云函数/云对象单选框选择"云对象",命名,创建云对象代码constdb=uniCloud.database()module.exports={ _before:function(){}, //定义云对象异步函数 asyncget(num){ returnawaitdb.collection("user......
  • (2023年新疆大学、中科院等点云分类最新综述) Deep learning-based 3D point cloud cl
    目录1、引言2、3D数据2.1、3D数据表示形式2.2、点云数据存储格式2.3、3D点云公共数据集3、基于深度学习的点云分类方法3.1、基于多视角的方法3.2、基于体素的方法3.3、基于点云的方法3.3.1局部特征聚合3.3.1.1基于逐点处理的方法3.3.1.2基于卷积的方法3.3.1.3基于图的方法3.3.1......
  • 基于 COLA 架构的 Spring Cloud Alibaba(八) Spring Authorization Server
    在前面的篇章中,我们介绍了账户服务、商品服务、订单服务、网关服务的搭建,这些服务统称为资源服务。目前这些资源服务都是未受保护的,访问他们是不需要进行认证授权的,这样毫无安全性可言。这一篇,我们将介绍如何对我们的服务资源进行保护,以及如何使用SpringAuthorizationServer进......