首页 > 其他分享 >系统上云 - 挑战和成本最优

系统上云 - 挑战和成本最优

时间:2024-11-05 12:18:15浏览次数:4  
标签:云上 机型 挑战 上云 最优 超卖 数据 IDC 成本

优质博文:IT-BLOG-CN

上云的挑战

在全球化背景下,除了要考虑全球的平滑部署来满足应用可用性和用户访问性能要求外,还需要考虑数据出海的安全性、法律合规和数据隔离等严格要求。通过以下几个角度举例:

全球部署

改造前,业务应用和数据都部署在原机房的同城:存在IDC A+B两中心的(同一个逻辑机房)同城双活。

与改造前架构特点相对比,如表格所示:

容灾级别同一逻辑分区用户分区就近访问数据多活公共访问
改造前(同城双活)跨机房级别支持完善,成熟
全球多中心region级别是,单元化分区需严格遵守数据跨境政策需支持多IDC场景

由此得知,多IDC场景下不可避免地需要去面临数据分片、单元化、数据冲突和业务幂等问题。相比传统分布式架构,不止是业务应用项目,还有PaaS平台基础设施在应对全球化技术体系都遇到了全新的挑战,需要有巨大的调整。

性能问题

面对全球范围内的用户的业务请求响应,难免会有用户因为网络跨洋传输、链路传输距离过长等问题造成的业务访问质量差。如何保证用户的请求访问链路最优,减少网络延迟,提供更快服务响应。

数据合规和监管

如何严格遵守不同地区针对数据跨境流动、数据泄露等数据安全问题颁布的相关法律法规。

数据出海问题

【1】数据一致性:IDC读写场景下,全球范围内用户在多个数据中心创建和操作订单,多个数据中心之间相互同步和操作订单业务时,应该如何保证数据一致性的问题。
【2】同步合规: 因数据跨境政策影响,一般不进行异地多活,需要如何避免数据跨境流动所带来的违规。

全球扩展性

以轻松地扩大业务覆盖范围为目标,新业务扩展时,如何通过对业务和数据进行改造操作,达到便捷动态调整数据存储策略,来应对动态多变的的数据合规政策。

通常一个大型项目会依赖/牵扯到成百上千个应用。如果将所有的应用都迁移到云上,从开发成本和硬件成本考量都不太合理。所以需要先部署依赖最少的服务,比如某个活动服务【只包含一个API】等。

实现成本优化

主要从三个方向实现成本优化:数据洞察(了解钱花在了哪里,应用多少钱,每一条消息/日志多少钱,并查看是否合理。Cost/Efficiency/Usage/Capacity/Budget)、成本节省(通过“混合云弹性调度平台”在保证可靠性的前提下自动优化成本)、成本运营(由各BU研发统筹成本相关问题,是否需要重构项目,缩容等操作)。主要是培养成本意识,追求成本、效率、质量的动态平衡

Cluster Autoscaler

【1】复杂动态的机型&价格: OnDemand按需实例,即用即扩。Spot竞价实例,可被AWS主动回收。Saving Plan(SP)预付费折扣包。下面是各机型组合单价比例:

Intel架构Amd架构Arm架构
OnDemand10.90.8
OnDemand+SP0.60.50.4
SpotInstance0.40.350.3

【2】挑战: 不同机型扩容成功率随时间动态变化。扩容请求需要在2min左右完成。
【3】方案: 监测数据,周期性更新高优机型列表,剔除失败率高的机型。扩容失败时,Autoscaler自动切换机型。Spot扩容失败时,调度器自动切换到OnDemand
【4】方向: Autopilot纳管Autoscaler,自动优化参数及机型列表,实现成本扩容成功率最优。下面是不同机型组合随时间动态变化监控图

SmartVPA

【1】海外AWS应用特征:利用率低(Avg Cpu 8%)长尾明显,实例数少,SmartHPA无法充分发挥作用。
【2】方案:数据监测,动态超卖,降低实际资源占用。实时监测超卖热点,驱逐与再平衡。
【3】效果:海外超卖比34倍,等价于降低34倍的资源使用。超卖比随切流及负载情况动态调整。

FRA-AWS切流导致利率上升,超卖比自动降低。

方案

【1】公有云上缓存使用ROR(冷热分离,减少内存使用),已替换Redis,。
【2】公有云上的ROR,采用AMD芯片,价格一致下,性能提升10%~15%左右。
【3】迁移期间还未接入流量的实例,不需要高可用,进行单实例部署,云上的DB都是4C16G比较弱,私有云的都是40C256G,如果流量切过去之后,会升配置。
【4】RDS最小化部署,流量上升才进行提配。

标签:云上,机型,挑战,上云,最优,超卖,数据,IDC,成本
From: https://blog.csdn.net/zhengzhaoyang122/article/details/143461894

相关文章

  • 鸿蒙系统崛起:开发者的机遇、挑战与战略
    随着科技的迅猛发展,鸿蒙操作系统以其独特的分布式架构和多设备协同能力,在全球操作系统市场中脱颖而出。它不仅与安卓和iOS形成了三足鼎立之势,还在智能手机、智能穿戴、车载系统以及智能家居等多个领域中获得了广泛应用。面对这一新兴生态系统,开发者如何抓住机遇,同时应对开发中......
  • 全球CRM系统市场份额分析:领导者与挑战者
    随着全球企业对CRM系统依赖性的增加,CRM市场正经历着快速的增长和激烈的竞争。本文将深入分析全球CRM系统的市场份额,探讨市场上的领导者与挑战者,并预测未来市场的趋势。一、全球CRM市场概览全球CRM市场近年来呈现出显著的增长趋势,这主要得益于企业对提高客户满意度、增强客户忠诚......
  • 数智税务 | 数电票:带来税务管理五大新挑战、绘就智慧税务征管新蓝图
    目录数电票,带来税务管理五大新挑战1“集全”2“管全”3“算全”4“备全”5“控全”数电票,绘就智慧税务征管新蓝图1两化2三端3四融合4变革征管方式5优化征管流程6提升征管效能结语数电票,带来税务管理五大新挑战截至到2023年12月,全国所有省、自治区、直辖市......
  • 2024-三叶草安全技术小组第十五届"极客大挑战" wp
    Crypto1.凯撒加密YEI{CKRIUSK_ZU_2024_MKKQ_INGRRKTMK}6位SYC{WELCOME_TO_2024_GEEK_CHALLENGE}2.RSA原文:fromCrypto.Util.numberimportbytes_to_long,getPrimefromsecretimportflagp=getPrime(128)q=getPrime(128)n=p*qe=65537m=bytes_to_long(fla......
  • 【python-程序设计赛道-模拟题笔记整理】2024年第六届全国高校计算机能力挑战赛
    Python知识点整理不都正确是指要求找错误的如果没有错误的,全都是事实就没有符合题意的所以选选项D,三个选项不都正确模块模块不能被多次导入模块是构造程序的方式在执行时,一个模块只会被导入一次python程序文件是一个模块包语法空行不是python语法的一部分缩进是p......
  • 少儿编程行业进入成熟期:头部企业构筑壁垒,新入局者面临挑战
    近十年来,随着家长对少儿教育需求的不断增加和政策的支持,中国的少儿编程行业从无到有,从冷门到热门,再到逐步回归理性,经历了一系列的发展与变迁。今天的少儿编程市场正逐渐走向成熟,头部企业构筑了难以撼动的壁垒,而新进入的创业者面临着前所未有的挑战。本文将深入探讨少儿编程行......
  • 抓住鸿蒙生态崛起的机遇:开发者如何应对挑战,创造极致应用体验
    抓住鸿蒙生态崛起的机遇:开发者如何应对挑战,创造极致应用体验引言随着鸿蒙系统(HarmonyOS)在全球市场快速扩展,已经在智能手机、穿戴设备、智能家居、车载系统等多个领域形成规模应用。鸿蒙系统的分布式特性为开发者提供了新一代的设备协同与应用集成能力,越来越多的开发者选择......
  • 《AI 算法的突破与挑战:探寻人工智能的核心驱动力》
    在当今科技飞速发展的时代,AI算法无疑是人工智能领域的核心驱动力,它的不断演进和突破正在重塑我们的世界。从简单的代码到如今令人惊叹的“智能大脑”,AI算法经历了漫长的发展历程,取得了诸多令人瞩目的成就,但同时也面临着一系列的挑战。一、AI算法的辉煌成就精度超越......
  • 魔法甜点之和:小包的新挑战 | 回溯法
    问题描述小R不再追求甜点中最高的喜爱值,今天他想要的是甜点喜爱值之和正好匹配他的预期值S。为了达到这个目标,他可以使用魔法棒来改变甜点的喜爱值,使其变为原来喜爱值的阶乘。每个甜点只能使用一次魔法棒,也可以完全不用。下午茶小哥今天带来了N个甜点,每个甜点都有一个固定......