首页 > 其他分享 >云原生最佳实践系列 1:如何快速实现kafka性能压测

云原生最佳实践系列 1:如何快速实现kafka性能压测

时间:2024-03-18 14:24:43浏览次数:29  
标签:原生 架构 实例 压测 Kafka 阿里 公网 kafka

消息队列 Kafka 版实例类型的性能表现除了跟实例本身的规格相关外,与创建实例时选择的云盘类型也强相关,本实验通过相同规格的实例,不同的云盘类型来验证该因素的影响。

消息队列 Kafka Serverless 版本身实例未提供具体的云盘类型来选择,其性能表现只与购买实例时预留的写入、读取的指标有关, 写入峰值为预留写入的 2 倍,读取峰值为读取预留的 2 倍。

应用场景

借助 CADT 迅速的搭建 Kafka 不同类型的实例,并构建压测环境,快速对不同的实例配置的性能进行压测,以验证不同配置对性能影响,帮助客户快速的做出具体规格的选型。

主要步骤:

  1. 通过 CADT 快速完成压测服务端环境部署,以及压测客户端的初始化

  2. 配置压测变量,并完成压测

  3. 压测结束释放环境

部署架构

架构说明

一台 ECS,挂载 EIP 以便于登录和拉取压测客户端的软件。本实验中压测软件采用 Kafka 官方提供的压测软件。

3 个 Kafka 实例:

产品介绍

专有网络 VPC(Virtual Private Cloud) :是用户基于阿里云创建的自定义私有网络, 不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理云产品实例,比如 ECS、负载均衡、RDS 等。

云速搭 CADT(Cloud Architect Design Tools) :是一款为上云应用提供自助式云架构管理的产品,显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。

弹性公网 IP:弹性公网 IP 是独立的公网 IP 资源,可与阿里云专有网络 VPC 类型的云服务器 ECS、NAT 网关、ENI 网卡、私网负载均衡 SLB 绑定,并可以动态解绑满足灵活管理的要求。弹性公网 IP 可为您在云上部署的网站提供 Internet 访问服务。

消息队列 Kafka 版,云托管的 Kafka 服务。实例版本(创建时指定规格)可以提供与开源 Kafka 完全兼容的接口和能力。

消息队列 Kafka Serverless 云托管的 Kafka 服务 Serverless 版本(按照预留量+实际流量进行计费)。

前置条件

在进行操作之前,您需要完成以下准备工作:

1)注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面 https://account.console.aliyun.com/v2/#/authc/home) 查看是否完成实名认证。

2)购买按量付费资源,阿里云账户余额需要大于 100 元。考虑到部署后每小时会产生费用,建议账号内余额或者代金卷金额大于 200 元。您可以登录阿里云控制台,前往账户总览页面 https://usercenter2.aliyun.com/home) 查看账户余额。

操作步骤

  1. 基础环境搭建

  2. 配置压测环境并压测

2.1. 打开部署好的应用获取 Kafka 的 endpoint

2.2. 登录 ECS 初始化客户端环境并压测

  1. 一键释放资源

最佳实践全部内容,请点击此处查看。对方案和产品感兴趣的朋友,可以加入钉钉群交流(群号:31852400)。

标签:原生,架构,实例,压测,Kafka,阿里,公网,kafka
From: https://www.cnblogs.com/alisystemsoftware/p/18080293

相关文章

  • 轻松创建基于 GPT-4 的 AI 原生应用 - Dify
    Dify 是一个易用的 LLMOps 平台,旨在让更多人可以创建可持续运营的原生AI应用。Dify提供多种类型应用的可视化编排,应用可开箱即用,也能以后端即服务的API提供服务。LLMOps(LargeLanguageModelOperations)是一个涵盖了大型语言模型(如GPT系列)开发、部署、维护和优化的一......
  • java项目打包(maven+原生)
    一、maven打包1.1普通jarjava-jarmaven项目打包提示.jar中没有主清单属性<build><finalName>${project.artifactId}</finalName><!--修改编译出来的jar包名,仅为{artifactId}.jar--><plugins><plugin><gr......
  • 【Kafka】Kafka-UI 安装
    本例采用docker方式部署github地址:https://github.com/provectus/kafka-ui官方文档: https://docs.kafka-ui.provectus.io步骤1:拉去镜像命令:dockerpull provectuslabs/kafka-ui本例使用master版本:dockerpull provectuslabs/kafka-ui:master步骤2:启......
  • 《保卫萝卜4》仅用一个月完成鸿蒙原生应用开发
    近日,飞鱼科技宣布已完成《保卫萝卜4》鸿蒙原生应用开发。作为经典休闲类塔防游戏,《保卫萝卜》系列游戏一直是市场TOP级产品。截止2024年2月,该系列游戏累计用户注册数已近7亿。《保卫萝卜4》正式启动鸿蒙原生应用开发后,双方团队高效协同,仅两周便完成引擎最小集鸿蒙化适配,同样只花费......
  • GoLang:云原生时代致力于构建高性能服务器的后端语言
    Go语言的介绍概念Golang(也被称为Go)是一种编程语言,由Google于2007年开始设计和开发,并于2009年首次公开发布。Golang是一种静态类型、编译型的语言,旨在提供高效和可靠的软件开发体验。它具有简洁的语法、高效的编译器和强大的并发支持。Golang的设计目标之一是提供一种简单......
  • 性能压测工具 —— wrk
    一般我们压测的时候,需要了解衡量系统性能的一些参数指标,比如。1、性能指标简介1.1延迟简单易懂。green:一般指响应时间95线:P95。平均100%的请求中95%已经响应的时间99线:P99。平均100%的请求中99%已经响应的时间平均响应时间:所有请求的平均响应时间最大响应时间:所有请求中......
  • 性能测试 —— 什么是全链路压测?
    随着互联网技术的发展和普及,越来越多的互联网公司开始重视性能压测,并将其纳入软件开发和测试的流程中。阿里巴巴在2014年双11大促活动保障背景下提出了全链路压测技术,能更好的保障系统可用性和稳定性。什么是全链路压测全链路压测是一种全面测试系统的方法,通过模拟真实用户......
  • Kafka 设计之配额(Quatos)
    目录一.前言二.配额(Quotas)三. 为什么需要配额?(Whyarequotasnecessary?)四.客户端集群(Clientgroups)五. 配额配置(QuotaConfiguration)六. 网络带宽配额(NetworkBandwidthQuotas)七.请求比率配额(RequestRateQuotas)八.强制执行(Enforcement) 一.前言  ......
  • 【云原生番外篇】到底什么是云原生,它的意义在于什么
    一、什么是云原生    大家好,通过前几章节的学习云原生的基础我们已经简单了解,借此机会和一些还未明白什么是云原生的小伙伴们探讨一下“什么是云原生”。云原生是一种构建和运行应用程序的方法,它基于容器、微服务和自动化运维等技术体系,旨在提高应用程序的高效性、可......
  • Kafka消费端如何理解”精确一次性消费“
           精确一次性消费是指数据被消费后写入数据库的精确一次性;只要保证从Kafka读取数据之后写入数据库不丢失且不重复就可以。    消费流程:消费端在消费到Kafka数据之后把消费到的数据进行业务处理后写入到数据库,写入成功之后再保存这次消费数据的偏移量。这......