首页 > 其他分享 >Kafka优势

Kafka优势

时间:2022-08-22 06:22:04浏览次数:66  
标签:copy 性能 写入 kafka 优势 磁盘 Kafka 数据

Kafka优势

  • kafka通常以集群的方式运行,实现高可用

  • topic(主题):在逻辑上对reorder(记录、日志)进行分组保存

kafka的分区

为了实现数据的高可用,比如将分区0的数据分散到不同的kafka节点,每一个分区都有一个broker作为leader和一个broker作为Follower

kafka的高性能实现

  1. 顺序读写
kafka的数据是保存在磁盘上以实现数据的持久化(缓存,默认168小时),但是kafka的特性依然是高吞吐率,通常情况下数据写入磁盘是会降低写入性能和读取性能的,但是kafka却基于数据的顺序写入技术,就算在普通的服务器上也很容易实现百万级的写入请求,其性能超过了大部分消息中间件,这种较强的写入性能使得kafka在大数据场景得到广泛的应用
  1. MMAP
机械磁盘的每次读写都会产生磁盘寻址--》数据写入的过程,而且寻址是一个"机械动作",其性能较低耗时较大,所以机械磁盘的随机IO性能较差,但是信息IO性能会有较大改善,为了优化写入性或者其他对象映射到进程的地址空间(虚拟内存),实现文件磁盘地址和进程虚拟地址空间中的一段虚拟地址的一一映射,MMAP可以显著提高I/O性能,尤其对于大文件的性能提升非常显著,用户对内存的所有操作都会由系统内核保存到磁盘上进行数据持久化
  1. 零copy
kafka服务器在响应客户端读取的时候,底层使用zeroCopy技术,不需要将数据从内核内存空间拷贝至用户进程空间,而且直接将数据通过内核空间构建响应请求,因此并没有执行数据从内核空间copy到进程空间的操作,从而节省copy数据的时间大幅提升性能

kafka总结

  1. 顺序写入
  2. MMAP
  3. 零copy
  4. 基于分区实现横向性能扩容(可动态扩容)

标签:copy,性能,写入,kafka,优势,磁盘,Kafka,数据
From: https://www.cnblogs.com/dykstudy/p/16611607.html

相关文章

  • Kafka优化
    Kafka优化1.如何防止消息丢失发送方:ack是1或者-1/all可以防止消息丢失,如果要做到99.9999%,ack设成all,把min.insync.replicas配置成分区备份数消费方:把自动提交......
  • Kafka——Controller、Rebalance、HW的基础概念
    Kafka——Controller、Rebalance、HW1.ControllerKafka集群中的broker在zk中创建临时序号节点,序号最小的节点(最先创建的节点)将作为集群的controller,负责管理整个集群中......
  • 虚拟数字人制作应用有什么优势?AR服务商形象|广州华锐互动
      在应用行业方面,虚拟数字人也将带动文旅、教育、金融、医疗等行业的新变革。广州华锐互动致力于数字人底层核心技术的研发,积极推动尖端实验室科研成果的民用化、商业化,......
  • kafka触发Rebalance
    当kafka遇到如下四种情况的时候,kafka会触发Rebalance:消费组成员发生了变更,比如有新的消费者加入了消费组组或者有消费者宕机消费者无法在指定的时间之内完成消息的消费......
  • kafka高性能的相关设计(2):
     1.kafka存储再文件系统上顺序写磁盘效率比随机写内存还要高,这是kafka高吞吐率的一个重要的保证。缓存页pageCache数据传输的零拷贝读写数据的批......
  • SpringBoot中调用Kafka
    Kafka实战——在SpringBoot中的应用官网文档链接1.pom引用 <dependency><groupId>org.springframework.kafka</groupId><artifactId>spri......
  • 基于工业路由器的智能连锁店组网优势
    方案背景: 随着新零售、新消费模式的兴起,为实现降本增效,提高市场竞争力,诸如大型超市、便利店、专卖店、品牌旗舰店等一类传统连锁门店,对于各门店的统一协同管理、资源智......
  • docker中安装kafka
    docker中安装kafka在安装kafka之前需要先安装zookeeper,因为kafka启动会将元数据保存在zookeeper中,zookeeper是一种分布式协调服务,可以再分布式系统中共享配置,协调锁资......
  • Kafka生产者与消费者
    Kafka生产者与消费者1.kafka客户端——生产者1.pom配置<properties><lombok.version>1.16.18</lombok.version><fastjson.version>1.2.66</fas......
  • helm 部署kafka,zookeeper集群
    环境要求:k8s集群,helm组件实现:helmrepoaddbitnamihttps://charts.bitnami.com/bitnamihelmrepoupdatehelminstallkafkabitnami/kafka\ --setstatefulset.r......