首页 > 其他分享 >Kafka快速高效的原因

Kafka快速高效的原因

时间:2023-03-09 12:56:15浏览次数:44  
标签:高效 顺序 kafka 复制 拷贝 Kafka 快速

因为kafka高吞吐量,管道大,而保证kafka快速移动大量数据的设计决策有 顺序I/O 和 零拷贝复制原则 

顺序I/O:

  通过使用仅附加日志作为主要数据结构,将新数据添加到文件末尾

  

 

 

 顺序I/O的优势在于相比随机读取,他的读取速度更快

 

 

 零拷贝复制原则:

  不使用零拷贝复制的情况下,磁盘上的一页数据发送给消费者,需要创建4个副本和2个系统调用

 

 

 而采用零拷贝复制的话,只需要创建1个副本

 

 

采用零拷贝复制原则,程序调用系统sendfile(),直接将数据从操作系统缓存复制到网卡缓冲区,复制通过DMA(直接内存存取)完成,CPU不参与,所以更加高效。

 

 视频学习记录:https://www.youtube.com/watch?v=UNUz1-msbOM&ab_channel=ByteByteGo

 

 

标签:高效,顺序,kafka,复制,拷贝,Kafka,快速
From: https://www.cnblogs.com/1314h/p/17197965.html

相关文章

  • 容器快速部署xx-job-admin
    1.下载指定版本容器镜像dockerpullxuxueli/xxl-job-admin:{指定版本}2.运行容器方式1:命令行配置启动/***如需自定义mysql等配置,可通过"-ePARAMS"指定,参数......
  • python快速入门1
    记录python若干功能特点,帮助快速了解python语法  #!/usr/bin/envpython#验证若干python功能importpandasaspdimportnumpyasnpimporttimeimportdate......
  • Microsoft 365 解决方案:巧用“自定义磁贴”快速查找所需资源
    Blog链接:​​​https://blog.51cto.com/u_13637423​​如果企业采用Microsoft365作为企业协同办公平台的话,那么一定喜欢使用应用启动器快速访问OneDrive,Outlook等应用程序,......
  • celery介绍和安装, celery快速使用, celery包结构
    celery介绍和安装,celery快速使用,celery包结构celery介绍和安装celery它是一个分布式异步框架,celery翻译过来是"芹菜"的意思1.完成异步任务:可以提高项目的并发量,之......
  • 路飞-day9——redis之列表类型、redis之hash类型、redis其他方法、redis管道、django
    目录一、redis之列表(List)类型二、redis之hash(字典)类型三、redis其他方法(所有类型通用的方法)四、redis管道五、django中使用redis方式一方式二方案一方案二六、celery介绍......
  • Qt for Android开发环境这样设置简单正确高效
    1.按照如下网址安装设置JDK、SDK、NDK版本并创建环境变量:JAVA_HOME、ANDROID_SDK_ROOT、ANDROID_NDK_ROOT。https://doc.qt.io/qt-6/android-getting-started.html2.如本......
  • Thinking--快速找出故障机器(异或)
    Thinking系列,旨在利用10分钟的时间传达一种可落地的编程思想。假设一个机器仅存储一个标号为ID(数值)的记录,且该数据会保存备份(即,两个机器存储了同样的数据;类似于双节点部署)......
  • 七大高效的性能测试技术
    进入互联网时代,性能测试显得越来越重要,移动应用、web应用和物联网应用都需要进行性能测试和性能调优,而进行性能和负载测试会产生了大量的数据,这些数据难以分析。除了数......
  • Redis缓存数据库-快速入门
    目录Redis数据库快速入门一、Redis数据库1、redis的安装与运行2、RESP图形化操作文件二、pycharm操作redis1、Redis普通连接和连接池2、Redis数据类型2、1.String类型2、2.......
  • Docker全家桶入门到进阶教程,Docker快速上手
    开发/运维互掐开发与测试和运维间的矛盾,主要是由于环境的不同而引发的。如果能将开发人员使用的环境交给测试与运维使用,这些问题就都能解决。DevOpsDevOps是一种思想......