首页 > 其他分享 >大数据面试每日一题-Kafka为什么这么快?

大数据面试每日一题-Kafka为什么这么快?

时间:2022-09-20 10:55:55浏览次数:73  
标签:缓存 cache 技术 kafka 面试 一题 Kafka 拷贝

Kafka为什么这么快? 1.kafka是基于partition 分区技术实现的,分布式提高Kafka的并发量 2.KafKa的稀疏索引机制,kafka每4kb插入一个索引,索引在查询时候,可以比较高的效率查到到数据 3.Kafka的底层往磁盘上面写的时候,是采用顺序读写的机制,在磁盘上面顺序读写时,写入速度极快,可以达到600m/s,所以说kafka使用机械硬盘性价比比较高 4.kafka的页缓存和零拷贝技术

  • 页缓存
    • 页缓存技术是通过操作系统的page cache技术实现,也叫 os cache,就是系统缓存,所以kafka写入的时候,是往内存写的,而不是直接往磁盘写,这样在性能方面又有一次提升,接下来会由操作系统决定什么时候往磁盘上面刷写
  • 零拷贝
    • 零拷贝技术是kafka的应用层不参与对数据的操作,把数据的操作放在生产者和消费者端,利用系统的 File cache 技术实现也就是NIO技术,这样有个好处是当消费者来读数据的时候,可以直接从os cache中把数据给到消费者,如果没有零拷贝技术, 是需要将数据从os cache 复制到应用层缓存中通过进程和消费者通信的,这一过程是很消费性能和时间的,通过零拷贝技术也是提高了Kafka的性能

标签:缓存,cache,技术,kafka,面试,一题,Kafka,拷贝
From: https://www.cnblogs.com/buildhszh/p/16710250.html

相关文章

  • Vue面试题19:在实际开发过程中,你知道的Vue最佳实践有哪些?(总结自B站up主‘前端杨村长’
    思路:查看vue官方文档:风格指南(重点关注AB级)、最佳实践(生产部署、性能、访问、安全)回答范例从编码风格、性能、安全等方面说几条:1.编码风格方面:命名组件时使用“多词"......
  • Kafka为什么性能这么快?4大核心原因详解
    Kafka的性能快这是大厂Java面试经常问的一个话题,下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen1、页缓存技术Kafka是基于操作系统的页缓存(pagecach......
  • kafka--Producer知识
    Producer发送模式同步发送异步发送异步发送回调Producer源码讲解Producer发送流程:1.构建对象2.发送消息KafkaProducer构建clientId,为了给metricConfig(上报......
  • 14 张图详解 Zookeeper + Kafka on K8S 环境部署
    转载自:https://www.cnblogs.com/liugp/p/16706192.html一、概述ApacheZooKeeper 是一个集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务,ZooKeeper致......
  • kafka-03-主题分区副本
    搭建一个主题,两个分区,三个副本环境搭建一个主题:1.创建topicexec-it先进入kafka容器,然后在/opt/kafka/bin目录下执行命令:用kafka的bin目录下的脚本:(往192.168.56.12......
  • kafka相关命令
    1,创建Topic2,往Topic写入数据命令:kafka-producer-perf-test--topicck_test111--num-records1000--record-size2000--throughput1000--producer-propsbootstrap......
  • 9.19面试题
    说说你对MVC的理解?MVC是什么?是一种设计模式,为了解决以往JSP的繁琐开发M(model)V(view)C(controller),其中view处理页面显示,contrller是用来处理用户的交互与事件,mdoel定义实......
  • 工作了9年的面试者
    一位工作了9年的面试者,我印象很深刻。因为最开始拿到简历的时候,我一摸:"这简历,好厚啊!"于是我去找了我的领导,我说:“这人我应该没法面试,我工作经验都才3年,这哥们是我......
  • 0-4 测试面试题_16合并两个排序数组_17tcp和udp_18单元集成系统验收回归_19测试和开发
    面试题(除个别外)及部分解析答案来自牛客网https://www.nowcoder.com/exam/interview/以下所述内容并不是百分之百正确,仅供参考。16手写代码:合并两个排序数组Merge1......
  • 【Java面试】概念性的问题怎么答,看完高手的回答一口气答出完整思路,Nosql的理解
    “谈谈你对Nosql的理解”如果你遇到这个问题的时候,找不到回答的思路脑子里面一片混乱,然后回答的时候吞吞吐吐。建议你看完整篇文章。大家好,我是Mic,一个工作了14年的Ja......