首页 > 其他分享 >kafka介绍

kafka介绍

时间:2023-10-21 14:32:33浏览次数:27  
标签:jay linkedin Kafka 介绍 消息传递 kreps kafka

Kafka名字的由来

kafka的架构师jay kreps对于kafka的名称由来是这样讲的,由于jay kreps非常喜欢franz kafka,并且觉得kafka这个名字很酷,因此取了个和消息传递系统完全不相干的名称kafka,该名字并没有特别的含义。

Kafka的诞生

kafka的诞生,是为了解决linkedin的数据管道问题,起初linkedin采用了ActiveMQ来进行数据交换,大约是在2010年前后,那时的ActiveMQ还远远无法满足linkedin对数据传递系统的要求,经常由于各种缺陷而导致消息阻塞或者服务无法正常访问,为了能够解决这个问题,linkedin决定研发自己的消息传递系统,当时linkedin的首席架构师jay kreps便开始组织团队进行消息传递系统的研发;

Kafka特性

Kafka [1]  是一种高吞吐量 [2]  的分布式发布订阅消息系统,有如下特性:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量 [2]  :即使是非常普通的硬件Kafka也可以支持每秒数百万 [2]  的消息。
  • 支持通过Kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。 [3] 

Kafka通过官网发布了最新版本2.5.0 [4-5] 

标签:jay,linkedin,Kafka,介绍,消息传递,kreps,kafka
From: https://blog.51cto.com/u_16274468/7967142

相关文章

  • kafka常用命令
    kafka文件所在位置:cd/UTMGMAPL/upkafka_1.2.11-1.0/bin创建一个模拟生产者./kafka-console-producer.sh--broker-list146.33.240.13:9092--topictopic_tyq_1创建一个模拟消费者./kafka-con......
  • umich cv-4-1 卷积网络基本组成部分介绍
    这节课中介绍了卷积网络的基本组成部分(全连接层,激活函数,卷积层,池化层,标准化等),下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的卷积网络组成部分前言卷积层池化层normalization前言在之前提到的全连接神经网络中,我们直接把一个比如说32*32*3的......
  • jmeter工具介绍
    Jmeter性能测试工具介绍Jmeter的背景介绍Jemter过程类元件介绍Jmeter结果查看类元件介绍Jmeter其他介绍Jmeter背景介绍:ApacheJMeter是Apache组织的开放源代码项目,是一个100%纯Java桌面应用,用于压力测试和性能测试。它最初被设计用于Web应用测试但后来扩展到其它测试领域。Jmeter环......
  • Go包介绍与初始化:搞清Go程序的执行次序
    Go包介绍与初始化:搞清Go程序的执行次序目录Go包介绍与初始化:搞清Go程序的执行次序一、main.main函数:Go应用的入口函数1.1main.main函数1.2main.main函数特点二、包介绍2.1包介绍与声明2.2非main包的main函数2.3包的命名规则三、包的导入3.1包的导入介绍3.2导入多个......
  • redis其他操作、redis管道、django中使用redis、django缓存、celery介绍、补充单例
    redis其他操作'''delete(*names)exists(name)keys(pattern='*')expire(name,time)rename(src,dst)move(name,db))randomkey()type(name)'''#redis的key值,最大可以是多少?最大不超过512M一般1KB#redis的value值,最大可以是多少?最大不超过512M......
  • 关于AeroiEDG边缘智能分析网关硬件的功能特点介绍
    AeroiEDG边缘智能分析网关是一款边缘计算设备,专注于提供智能视频分析功能。该设备可以与摄像机、监控系统等进行连接,实现视频数据的实时处理和智能分析,从而提供更高效、精准的视频监控和管理。  AeroiEDG边缘智能分析网关具有以下主要特点:1.强大的边缘计算......
  • 使用Grafana + jmx 监控 kafka3.5 的过程
    使用Grafana+jmx监控kafka3.5的过程摘要周五一边进行数据库监控,同时想着部署一套监控系统.能够监控一下kafka等中间件结果不想自己遇到了很多坑.下午有同事语音告诉自己一些排查问题的方式与方法.自己又多花了半个小时才将数据捞出来.感觉自己对很多工具的使用还......
  • 【从零学习python 】02. 开发工具介绍及交互式编程及注释详解
    编写Python代码根据我们之前介绍的知识,我们知道,所谓代码其实就是将一段普通文本按照一定的规范编写,然后交给电脑解析并且执行。那既然是一段文本,那我们是否可以直接使用文本编辑器来编码呢?答案是肯定的,但是这样开发起来,效率会很低。一、常见的代码编辑工具实际上,在我们实际工作......
  • WPF触发器(Triggers):介绍与用法实例
    引言WindowsPresentationFoundation(WPF)提供了一个丰富和灵活的图形渲染框架,触发器(Triggers)是其中一个重要的功能。触发器能够用来控制或改变UI元素的属性、样式、甚至行为。在这篇博客文章中,我们将详细介绍WPF中触发器的种类、用法,并通过一些实际例子进行讲解。1.触发器的种......
  • 电机分类及常用的电机介绍
    电机的分类主要按以下6大类划分1、按工作电源种类:可分为直流电机和交流电机。其中交流电机还可分为单相电机(220V)和三相电机(380V)。2、按结构和工作原理:可分为直流电动机、异步电动机、同步电动机。3、按起动与运行方式:电容起动式单相异步电动机、电容运转式单相异步电动机、电......