kafka基础

kafka基础知识

• kafka简介
  • kafka是一个高性能、分布式的流数据平台，是一个分布式的发布-订阅系统和一个强大的队列
  • 特点：
    • 高性能
      • 使用顺序读写磁盘的方式来存储和读取消息
    • 可扩展
      • 采取分布式设计（支持Server间的消息分区和分布式消费，同时保证每个partition内的消息顺序传输）
    • 灵活性
      • 支持多种编程语言和客户端库，方便与不同的应用程序集成
    • 消费消息采取pull模式（由consumer保存offset）
    • 支持online和offline场景
• kafka的组件概念
  
  
  • Broker:
    • kafka集群的中的服务器节点，处理消息的读写请求
  • Topic:
    • 消息的主题
      
    • 同一个topic的消息可以分布在不同的节点上（broker）
    • 一个topic包含一个或多个分区（partition）
    • 每条消息都属于且一个topic
    • producer发布数据时，必须指定将消息发送到哪个topic
    • consumer消费数据时，也要指定订阅哪个topic的消息
  • Partition:
    • 每个Topic可以分为多个partition，每个partition可以看作一个有序的消息队列
      
    • 一个partition只分布于一个broker（没有备份的情况下）
    • 一个partition物理上只对应一个文件夹
    • 一个partition包含多个segment
    • 一个segment对应一个文件
    • segment由一个个不可变记录组成
    • 记录只会被append到segment，不会被删除或修改
    • 清除过期日志时，直接删除一个或多个segment
  • Segment:
    • 包含消息内容的指定大小的文件
      • 由index文件和log文件组成
      • 一个partition由多个segment文件组成
  • Offset:
    • segment文件中消息的索引值，从0开始计数
  • Replica（N）
    • 消息的冗余备份
    • 每个partition都会有n个完全相同的冗余备份，这些备份会尽量分散存储在不同的机器上
  • Producer:
    • 消息和数据的生产者，可以理解为往kafka发消息的客户端
  • Consumer:
    • 消息和数据的消费者，可以理解为从kafka集群中获取消息的客户端。可以同时监控消息的发送
  • Consumers:
    • 由于kafka brokers是无状态的，因此需要Consumers来维护根据parition offset已经消费的消息数量信息
    • 如果consumer确认了一个指定消息的offset,那就意味着consumer已经消费了该offset之前的所有消息
    • consumer消费消息的offset值是保存在zookeeper中
    • consumer可以向broker异步发起一个拉取消息的请求来缓存待消费的消息，consumers也可以通过提供一个指定的offset值来回溯或跳过partition中的消息
  • Consumer Group:
    • 每个consumer属于一个特定的consumer group,可为每个consumer指定group name（这是kafka用来实现topic消息的广播（发送给所有的consumer）和单播（发送给任意一个consumer的方式））
• kafka的安装和部署
  • 单机部署
    • docker 安装
      • 镜像拉取不下来，添加国内源 "https://nrbewqda.mirror.aliyuncs.com"
        
      • 拉取zookeeper和kafka
        • docker pull wurstmeister/zookeeper
        • docker pull wurstmeister/kafka
      • 创建网络
        • docker network create kdfka-net
        • 查看网络详细信息（注意这个后面会用到的）
          docker network inspect kdfka-net
          
      • 创建zookeeper容器
        • docker run --net=kdfka-net --name dev_zookeeper -p 21810:2181 -d docker.io/zookeeper
        • 查看容器详情
          • docker inspect dev_zookeeper
            
      • 创建kafka容器
        • 安装 docker run --net=kdfka-net --name dev_kafka -p 9093:9092 --link dev_zookeeper -e KAFKA_LISTENERS=PLAINTEXT://dev_kafka:9092 -e KAFKA_ZOOKEEPER_CONNECT=dev_zookeeper:2181 -e KAFKA_ADVERTISED_PORT=9092 -d wurstmeister/kafka
        • 注意配置参数
          • KAFKA_ADVERTISED_HOST_NAME 宿主主机
          • KAFKA_ZOOKEEPER_CONNECT zookeeper容器内部地址
      • 验证两个是否都加入网络
        • docker network inspect kdfka-net
          
      • kafka启动报警
• 链接
  • https://www.jianshu.com/p/bacc8eb03c4b/