首页 > 其他分享 >09_Kafka入门_数据日志分离

09_Kafka入门_数据日志分离

时间:2022-11-17 12:35:17浏览次数:35  
标签:logs 删除 zk 09 kafka 103 日志 Kafka 数据


关闭kafka

09_Kafka入门_数据日志分离_数据


但是会有延时,关闭的比较慢。

09_Kafka入门_数据日志分离_重启_02


之后再看一下就没了,需要等待一下。

09_Kafka入门_数据日志分离_数据_03


我们删除每台机器的logs文件夹:

我们希望把数据和logs分开来放。

09_Kafka入门_数据日志分离_数据_04


09_Kafka入门_数据日志分离_kafka_05


09_Kafka入门_数据日志分离_重启_06


这时候,就相当于kafka新装的一样。

这时候需要注意:还有很多信息再zi里面。

进入zk根目录:

09_Kafka入门_数据日志分离_数据_07


09_Kafka入门_数据日志分离_重启_08


09_Kafka入门_数据日志分离_数据_09


09_Kafka入门_数据日志分离_重启_10


除了zk,其他的都是kafka的数据。

09_Kafka入门_数据日志分离_kafka_11


在kafka里面,并没有指定哪个broker是老大。那它怎么直到102 103 104是一个kafka集群呢?

就是通过zk

因为,我们在102 103 104上装的kafka连的都是同一套zk,都会去找zk注册。拿者broker.id去注册。这就是为什么我们需要broker.id不能一样的原因。

我们现在把logs删除掉了。logs里面的是技术据已经被删除了,在zk的元数据,也要被删除掉。

直接进入到:根目录下面的zkData目录,

09_Kafka入门_数据日志分离_kafka_12


myid:标志着zk的服务id,自己配置的。

pid:zk的进程号。

09_Kafka入门_数据日志分离_数据_13


暴力删除:

先将zk停掉

09_Kafka入门_数据日志分离_重启_14


09_Kafka入门_数据日志分离_数据_15


删除version目录:

09_Kafka入门_数据日志分离_kafka_16


在103 104里面也是删除version目录:

09_Kafka入门_数据日志分离_kafka_17


09_Kafka入门_数据日志分离_数据_18


这时候相当于zk重装了。

重启zk:

09_Kafka入门_数据日志分离_数据_19


09_Kafka入门_数据日志分离_kafka_20


启动zk之后,看看zk里面除了zk的数据,kafka的数据是不是已经没有了。

09_Kafka入门_数据日志分离_重启_21


09_Kafka入门_数据日志分离_数据_22


09_Kafka入门_数据日志分离_重启_23


这也侧面证明了,version-2是存储zk数据的地方。

这时候去修改kafka的配置文件,将存储数据的目录从logs改成data,实现数据和日志的分离。

09_Kafka入门_数据日志分离_数据_24


然后再去修改 103 104里面的配置文件。

09_Kafka入门_数据日志分离_kafka_25


09_Kafka入门_数据日志分离_数据_26


09_Kafka入门_数据日志分离_kafka_27


09_Kafka入门_数据日志分离_kafka_28


重启kafka:

09_Kafka入门_数据日志分离_重启_29


09_Kafka入门_数据日志分离_kafka_30


现在三台全部都正常启动kafka,相当于重装了kafka

重启之后没有创建主题,所以没有目录。

09_Kafka入门_数据日志分离_重启_31


现在去创建主题。

09_Kafka入门_数据日志分离_kafka_32


09_Kafka入门_数据日志分离_数据_33


09_Kafka入门_数据日志分离_数据_34


09_Kafka入门_数据日志分离_数据_35


09_Kafka入门_数据日志分离_kafka_36


09_Kafka入门_数据日志分离_kafka_37


这个000000000000000000.log真正存储数据的地方。

做一个简单的测试,利用生产者往里面写一条数据。

在102上面,开启生产者。

消费者既可以连接zk,也可以连bootstrapserver

09_Kafka入门_数据日志分离_重启_38


09_Kafka入门_数据日志分离_数据_39


发送hello,atguigu两条数据。

09_Kafka入门_数据日志分离_重启_40


09_Kafka入门_数据日志分离_重启_41


09_Kafka入门_数据日志分离_数据_42


09_Kafka入门_数据日志分离_重启_43


因为数据被序列化了,所以,数据不好看。

去first-1里面。

09_Kafka入门_数据日志分离_重启_44


09_Kafka入门_数据日志分离_kafka_45


09_Kafka入门_数据日志分离_kafka_46


现在敲命令都被序列化,所以关闭当前窗口。

09_Kafka入门_数据日志分离_重启_47


那里面的数据是不允许给我们看的。

这就是我们做的事情。将日志和数据分开存放。


标签:logs,删除,zk,09,kafka,103,日志,Kafka,数据
From: https://blog.51cto.com/u_15881639/5860645

相关文章

  • 15_Kafka高级_生产者ACk机制
    3)ack应答机制对于某些不太重要的数据,对数据的可靠性要求不是很高,能够容忍数据的少量丢失,所以没必要等ISR中的follower全部接收成功。所以Kafka为用户提供了三种可靠性级别......
  • 16_Kafka高级_数据一致性问题
    (1)follower故障follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向leader进行同步。等......
  • EventBridge 生态实践:融合 SLS 构建一体化日志服务
    作者:昶风引言阿里云日志服务SLS是一款优秀的日志服务产品,提供一站式地数据采集、加工、查询与分析、可视化、告警、消费与投递等服务。对于使用SLS的用户业务而言,SL......
  • zk,kafka,redis哨兵,mysql容器化
    1.zookeeper,kafka容器化1.1zookeeper+kafka单机docker模式dockerpullbitnami/zookeeper:3.6.3-debian-11-r46dockerpullbitnami/kafka:3.1.1-debian-11-r36dock......
  • 前后端架构技术记录-详细的日志定位与记录
    日志现在用的都是打印输出或输出文件等形式,k8s能够使用页面查看日志但是定位错误与日志记录本身我觉得可以更完善,出现错误时的上下文环境以及数据需要记录方便过后bug的修......
  • Citrix Linux VDA 2209的全文解析
    本文翻译自TerryHou的BestpracticestoensureyouhavetheCitrixLinuxVDAsupportyouneed。随着最近CVAD2209和CitrixLinuxVDA2209的发布,CitrixLinuxVDA现在......
  • 大数据Hadoop之——EFAK和Confluent KSQL简单使用(kafka listeners 和 advertised.list
    目录一、EFAK概述和安装二、listeners和advertised.listeners配置详解三、KSQL使用1)KSQL架构2)Confluent安装(ZK/KAFKA/KSQL)1、下载confluent2、配置环境变量3、创建log和dat......
  • Netty源码-09-ServerBootstrapAcceptor
    在ServerBootstrapAcceptor启用之前,此刻Reactor状态应该是NioServerSocketChannel在IO多路复用器上关注着Accept(16)事件pipeline中有4个handlerheadbossHandlerSer......
  • P4054 [JSOI2009] 计数问题
    传送门二维树状数组板子题(大概?)只要再多开一维\(c\)来存储该点的权值就可以了。这里的树状数组\(a[i][j][c]\)表示以第\(i\)行,第\(j\)列为右下角,权值为\(c\)的点......
  • 终端打印的保存本地日志
    曾几何时,我一直都是记忆的>>可以保存终端打印的到本地txt比如:who>>use确实会在本地生成use文件,然后打开文本use就会有如下信息:algotty72022-10-271......