首页 > 其他分享 >kafka基础操作

kafka基础操作

时间:2023-07-22 20:45:53浏览次数:30  
标签:bin -- 基础 kafka sh install 操作 server

什么是kafka

  • kafka本身并不是消息队列,而是一份分布式流平台(高并发,低延迟。高吞吐量)。
  • kafka是基于zookeeper的分布式消息系统。
  • kafka具有高吞吐率、高性能、实时及高可靠等特点。

kafka基本概念

  • Topic:一个虚拟的概念,由一个到多个Partitions组成
  • Partition:实际消息存储单位
  • Producer:消息生产者
  • Consumer:消息消费者

kafka环境配置

导入压缩包

虚拟机centos7

新建一个目录/opt/software

然后安装拷贝工具

yum install -y lrzszc

此时输入rz就能从主机拷贝东西进去

拷贝这三个文件夹

 新建一个安装目录/opt/install,然后分别将这三个压缩包解压到该目录,解压命令如下

tar -zxvf jdk-8u181-linux-x64.tar.gz -C ../install/
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ../install/
tar -zxvf kafka_2.11-2.4.0.tgz -C ../install/

 配置jdk的环境变量

输入

vim /etc/profile

在最下面添加

 一定要刷新

source /etc/profile

Zookeeper的安装启动

里面有配置文件样例

 拷贝一份样例,并修改。基本上是吧dataDid存到磁盘目录比较大的地方,而不是tmp,这里暂时没有修改。

cp zoo_sample.cfg zoo.cfg

可以启动Zookeeper

./zkServer.sh start

 可以查看是否启动成功

./zkCli.sh或
ps -ef|grep zookeeper

 

kafka配置

主要修改配置文件server.properties

vim server.properties

修改以下内容

# 填写本机端口
listeners=PLAINTEXT://192.168.75.136:9092
advertised.listeners=PLAINTEXT://192.168.75.136:9092
log.dirs=/opt/install/kafka_2.11-2.4.0/datas

一些启停命令

1.启动kafka
bin/kafka-server-start.sh config/server.properties &
2.停止kafka
bin/kafka-server-stop.sh
3.创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4.查看已创建的Topic信息
bin/kafka-topics.sh --list --zookeeper localhost:2181
5.发送消息
bin/kafka-console-producer.sh --broker-list 192.168.75.136:9092 --topic test
6.接受消息
bin/kafka-console-consumer.sh --bootstrap-server 192。168.75.136:9092 --topic test --from-beginning 

测试数据:发送JSON
{"orderId":"001", "price":"60"}

测试

 

标签:bin,--,基础,kafka,sh,install,操作,server
From: https://www.cnblogs.com/szhNJUPT/p/17574193.html

相关文章

  • css基础-垂直对齐vertical-align
    什么是垂直对齐vertical-align指定行内元素(inline)或表格单元格(table-cell)元素的垂直对齐方式。不能用它垂直对齐块无素必须是行内或者行内块元素对齐方式有哪些/*Keywordvalues*/vertical-align:baseline;vertical-align:sub;vertical-align:super;vertical-align:......
  • css基础-精灵图
    一张图片包括各种图标,用的时候用background-position对移到对应位置显示对应图标但是图片放大会失真图片制作完成后也不方便修改所以如果小图票,我们可以用字体库解决https://icomoon.io/https://www.iconfont.cn/ ......
  • WEB自动化-复选框操作
    importtimefromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.selectimportSelectdriver=webdriver.Edge()driver.get("file:///D:\本地练习网页.html")#创建一个select对象select_element=driver......
  • python天池赛零基础入门推荐系统 - 新闻推荐
    Python天池赛零基础入门推荐系统-新闻推荐简介推荐系统是一种用于预测用户对物品(如新闻、电影、产品等)的喜好程度的技术。本文将介绍如何使用Python和天池赛平台,从零开始构建一个简单的新闻推荐系统。数据集首先,我们需要一个用于训练和测试的数据集。在天池赛平台上,我们可以......
  • 最全linux基础知识
    linux基础知识 [root@localhost~]#各位置表示什么意识root:表示用户名(现在的用户是root切换为test便是张三)localhost:表示主机名(当前主机名切换为别的主机就是别的主机名) ~:家目录(表示当所在的目录切换到etc下便是etc)#:管理员用户切换为$:普通用户关机命令:1,h......
  • 基础数论
    Updon2023.1.12添加了整除分块和莫比乌斯反演。Updon2023.7.22重新排版,添加、删去了一些内容,修改了一些晦涩难懂的描述,开放阅读。$$\huge\textbf{0x01}\\large\textbf{数论入门}$$"质数是指在大于1的自然数中,除了1和它本身以外不再有其他因数的自然数。""合数是指在大......
  • redis数据类型及操作命令
    数据类型Redis存储的是key-value结构的数据,其中key是字符串类型,value有5种常用的数据类型:字符串string哈希hash列表list集合set有序集合sortedset/zset解释说明:字符串(string):普通字符串,常用哈希(hash):适合存储对象列表(list):按照插入顺序排序,可以有重复元素......
  • SQL日期操作函数(CONCAT、DATE_FORMAT、LAST_DAY)
    获取某月底日期:SELECTLAST_DAY('2021-07-01')ASmonth_end_date;拼接年月格式:CONCAT(DATE_FORMAT(hp.planned_payment_date,'%Y-%m'),'-01')如果数据库内存的是2023-07-19经过处理后会变成:2023-07-01SELECTbp.UNIT_ID......
  • pyhon 基础学习笔记(一)List
    1.有两个索引 2索引的切片L=[1,2,3,4,5,6]L[start:stop:step]如L[1,2,2] 3.列表增加元素L.append(9),L.append([2,3])尾部追加L.extend([1,2,3]) 尾部追加L.insert(3,5)位置3插入5L[2:2]=[8,9] 下标为2的位置插入8,9 3.列表删除元素L.remove(4)删除元素4......
  • Redis基础
    Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库,官方提供测试数据,50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s,且Redis通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:字符串类型string哈希类......