首页 > 其他分享 >大数据工具zookeeper、Kafka、Seaweedfs配置安装使用

大数据工具zookeeper、Kafka、Seaweedfs配置安装使用

时间:2022-11-28 19:58:26浏览次数:64  
标签:9333 -- Seaweedfs zookeeper Kafka localhost weed dir

Zookeeper

Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

启动步骤:

1.事先选取路径建立zkData文件夹,用于存放zookeeper日志文件

2.解压安装包到指定目录,进入文件夹,对conf/zoo.sample.cfg文件进行日志路径修改

image

3.在zookeeper目录下执行命令启动zookeeper服务

bin/zkServer.sh start

4.使用jps或ps -ef | grep zookeeper命令查看进程

5.zookeeper目录下执行bin/zkCli.sh启动客户端

image

官方文档
https://zookeeper.apache.org/doc/r3.5.10/zookeeperStarted.html

KafKa

Kafka 是一个由服务器客户端组成的分布式系统, 通过高性能TCP 网络协议进行通信。 它可以部署在本地和云中的裸机硬件、虚拟机和容器上 环境。

启动步骤:

1.首先确保zookeeper启动

2.修改config/目录下vim server.properties文件

具体修改以下五个地方:
image

image

image

image

image

3.保存退出,启动Kafka服务器

$ bin/kafka-server-start.sh config/kraft/server.properties

4.创建主题以存储事件

$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

5.将一些事件写入主题

$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event

6.阅读事件

$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event

使用Ctrl-C停止使用者客户端。

参考官方:

阿帕奇·卡夫卡 (apache.org)

Seaweedfs

步骤

1.启动master

./weed master

2.挂载卷volume

挂载一个卷:

./weed volume -port=8080 -dir=/home/data -max=500 -ip=localhost -mserver=localhost:9333

-port:8080端口运行

-dir:数据存储文件目录(DataNode)

ip:地址

mserver:master地址

挂载两个卷:

weed volume -dir="/weedfs_data/data1" -max=500 -mserver"localhost:9333" -port=9331 &

weed volume -dir="/weedfs_data/data2" -max=500 -mserver"localhost:9333" -port=9332 &

-max表示volume个数最大值;

-port该DataNode监听的端口;

3.上传文件

./weed upload -master=localhost:9333 -dir=/home/具体文件(要上传文件的绝对路径)

上传单个文件示例:./weed upload -collection myfiles -master=localhost:9333 XXX.txt

上传整个根目录统一后缀名文件

如上传/home/pic目录所有jpg格式的文件:

./weed upload -master=localhost:9333 -dir=/home/pic -include=*jpg

上传完会返回一个json结果,记录了文件名、下载地址、fid信息(文件id)

4.下载文件

./weed download -server=localhost:9333 -dir=/home/data fid(如:4,012d48fa67)

-dir:文件下载到的路径

5.删除文件

curl -X DELETE http:127.0.0.1:8080/fid(如:4,012d48fa67)

执行删除后没有释放磁盘空间,默认十五分钟内释放,执行以下命令,则立即回收空间

curl "http://localhost:9333/vol/vacuum"

参考官方
https://github.com/chrislusf/seaweedfs

标签:9333,--,Seaweedfs,zookeeper,Kafka,localhost,weed,dir
From: https://www.cnblogs.com/rimutuyuan/p/16933405.html

相关文章

  • Zookeeper3.7.1安装教程
    首先到官网下载压缩包下载完成后上传到虚拟机然后解压到指定目录,我这里解压到/usr/localtar-zxvfapache-zookeeper-3.7.1-bin.tar.gz-C/usr/local/解压完成后......
  • k8s容器中通过Prometheus Operator部署Kafka Exporter监控Kafka集群
    写在前面在按照下面步骤操作之前,请先确保服务器已经部署k8s,prometheus,prometheusoperator以及kafka集群,关于这些环境的部署,可以自行查找相关资料安装部署,本文档便不在此......
  • Kafka的Exactly-once语义与事务机制
    https://www.cnblogs.com/luxiaoxun/p/13048474.htmlKafka0.11.x版本(对应ConfluentPlatform3.3),该版本引入了exactly-once语义。精确一次确实很难实现(Exactly-onceis......
  • apache kafka系列之客户端开发-java
    1.依赖包    <dependency>      <groupId>org.apache.kafka</groupId>      <artifactId>kafka_2.10</artifactId>      <ver......
  • Kafka 设计与原理详解
    一、Kafka简介本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。1.1背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂......
  • Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告
    摘要本文主要介绍了如何利用Kafka自带的性能测试脚本及KafkaManager测试Kafka的性能,以及如何使用KafkaManager监控Kafka的工作状态,最后给出了Kafka的性能测试报告。......
  • Kafka剖析(一):Kafka背景及架构介绍
     背景介绍Kafka创建背景Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(ActivityStream)和运营数据处理管道(Pipeline)的基础。现在它已被​​多家不同类型的......
  • 06-1-2大屏实时计算技术的深度剖析【双元】(1) flink写入es和kafka ---(2)flink案例代
                                                        ......
  • docker快速搭建zookeeper集群
    一、准备工作1、拉取zookeeper镜像dockerpullzookeeperdockertagdocker.io/zookeeperzookeeperdockerrmidocker.io/zookeeper2、安装docker-compose工具#升级pippi......
  • kafka学习笔记
    安装:0、JDK(采用了v8,v11未测试)1、Justdownload kafka.tar.gz, noneedzookeeper 2、tar开3、修改kafka/config下的server.properties(每服务一个,id及监听端口及Lo......