Zookeeper
Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
启动步骤:
1.事先选取路径建立zkData文件夹,用于存放zookeeper日志文件
2.解压安装包到指定目录,进入文件夹,对conf/zoo.sample.cfg文件进行日志路径修改
3.在zookeeper目录下执行命令启动zookeeper服务
bin/zkServer.sh start
4.使用jps或ps -ef | grep zookeeper命令查看进程
5.zookeeper目录下执行bin/zkCli.sh启动客户端
官方文档
https://zookeeper.apache.org/doc/r3.5.10/zookeeperStarted.html
KafKa
Kafka 是一个由服务器和客户端组成的分布式系统, 通过高性能TCP 网络协议进行通信。 它可以部署在本地和云中的裸机硬件、虚拟机和容器上 环境。
启动步骤:
1.首先确保zookeeper启动
2.修改config/目录下vim server.properties
文件
具体修改以下五个地方:
3.保存退出,启动Kafka服务器
$ bin/kafka-server-start.sh config/kraft/server.properties
4.创建主题以存储事件
$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
5.将一些事件写入主题
$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event
6.阅读事件
$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event
使用Ctrl-C
停止使用者客户端。
参考官方:
Seaweedfs
步骤
1.启动master
./weed master
2.挂载卷volume
挂载一个卷:
./weed volume -port=8080 -dir=/home/data -max=500 -ip=localhost -mserver=localhost:9333
-port:8080端口运行
-dir:数据存储文件目录(DataNode)
ip:地址
mserver:master地址
挂载两个卷:
weed volume -dir="/weedfs_data/data1" -max=500 -mserver"localhost:9333" -port=9331 &
weed volume -dir="/weedfs_data/data2" -max=500 -mserver"localhost:9333" -port=9332 &
-max表示volume个数最大值;
-port该DataNode监听的端口;
3.上传文件
./weed upload -master=localhost:9333 -dir=/home/具体文件(要上传文件的绝对路径)
上传单个文件示例:./weed upload -collection myfiles -master=localhost:9333 XXX.txt
上传整个根目录统一后缀名文件
如上传/home/pic目录所有jpg格式的文件:
./weed upload -master=localhost:9333 -dir=/home/pic -include=*jpg
上传完会返回一个json结果,记录了文件名、下载地址、fid信息(文件id)
4.下载文件
./weed download -server=localhost:9333 -dir=/home/data fid(如:4,012d48fa67)
-dir:文件下载到的路径
5.删除文件
curl -X DELETE http:127.0.0.1:8080/fid(如:4,012d48fa67)
执行删除后没有释放磁盘空间,默认十五分钟内释放,执行以下命令,则立即回收空间
curl "http://localhost:9333/vol/vacuum"
参考官方
https://github.com/chrislusf/seaweedfs