首页 > 其他分享 >使用容器快速在阿里云 ECS 多节点上搭建 Citus 12.1 集群

使用容器快速在阿里云 ECS 多节点上搭建 Citus 12.1 集群

时间:2023-12-27 17:23:15浏览次数:45  
标签:name Citus citus 12.1 ECS example docker com email

image

阿里云 ECS

机器节点

  1. 这里我们使用两台同一区域的 ECS 机器。
  2. 机器配置:2 核 2 G。(ps: 阿里云 99 元一年的活动)
  3. 一台安装 coordinator(协调器),这里内网 IP 为 172.18.60.11
  4. 一台安装 worker,这里内网 IP 为 172.18.60.12

操作系统

两台机器分别安装了厂商的 Alibaba Cloud Linux 3 系统。

lsb_release -a
LSB Version:    :core-4.1-amd64:core-4.1-noarch
Distributor ID: AlibabaCloud
Description:    Alibaba Cloud Linux release 3 (Soaring Falcon) 
Release:        3
Codename:       SoaringFalcon

安装 Docker

在各机器节点上分别执行:

  1. 添加 docker-ce 的 dnf 源
sudo dnf config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  1. 安装 Alibaba Cloud Linux 3 专用的 dnf 源兼容插件
sudo dnf -y install dnf-plugin-releasever-adapter --repo alinux3-plus
  1. 安装 Docker
sudo dnf -y install docker-ce --nobest
  1. 启动 Docker 服务,并设置开机自启动
sudo systemctl start docker
sudo systemctl enable docker
  1. 查看Docker是否启动
sudo systemctl status docker

安全组

注意:我们接下来会使用机器的 5432 端口。

为了安全,云厂商默认是屏蔽公网访问该端口的,用户同一区域的内网机器之间的访问默认是可以的。

Citus 12.1 集群搭建

这里使用官方构建的镜像 citusdata/citus:12.1

启动 Coordinator 节点

  • 172.18.60.11(coordinator) 机器节点
mkdir -p citus-coordinator/data           
docker run -d --name citus-coordinator \
           -v $(pwd)/citus-coordinator/data:/var/lib/postgresql/data \
           -p 5432:5432 \
           -e POSTGRES_USER=citus \
           -e POSTGRES_PASSWORD=citus \
           -e PGUSER=citus \
           -e PGPASSWORD=citus \
           -e POSTGRES_HOST_AUTH_METHOD=trust \
           citusdata/citus:12.1

注意:生产环境,为了安全请另行编辑 pg_hba.conf

启动 Worker 节点

  • 172.18.60.12(worker) 机器节点
mkdir -p citus-worker00/data
docker run -d --name citus-worker00 \
           -v $(pwd)/citus-worker00/data:/var/lib/postgresql/data \
           -p 5432:5432 \
           -e POSTGRES_USER=citus \
           -e POSTGRES_PASSWORD=citus \
           -e PGUSER=citus \
           -e PGPASSWORD=citus \
           -e POSTGRES_HOST_AUTH_METHOD=trust \
           citusdata/citus:12.1

集群设置

  • 172.18.60.11(coordinator) 机器节点
docker exec -it citus-coordinator psql -U citus
# 设置 worker 要连接的协调器节点
SELECT citus_set_coordinator_host('172.18.60.11', 5432);
# 添加 worker 节点
SELECT * from citus_add_node('172.18.60.12', 5432);
SELECT * FROM citus_get_active_worker_nodes();
   node_name   | node_port 
---------------+-----------
  172.18.60.12 |    5432
(1 row)

验证: 官方案例(微服务存储后端)

创建 user 服务的数据库 schema

docker exec -it citus-coordinator psql -U citus

CREATE USER user_service;
SET citus.enable_schema_based_sharding TO ON;
CREATE SCHEMA AUTHORIZATION user_service;
select * from citus_schemas;
\c citus user_service
CREATE TABLE users (
    id SERIAL PRIMARY KEY,
    name VARCHAR(255) NOT NULL,
    email VARCHAR(255) NOT NULL
);

Docker 启动 user 服务

docker run -d --name usersvc \
           -p 6000:5000 \
           -e DB_HOST='172.18.60.11' \
           -e DB_NAME=citus \
           registry.cn-heyuan.aliyuncs.com/hacker-linner/citus-microsvc-user:1.0.1

创建一些用户

curl -X POST -H "Content-Type: application/json" -d '[
  {"name": "John Doe", "email": "[email protected]"},
  {"name": "Jane Smith", "email": "[email protected]"},
  {"name": "Mike Johnson", "email": "[email protected]"},
  {"name": "Emily Davis", "email": "[email protected]"},
  {"name": "David Wilson", "email": "[email protected]"},
  {"name": "Sarah Thompson", "email": "[email protected]"},
  {"name": "Alex Miller", "email": "[email protected]"},
  {"name": "Olivia Anderson", "email": "[email protected]"},
  {"name": "Daniel Martin", "email": "[email protected]"},
  {"name": "Sophia White", "email": "[email protected]"}
]' http://localhost:6000/users
{"message":"Users created successfully","user_ids":[1,2,3,4,5,6,7,8,9,10]}

列出已创建的用户

curl http://localhost:6000/users

验证数据是否被分配到 worker 节点

docker exec -it citus-coordinator psql -U citus

select nodename,nodeport, table_name, pg_size_pretty(sum(shard_size))
from citus_shards
group by nodename,nodeport, table_name;
   nodename    | nodeport |     table_name     | pg_size_pretty 
---------------+----------+--------------------+----------------
 172.18.60.12  |     5432 | user_service.users | 32 kB
(1 row)

Refs

标签:name,Citus,citus,12.1,ECS,example,docker,com,email
From: https://www.cnblogs.com/hacker-linner/p/17930998.html

相关文章

  • 12.16信息学笔记——ST表
    TIP:最近想先整一整数据结构,之后再整算法。来搞ST表,它是基于倍增思想的。首先知道它维护的是可重复贡献的区间问题。考虑一些可以维护的问题:区间最大值、区间最小值、区间GCD、区间按位或……我们用区间最大值来讲解。考虑定义f(i,j)代表区间[i,i+2j-1]的最大值。显然有f(i,......
  • jumpserver连接ecs实例报错:UNREACHABLE! => {"changed": false, "msg": "Failed to
     报错分析思路:1.是ssh密钥设置有没有对接2.防火墙拦截问题3.用户设置问题4.sshd配置问题 问题解决: 无法与221.229.216.39端口35846进行协商:找不到匹配的主机密钥类型。他们提供的是:ssh-rsa、ssh-dss[preauth]在sshd配置中加上ssh-rsa和ssh-dss是两种主机密钥算......
  • ECS Initial(Ubuntu22)
    SummaryThereisanewserverwhosesystemisubuntu22.04StepsUpgradesystempackagesaptupdate-y&&aptupgrade-y&&aptinstall-ypython-is-python3python3-venvzsh&&aptautoremove-yRebootrebootNewuserandsud......
  • 使用 PostgreSQL 16.1 + Citus 12.1 作为多个微服务的分布式 Sharding 存储后端
    在本教程中,我们将使用PostgreSQL16.1+Citus12.1作为多个微服务的存储后端,演示此类集群的样例设置和基本操作。Citus12.1实验环境设置Docker快速启动Citus分布式集群docker-compose.ymlversion:"3"services:master:container_name:"${COMPOSE_PROJECT......
  • 12.15数学学习笔记——1.1集合的概念
    把研究对象统称为元素,把一些元素组成的总体叫做集合。给定一个集合,那么一个元素在或者不在这个集合中就确定了。一个给定集合中的元素是互不相同的(集合中的元素是不重复出现的)。只要构成两个集合的元素是一样的,我们就称这两个集合是相等的。如果说a是集合A的元素,就说a属于集合......
  • 12.15信息学笔记——尺取法
    怎么说呢,这应该可以算作是一个算法吧,有另一个名字叫做“双指针”。通常,使用尺取法的序列应该是有序的,要先排序。同时,问题和序列的区间有关,且要操作两个变量。对于这种问题,我们可以考虑在一个循环内同时处理两个下标,从而优化时间复杂度。一般有两种方法:1.反向扫描(在中间汇合)......
  • 上周热点回顾(12.18-12.24)
    热点随笔:· 【故障公告】疑似未知知名搜索引擎蜘蛛来袭,一台负载均衡带宽跑满 (博客园团队)· 如何快速优化几千万数据量的订单表 (程序员济癫)· 微软官方发布的C#开源、免费、实用的Windows工具箱 (追逐时光者)· 2023年最后一波工具安利「GitHub热点速览」 (削微寒)......
  • 12.14
    实验8Flink初级编程实践 1.实验目的(1)通过实验掌握基本的Flink编程方法。(2)掌握用IntelliJIDEA工具编写Flink程序的方法。2.实验平台(1)Ubuntu18.04(或Ubuntu16.04)。(2)IntelliJIDEA。(3)Flink1.9.1。3.实验步骤(1)使用IntelliJIDEA工具开发WordCount程序在Linux系统中安装In......
  • 12.18
    写数据结构作业 7-1哈夫曼树哈夫曼编码输入一组整型权值,构建哈夫曼树,实现哈夫曼编码,并输出带权路径长度。输入格式:第一行输入叶子结点个数,接着依次输入权值。若叶子数为0或1,则输出error输出格式:输出哈夫曼编码,输出带权路径长度。输入样例:在这里给出一组输入。例如:8......
  • #9 2023.12.18
    怎么做题速度单调递减了。464.THUPC2024Pre省流:我是演员。M我过的题。K我过的题。暴力打表就行了,我在本地打了三分钟就出答案了!很快。J我过的题。考虑\(v\)什么时候对\(len=k\)没有贡献。那就是\(v\)把序列分成了若干区间\([l,r]\),\(ban\)掉的区间就是\([......