首页 > 数据库 >OLAP系列之分析型数据库clickhouse主从副本模式(三)

OLAP系列之分析型数据库clickhouse主从副本模式(三)

时间:2023-07-24 17:48:07浏览次数:43  
标签:cluster 192.168 test02 OLAP test local 主从 clickhouse

一、测试单分片,单副本或多副本模式

# 1.停止集群
systemctl stop clickhouse-server

# 修改配置文件
vim /etc/clickhouse-server/config.d/metrika.xml
    <remote_servers>
        <clickhouse_cluster_3shards_1replicas>
        <!-- 1个分片,1个副本 -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.12.91</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.12.90</host>
                    <port>9000</port>
                </replica>
            </shard>
        </clickhouse_cluster_3shards_1replicas>
    </remote_servers>
<!-- 复制标识的配置,也称为宏配置,这里唯一标识一个副本名称,每个实例配置都是唯一的 -->
    <macros>
        <!-- 当前节点在在集群中的分片编号,需要在集群中唯一,2个节点都为01-->
        <shard>01</shard>
        <!-- 副本的唯一标识,需要在单个分片的多个副本中唯一,cluster01,cluster02 -->
        <replica>cluster01</replica>
    </macros>

查询集群
clickhouse-clicent --password
 :) select * from system.clusters;

SELECT *
FROM system.clusters

Query id: 66d1008c-c5db-43bf-b799-7f8eebe23cc3

┌─cluster──────────────────────────────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─────┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ clickhouse_cluster_3shards_1replicas │         1 │            1 │           1 │ 192.168.12.91 │ 192.168.12.91 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ clickhouse_cluster_3shards_1replicas │         1 │            1 │           2 │ 192.168.12.90 │ 192.168.12.90 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
└──────────────────────────────────────┴───────────┴──────────────┴─────────────┴───────────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

2 rows in set. Elapsed: 0.001 sec.

二、测试

1.在其中一个节点建库
CREATE DATABASE IF NOT EXISTS test02 ON CLUSTER clickhouse_cluster_3shards_1replicas;

┌─host──────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ 192.168.12.91 │ 9000 │      0 │       │                   1 │                0 │
│ 192.168.12.90 │ 9000 │      0 │       │                   0 │                0 │
└───────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

2.创建本地表
CREATE TABLE test02.test_local ON CLUSTER 'clickhouse_cluster_3shards_1replicas' (
ts DateTime,
tvid Int32,
area Int32,
count Int32
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/test02/test_local/{shard}', '{replica}')
PARTITION BY toYYYYMMDD(ts) 
ORDER BY (ts,tvid,area);

show tales;
┌─name───────┐
│ test_local │
└────────────┘

# 3.创建分布式表
CREATE TABLE test02.test_all ON CLUSTER 'clickhouse_cluster_3shards_1replicas'  
AS test02.test_local  
ENGINE = Distributed(clickhouse_cluster_3shards_1replicas,test02,test_local,tvid);

# 像分布式表插入一条数据
insert into test02.test_all values('2023-07-24 17:27:20',6,11011,100);

# 查询分布式表和本地表
1 :) select * from test_local;

SELECT *
FROM test_local

Query id: b8d53bc5-c795-4c0f-8522-adaf4fcb6611

┌──────────────────ts─┬─tvid─┬──area─┬─count─┐
│ 2023-07-24 17:27:20 │    6 │ 11011 │   100 │
└─────────────────────┴──────┴───────┴───────┘

1 row in set. Elapsed: 0.002 sec. 

 1:) select * from test_all;

SELECT *
FROM test_all

Query id: 6c2efa70-9cc3-4334-b238-90a5b7a8b5c6

┌──────────────────ts─┬─tvid─┬──area─┬─count─┐
│ 2023-07-24 17:27:20 │    6 │ 11011 │   100 │
└─────────────────────┴──────┴───────┴───────┘

1 row in set. Elapsed: 0.002 sec.

查询分布式表和本地表在副本中的数据是否一样,如果数据一致,说明副本生效

 

标签:cluster,192.168,test02,OLAP,test,local,主从,clickhouse
From: https://www.cnblogs.com/yangmeichong/p/17577857.html

相关文章

  • 如何发现及处理 MySQL 主从延迟问题
    在PerconaMySQL支持团队中,我们经常看到客户抱怨复制延迟的问题。当然,这对MySQL用户来说并不是什么新鲜事,多年来我们在MySQL性能博客上发表过一些关于这个主题的文章(过去有两篇特别受欢迎的文章:"ReasonsforMySQLReplicationLag"和“ManagingSlaveLagwithMySQLRep......
  • MySQL 主从复制与读写分离
    目录一、前言二、MySQL主从复制1.MySQL的复制类型2.MySQL主从复制的工作过程3.数据库主从数据不一致解决方案4.MySQL从服务器挂了恢复后怎么保证数据同步?5.半同步复制什么情况下会降为异步复制?什么时候又会恢复同步复制?三、MySQL主从复制延迟原因和优化方法1.主从复制延......
  • linux 主从复制和读写分离
    企业中高并发时,为了追求性价比,MySQL必须采用主从复制和读写分离,这样可以提供性能和高可用。目录一、主从复制原理二、主从复制实验三、MySQL读写分离四、读写分离实验五、总结      一、主从复制原理  1MySQL的复制类型 基于语句的复制(STATEMENT,......
  • mysql如何减少主从复制延迟
    如果延迟比较大,就先确认以下几个因素: 从库硬件比主库差,导致复制延迟 主从复制单线程,如果主库写并发太大,来不及传送到从库,就会导致延迟。更高版本的mysql可以支持多线程复制。慢sql语句过多网络延迟master负载(主库读写压力大,导致复制延迟,架构的前端要加buffer及缓存层) ......
  • redis主从模式修改密码
    Redis主从模式修改密码概述在Redis主从模式中,需要修改密码时,需要在主节点上修改密码,并且同步到所有的从节点上。下面将详细介绍如何实现这个过程。修改密码流程下面是修改Redis主从模式密码的流程:步骤描述步骤1连接到主节点步骤2修改主节点密码步骤3获取从......
  • OLAP系列之分析型数据库clickhouse集群部署(二)
    一、环境准备IP配置clickhouse版本zookeeper版本myid192.168.12.88Centos7.94核8G22.8.20.113.7.13192.168.12.90Centos7.94核8G22.8.20.113.7.12192.168.12.91Centos7.94核8G22.8.20.113.7.11    clickhouse版本选择:可以参照阿里......
  • mongodb主从架构
    MongoDB主从架构实现简介在MongoDB中,主从架构又称为复制集(replset),是一种可用性和可靠性的解决方案。主从架构中,有一个主节点(Primary)和多个从节点(Secondary)。主节点负责处理所有的写操作和读操作,而从节点只负责读操作,通过复制主节点的数据保持与主节点的数据同步。流程下面是......
  • OLAP系列之分析型数据库clickhouse单机版部署(一)
    一、概述官网:https://clickhouse.com/docs/zhClickHouse是Yandex于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告.clickhouse优势:与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,其特点:1.列式存储数据库,数据......
  • python监控redis主从 双主 VIP切换
    [MySQL]master_host=master_port=3306master_user=rootmaster_password=slave_host=[DingTalk]#生产prod_webhook_url=https://oapi.dingtalk.com/robot/send?access_token=prod_secret=#测试dev_webhook_url=https://oapi.dingtalk.com/robot/send?access_tok......
  • mysql主从数据库
    今日配置主从数据库,在配置完成时,对主数据库进行创建库操作,从数据库正常同步。但直接对从数据库进行删库操作后。从数据库的sql能力无法正常进行,但主从数据库的IO通信,没有问题。在重新配置主从数据库后。问题解决。 ......