首页 > 其他分享 >doris集群环境部署

doris集群环境部署

时间：2024-03-13 17:38:16浏览次数：29  
标签：host01 部署 192.168 集群 fe root 节点 doris

环境:
OS:Centos 7
DB:doris 2.1.1

192.168.1.101 fe be broker
192.168.1.103 fe be broker
192.168.1.105 fe be broker

 

说明:
doris2.0开始fe、be、brokser都是使用同一个安装包,解压后分别有fe、be、broker目录

1.获取安装介质
https://doris.apache.org/zh-CN/download/
我这里下载的是
apache-doris-2.1.0-bin-x64.tar.gz

根据机器是否支持avx2找相应的包进行下载

cat /proc/cpuinfo |grep avx2
[root@host01 soft]# cat /proc/cpuinfo |grep avx2
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc eagerfpu pni pclmulqdq monitor ssse3 cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single fsgsbase avx2 invpcid rdseed clflushopt md_clear flush_l1d arch_capabilities

我这里是支持的

 

2.安装java

每台机器都要进行安装

[root@host01 soft]# java -version
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)

 

3.设置系统最大打开文件句柄数
每台机器都要配置

vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

 

4.关闭交换分区
swapoff -a ##临时关闭
永久删除Swap挂载
vim /etc/fstab
# 注释 swap 行
重启系统

 


5.关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service

 

6.修改/etc/sysctl.conf
#设置系统中每个进程可以拥有的最大内存映射区域数量
vi /etc/sysctl.conf

vm.max_map_count=2000000

#加载并应用内核
sysctl -p

 

#################安装fe########################

1.解压
在第一个节点上解压
[root@host01 soft]# tar -xvf apache-doris-2.1.0-bin-x64.tar.gz
[root@host01 soft]# mv apache-doris-2.1.0-bin-x64 /opt/doris

 

2.修改fe配置参数
修改第一个节点的配置

mysql_service_nio_enabled = true
priority_networks = 192.168.1.0/24  #新增该字段，特别是多网卡服务器上，该参数必须添加
qe_query_timeout_second=3000 ##超时设置，最大只能设置259200秒,即72小时
enable_batch_delete_by_default=true ##启用批量删除

 

3.启动第一个节点
[root@host01 ~]#/opt/doris/fe/bin/start_fe.sh --daemon

[root@host01 ~]#/opt/doris/fe/bin/stop_fe.sh ##停止命令

 

4.查看是否启动
[root@host01 doris]# jps
16986 DorisFE
17210 Jps

查看相应端口情况
[root@host01 fe]# ss -nlp|grep 9030
[root@host01 fe]# ss -nlp|grep 8030
[root@host01 fe]# ss -nlp|grep 9020
[root@host01 fe]# ss -nlp|grep 9010

 

5.mysql客户端登录
需要在节点上安装mysql客户端,或是直接解压mysql安装包即可使用

[root@host01 bin]# /opt/mysql57/bin/mysql -uroot -P 9030 -h 127.0.0.1  #直接回车，默认没有密码
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 0
Server version: 5.7.99

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> SHOW PROC '/frontends' \G;
*************************** 1. row ***************************
              Name: fe_3708e8f3_f6f4_4446_a950_87d8bae2075d
              Host: 192.168.1.188
       EditLogPort: 9010
          HttpPort: 8030
         QueryPort: 9030
           RpcPort: 9020
ArrowFlightSqlPort: -1
              Role: FOLLOWER
          IsMaster: true
         ClusterId: 591245542
              Join: true
             Alive: true
 ReplayedJournalId: 67
     LastStartTime: 2024-03-13 13:59:02
     LastHeartbeat: 2024-03-13 14:03:53
          IsHelper: true
            ErrMsg: 
           Version: doris-2.1.0-rc11-91efb6a43d
  CurrentConnected: Yes
1 row in set (0.13 sec)

ERROR: 
No query specified

发现这里ip是192.168.1.188 这个是该机器上的vip地址,真实地址是:192.168.1.101
这里不使用vip,需要将vip删掉掉,删除掉发现fe无法启动,后面我是重新安装才解决问题的.

 

6.另外两个节点也同样进行解压
节点2
[root@host02 soft]# tar -xvf apache-doris-2.1.0-bin-x64.tar.gz
[root@host02 soft]# mv apache-doris-2.1.0-bin-x64 /opt/doris

节点3
[root@host03 soft]# tar -xvf apache-doris-2.1.0-bin-x64.tar.gz
[root@host03 soft]# mv apache-doris-2.1.0-bin-x64 /opt/doris

 

7.将节点1上的配置文件拷贝到另外两个节点
在节点1上操作
scp /opt/doris/fe/conf/fe.conf [email protected]:/opt/doris/fe/conf/
scp /opt/doris/fe/conf/fe.conf [email protected]:/opt/doris/fe/conf/

 

8.启动另外两个节点
这里确保节点1已经正在运行了,启动剩下的2个节点
节点2:
[root@host02 soft]#/opt/doris/fe/bin/start_fe.sh --helper 192.168.1.101:9010 --daemon

节点3:
[root@host03 soft]#/opt/doris/fe/bin/start_fe.sh --helper 192.168.1.101:9010 --daemon

 

9.fe添加新节点
这里在节点1上操作

/opt/mysql57/bin/mysql -uroot -P 9030 -h 192.168.1.101
mysql> ALTER SYSTEM ADD FOLLOWER "192.168.1.103:9010";
Query OK, 0 rows affected (0.08 sec)

mysql> ALTER SYSTEM ADD FOLLOWER "192.168.1.105:9010";
Query OK, 0 rows affected (0.05 sec)

 

10.再次查看fe情况
我这里是登录节点1上查看,登录其他节点查看也是可以的
/opt/mysql57/bin/mysql -uroot -P 9030 -h 192.168.1.101
SHOW PROC '/frontends' \G; #确保相关节点 join和active值为true

mysql> SHOW PROC '/frontends' \G;
*************************** 1. row ***************************
              Name: fe_32c6dcbb_138c_4379_94de_d5561b856474
              Host: 192.168.1.103
       EditLogPort: 9010
          HttpPort: 8030
         QueryPort: 9030
           RpcPort: 9020
ArrowFlightSqlPort: -1
              Role: FOLLOWER
          IsMaster: false
         ClusterId: 424480426
              Join: true
             Alive: true
 ReplayedJournalId: 195
     LastStartTime: 2024-03-13 15:05:38
     LastHeartbeat: 2024-03-13 15:11:54
          IsHelper: true
            ErrMsg: 
           Version: doris-2.1.0-rc11-91efb6a43d
  CurrentConnected: No
*************************** 2. row ***************************
              Name: fe_74db1be3_65d7_49bb_a4ac_ef0f6dd72197
              Host: 192.168.1.105
       EditLogPort: 9010
          HttpPort: 8030
         QueryPort: 9030
           RpcPort: 9020
ArrowFlightSqlPort: -1
              Role: FOLLOWER
          IsMaster: false
         ClusterId: 424480426
              Join: true
             Alive: true
 ReplayedJournalId: 195
     LastStartTime: 2024-03-13 15:05:52
     LastHeartbeat: 2024-03-13 15:11:54
          IsHelper: true
            ErrMsg: 
           Version: doris-2.1.0-rc11-91efb6a43d
  CurrentConnected: No
*************************** 3. row ***************************
              Name: fe_5e401a1b_6e76_4819_90e8_afb211bab1ad
              Host: 192.168.1.101
       EditLogPort: 9010
          HttpPort: 8030
         QueryPort: 9030
           RpcPort: 9020
ArrowFlightSqlPort: -1
              Role: FOLLOWER
          IsMaster: true
         ClusterId: 424480426
              Join: true
             Alive: true
 ReplayedJournalId: 197
     LastStartTime: 2024-03-13 14:56:21
     LastHeartbeat: 2024-03-13 15:11:54
          IsHelper: true
            ErrMsg: 
           Version: doris-2.1.0-rc11-91efb6a43d
  CurrentConnected: Yes
3 rows in set (0.19 sec)

ERROR: 
No query specified

 

10.这个时候可以登录fe界面
http://192.168.1.101:8030
http://192.168.1.103:8030
http://192.168.1.105:8030
账号是root,密码为空

查看fe情况
http://192.168.1.101:8030/System?path=/frontends

 

##########################部署be##################################

1.修改配置文件
vi /opt/doris/be/conf/be.conf

brpc_port = 8060
storage_root_path = ${DORIS_HOME}/storage ##数据存储路径,默认是注释掉的,开启即可,路径不存在的话需要创建
                                                                            ##我这里的路径是:/opt/doris/be/storage

 

2.启动BE和Broker
#三个节点都执行以下操作

[root@host01 storage]# /opt/doris/be/bin/start_be.sh --daemon
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

[root@host01 storage]# /opt/doris/be/bin/start_be.sh --daemon
Please disable swap memory before installation.

[root@host01 storage]#/opt/doris/extensions/apache_hdfs_broker/bin/start_broker.sh --daemon

 

 

3.查看BE和Broker进程

[root@host01 conf]# jps
5252 DorisFE
15671 Jps
15624 BrokerBootstrap
13134 DorisBE

[root@host01 conf]# ss -nlp|grep 8060 ##BE端口 brpc_port
[root@host01 conf]# ss -nlp|grep 9050 ##BE端口 heartbeat_service_port
[root@host01 conf]# ss -nlp|grep 9060 ##BE端口 be_port
[root@host01 conf]# ss -nlp|grep 8040 ##BE端口 webserver_port

[root@localhost conf]# ss -nlp|grep 8000 ##Broker端口

 

5.数据库添加节点
登录fe,我这里从节点1上登录

#添加BE节点
SQL>ALTER SYSTEM ADD BACKEND "192.168.1.101:9050";
SQL>ALTER SYSTEM ADD BACKEND "192.168.1.103:9050";
SQL>ALTER SYSTEM ADD BACKEND "192.168.1.105:9050";
SQL>SHOW BACKENDS \G;

#添加Broker节点
SQL>ALTER SYSTEM ADD BROKER my_broker "192.168.1.101:8000";
SQL>ALTER SYSTEM ADD BROKER my_broker "192.168.1.103:8000";
SQL>ALTER SYSTEM ADD BROKER my_broker "192.168.1.105:8000";
SQL>SHOW BROKER \G;

 

标签：host01,部署,192.168,集群,fe,root,节点,doris
From： https://www.cnblogs.com/hxlasky/p/18071117

相关文章

  • Docker部署运行kkFileView
     kkfileview的预览文件位于容器内/opt/kkFileView-4.1.0/filekkfileview的配置文件位于容器内/opt/kkFileView-4.1.0/config目录可能随着版本号变化，建议先运行之后进去看一下实际的目录（dockerexec-it容器idbash）之后把配置文件拷贝出来，当然如果已有配置文件直接运行映射目......
  • docker-compose安装minio集群
    一、docker-compose安装minio单机版直接使用docker安装单机版，可用于测试创建.env环境文件MINIO_PASSWORD=minio@123创建docker-compose.yml环境文件version:"3"services:minio:image:minio/miniocontainer_name:minioports:-9000:9000......
  • 节点加入k8s 集群的步骤
    使用kubeadm初始化集群成功后会返回join命令，里面包含token,discovery-token-ca-cert-hash等参数token的过期时间是24hcertrificate-key过期时间是2小时如果不记得，可以执行下面的命令获取1.如果没有超过24h，用下面的命令获取（主要查看是否过期）kubeadmtokenlist2.......
  • ElasticSearch高可用部署
    简单说明我们在部署ElasticSearch高可用集群时，要规划好集群的规模，每个节点的职责，规划好后续的水平扩展方案，再进行部署。核心概念Cluster：集群，由一个或多个Elasticsearch节点组成。Node：节点，组成Elasticsearch集群的服务单元，同一个集群内节点的名字不能重复。通常在一个节点......
  • ChatGLM3本机部署
    环境配置参照官方说明，创建虚拟python环境，并安装所需部署包。说明https://github.com/THUDM/ChatGLM3/blob/main/composite_demo/README.md本地模型加载1、先按照官方指引，将模型下载在本地。2、修改模型加载地址。MODEL_PATH和TOKENIZER_PATH，都修改注意：通过修改client.py......
  • redis集群原理
    Redis集群是Redis数据库的分布式解决方案，用于提高性能、扩展性和容错能力。以下是Redis集群的一些核心原理：数据分片（Sharding）：Redis集群通过将数据分片存储在多个节点上来实现水平扩展。每个节点只负责部分数据的存储和处理，从而分担整个系统的负载。主从复制（Master-Slave......
  • 使用kubeadm部署Kubernetes 1.26及其它版本
    1.系统配置环境信息:系统：CentOSLinuxrelease7.6.1810(Core)k8s版本：1.26.0(可自己选择)IP主机名规划角色192.168.223.123auto-inspaction-1master192.168.223.68auto-inspaction-0node192.168.223.73auto-inspaction-2node在各个主机上完成下......
  • 一键开启 GPU 闲置模式，基于函数计算低成本部署 Google Gemma 模型服务
    作者：王骜本文介绍如何使用函数计算GPU实例闲置模式低成本、快速的部署GoogleGemma模型服务。背景信息Google在2024年02月21日正式推出了自家的首个开源模型族Gemma，并同时上架了四个大型语言模型，提供了2B和7B两种参数规模的版本，每种都包含了预训练版本（base模......
  • 升级kubeadm 集群（只有master单节点）
    具体步骤可以参考kubernetes官网：https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/确定升级到哪个版本示例是从同版本1.28.2升级到1.28.7所以使用操作系统的包管理器找到最新可按照的版本中，是否有需要的补丁版本sudoyumlist--showdupl......
  • docker-compose 部署gitlab
    主机ip：192.168.1.139[root@localhostgitlab_docker]#catdocker-compose.ymlversion:'3.1'services:gitlab:image:'gitlab/gitlab-ce:latest'container_name:gitlab#随着docker重启自动启动restart:alwaysenvironment:......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99