首页 > 其他分享 >Apache DorisDB 线上部署

Apache DorisDB 线上部署

时间：2024-05-24 18:11:00浏览次数：24  
标签：10 1.2 203.151 线上 172.16 Apache DorisDB data doris

Apache DorisDB 线上部署

一、机器资源（初始）

机器IP Hostname 内存 CPU 磁盘
172.16.203.151 dorisdb203-151 16g 4核 500G
172.16.203.152 dorisdb203-152 16g 4核 500G
172.16.203.153 dorisdb203-153 16g 4核 500G

二、角色分配

机器IP 角色
172.16.203.151 FE（Follower）、BE
172.16.203.152 FE（Observer）、BE
172.16.203.153 BE

三、准备工作

1. 下载安装包

# 确认安装的服务器的CPU是否支持 avx2 指令: 
# 命令：cat /proc/cpuinfo |grep avx2

# 支持 avx2
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.7.1-bin-x64.tar.xz

# 不支持 avx2
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.7.1-bin-x64-noavx2.tar.xz

2. 安装 jdk, 添加环境变量

tar -zxvf /data/packages/jdk-8u141-linux-x64.tar.gz -C /data/software/

vim /etc/profile

# 添加一下内容

# JAVA_HOME
export JAVA_HOME=/data/software/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

3. 修改系统配置

（1）设置系统最大打开文件句柄数

vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536

（2）关闭交换分区（swap）（线上永久关闭）

临时关闭

# 临时关闭；关闭swap主要是为了性能考虑
# 0值会命令内核不要使用swap，只有当free和文件使用的内存页数量少于一个zone的高水位，才会使用swap。
echo 0 | sudo tee /proc/sys/vm/swappiness
swapoff -a

永久关闭

# 永久关闭，调整 swappiness 参数
sed -ri 's/.*swap.*/#&/' /etc/fstab
 
vi /etc/sysctl.conf
# 修改 vm.swappiness 的修改为 0
vm.swappiness=0

# 使配置生效
sysctl -p

（3）Linux内核参数 vm.max_map_count

echo 'vm.max_map_count=2000000' >>/etc/sysctl.conf

四、部署 Dorisdb

1. 解压文件（三台机器均执行）

tar -zxvf /data/packages/apache-doris-1.2.7.1-bin-x64.tar.xz -C /data/software/
mv /data/software/apache-doris-1.2.7.1-bin-x64/ /data/software/doris-1.2.7

2. 新建数据文件夹（三台机器均执行）

# 若此机器不启动 fe 实例, 可不执行
mkdir -p /data/dorisdb_data/doris-meta

# 若此机器不启动 be 实例, 可不执行
mkdir -p /data/dorisdb_data/storage

3. 修改 fe 配置文件, 增加以下内容, 其他配置保持默认值

vim /data/software/doris-1.2.7/fe/conf/fe.conf

机器IP：

  • 172.16.203.151
meta_dir = /data/dorisdb_data/doris-meta
priority_networks = 172.16.203.151/24
  • 172.16.203.152
meta_dir = /data/dorisdb_data/doris-meta
priority_networks = 172.16.203.152/24

注意：

4. 修改 be 配置文件, 增加以下内容, 其他配置保持默认值

vim /data/software/doris-1.2.7/fe/conf/fe.conf

机器IP：

  • 172.16.203.151
JAVA_HOME=/data/software/jdk1.8.0_141
priority_networks = 172.16.203.151/24
storage_root_path = /data/dorisdb_data/storage
  • 172.16.203.152
JAVA_HOME=/data/software/jdk1.8.0_141
priority_networks = 172.16.203.152/24
storage_root_path = /data/dorisdb_data/storage
  • 172.16.203.153
JAVA_HOME=/data/software/jdk1.8.0_141
priority_networks = 172.16.203.153/24
storage_root_path = /data/dorisdb_data/storage

5. 启动 fe

FE 分为 Leader，Follower 和 Observer 三种角色

默认：第一个启动的 FE 自动成为 Leader，下面输出可以看到 IsMaster: true，在此基础上，可以添加若干 Follower 和 Observer

  • 172.16.203.151 （Leader）
cd /data/software/doris-1.2.7/fe
./bin/start_fe.sh --daemon

# 默认没有密码
mysql -h 172.16.203.151 -P 9030 -uroot

mysql> show frontends\G;
*************************** 1. row ***************************
             Name: 172.16.203.151_9010_1698139318444
               IP: 172.16.203.151
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1453119857
             Join: true
            Alive: true
ReplayedJournalId: 18444
    LastHeartbeat: 2023-10-25 10:26:44
         IsHelper: true
           ErrMsg:
          Version: doris-1.2.7-1-Unknown
 CurrentConnected: Yes
  • 172.16.203.152（Observer）

先在mysql中添加，再启动 fe

mysql> ALTER SYSTEM ADD OBSERVER "172.16.203.152:9010";

# 首次启动需要使用 命令·1, 其他情况使用 命令·2

# 命令·1
cd /data/software/doris-1.2.7/fe
./bin/start_fe.sh --helper 172.16.203.151:9010 --daemon

#####################################################################

# 命令·2
cd /data/software/doris-1.2.7/fe
./bin/start_fe.sh --daemon

6. 查看 fe 实例 show frontends\G;

mysql> show frontends\G;
*************************** 1. row ***************************
             Name: 172.16.203.152_9010_1698140077600
               IP: 172.16.203.152
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: OBSERVER
         IsMaster: false
        ClusterId: 1453119857
             Join: true
            Alive: true
ReplayedJournalId: 18661
    LastHeartbeat: 2023-10-25 10:38:55
         IsHelper: false
           ErrMsg:
          Version: doris-1.2.7-1-Unknown
 CurrentConnected: No
*************************** 2. row ***************************
             Name: 172.16.203.151_9010_1698139318444
               IP: 172.16.203.151
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1453119857
             Join: true
            Alive: true
ReplayedJournalId: 18663
    LastHeartbeat: 2023-10-25 10:38:55
         IsHelper: true
           ErrMsg:
          Version: doris-1.2.7-1-Unknown
 CurrentConnected: Yes
2 rows in set (0.03 sec)

7. 启动 be

先在mysql中添加，再启动 be

mysql> ALTER SYSTEM ADD BACKEND "172.16.203.151:9050";
mysql> ALTER SYSTEM ADD BACKEND "172.16.203.152:9050";
mysql> ALTER SYSTEM ADD BACKEND "172.16.203.153:9050";
  • 172.16.203.151
cd /data/software/doris-1.2.7/be
./bin/start_be.sh --daemon
  • 172.16.203.152
cd /data/software/doris-1.2.7/be
./bin/start_be.sh --daemon
  • 172.16.203.153
cd /data/software/doris-1.2.7/be
./bin/start_be.sh --daemon

8. 查看 be 实例 show proc '/backends'\G;

mysql> SHOW PROC '/backends'\G;
*************************** 1. row ***************************
              BackendId: 10004
                Cluster: default_cluster
                     IP: 172.16.203.152
               HostName: 172.16.203.152
          HeartbeatPort: 9050
                 BePort: 9060
               HttpPort: 8040
               BrpcPort: 8060
          LastStartTime: 2023-10-24 17:39:12
          LastHeartbeat: 2023-10-25 10:46:11
                  Alive: true
   SystemDecommissioned: false
  ClusterDecommissioned: false
              TabletNum: 0
       DataUsedCapacity: 0.000
          AvailCapacity: 493.198 GB
          TotalCapacity: 499.756 GB
                UsedPct: 1.31 %
         MaxDiskUsedPct: 1.31 %
     RemoteUsedCapacity: 0.000
                    Tag: {"location" : "default"}
                 ErrMsg:
                Version: doris-1.2.7-1-Unknown
                 Status: {"lastSuccessReportTabletsTime":"2023-10-25 10:45:46","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
               NodeRole: mix
*************************** 2. row ***************************
              BackendId: 10005
                Cluster: default_cluster
                     IP: 172.16.203.153
               HostName: 172.16.203.153
          HeartbeatPort: 9050
                 BePort: 9060
               HttpPort: 8040
               BrpcPort: 8060
          LastStartTime: 2023-10-24 17:42:29
          LastHeartbeat: 2023-10-25 10:46:11
                  Alive: true
   SystemDecommissioned: false
  ClusterDecommissioned: false
              TabletNum: 0
       DataUsedCapacity: 0.000
          AvailCapacity: 493.253 GB
          TotalCapacity: 499.756 GB
                UsedPct: 1.30 %
         MaxDiskUsedPct: 1.30 %
     RemoteUsedCapacity: 0.000
                    Tag: {"location" : "default"}
                 ErrMsg:
                Version: doris-1.2.7-1-Unknown
                 Status: {"lastSuccessReportTabletsTime":"2023-10-25 10:45:28","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
               NodeRole: mix
*************************** 3. row ***************************
              BackendId: 10003
                Cluster: default_cluster
                     IP: 172.16.203.151
               HostName: dorisdb203-151
          HeartbeatPort: 9050
                 BePort: 9060
               HttpPort: 8040
               BrpcPort: 8060
          LastStartTime: 2023-10-24 17:39:04
          LastHeartbeat: 2023-10-25 10:46:11
                  Alive: true
   SystemDecommissioned: false
  ClusterDecommissioned: false
              TabletNum: 0
       DataUsedCapacity: 0.000
          AvailCapacity: 493.234 GB
          TotalCapacity: 499.756 GB
                UsedPct: 1.30 %
         MaxDiskUsedPct: 1.30 %
     RemoteUsedCapacity: 0.000
                    Tag: {"location" : "default"}
                 ErrMsg:
                Version: doris-1.2.7-1-Unknown
                 Status: {"lastSuccessReportTabletsTime":"2023-10-25 10:45:38","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
               NodeRole: mix
3 rows in set (0.02 sec)

9. 修改密码

mysql -h 172.16.203.151 -P 9030 -uroot

mysql> SET PASSWORD FOR 'root' = PASSWORD('123456');

五、参考链接

官方网站：https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/elastic-expansion/

博客：https://zhuanlan.zhihu.com/p/559718796?utm_id=0

标签：10,1.2,203.151,线上,172.16,Apache,DorisDB,data,doris
From： https://www.cnblogs.com/yzyang/p/18211463

相关文章

  • 你们线上突发OOM，是如何快速定位OOM问题？
    当我们的请求进来，需要创建对象，那就需要去内存中申请空间，这时候如果内存满了就会触发FullGC,GC之后如果内存依然爆满，这时候就会出现OutOfMemeryError的异常。那如果说OOM我们的应用会挂掉吗？其实不一定，如果某些请求不需要申请堆内存空间，依然可以正常请求。如果说并发量非常高，并且......
  • 通过ansible自动化部署apache服务 转载
    目录1安装ansible2ansible配置3创建角色目录4创建角色内的目录结构5编写tasks/main.yml6编写templates/index.html.j27创建playbook8运行playbook9验证结果10验证后卸载apache 使用Ansible来部署Apache服务是一个很好的选择，因......
  • 欢迎报名 Apache Seata (incubating) 开源之夏
    作者：Seata社区Part1：欢迎大家报名ApacheSeata(incubating)开源之夏2024课题开源之夏2024学生报名期为 4月30 日-6月3日，欢迎报名ApacheSeata（incubating）2024课题！在这里，您将有机会深入探讨分布式事务的理论和应用，并与来自不同背景的同学一起合作完成实践项目......
  • 通过MVEL表达式和Apache Chain职责链模式解耦MQ消息处理节点的实践应用
    导读本文主要讲解了MVEL表达式和责任链设计模式相结合一起的消息处理解决方案设计、解耦消息处理节点以及方便代码维护扩展。通过“订单拆单消息”的接入作为具体实践案例，简要阐述了MVEL表达式和ApacheChain职责链设计模式应用场景。希望通过本文，读者可以对MVEL表达式和责任链......
  • ansible自定义模板部署apache服务
    使用Ansible来部署Apache服务是一个很好的选择，因为它可以自动化部署过程，确保所有的服务器上都有相同的配置。以下是一个简单的步骤指南，展示如何使用Ansible来部署Apache服务：1创建角色目录首先，在/etc/ansible/roles下创建apache目录：mkdir-p/etc/ansible/roles/apache2......
  • 使用Docker Desktop部署Apache APISIX
    使用DockerDesktop部署ApacheAPISIX说明测试系统：Windows11专业版23H2Docker：DockerDesktopv4.29.0+关于路径，“/e/Soft/conf/apisix/conf/config.yaml”代表windows系统下的文件“E:\Soft\conf\apisix\conf\config.yaml”Windows使用PowerShell运行Docker的Run......
  • Apache Zeppelin 命令执行漏洞复现
    漏洞描述攻击者可以使用Shell解释器作为代码生成网关，系统org.apache.zppelin.shell.Shellnterpreter类直接调用/sh来执行命令，没有进行过滤，导致RCE漏洞。Fofa:app="APACHE-Zeppelin"漏洞复现：在fofa中搜索资产，共有1238条数据匹配该漏洞需要目标站点开启匿名登录以及DefaultI......
  • ISCC线上赛2024
    ISCC线上赛2024练武题web还没想好名字的塔防游戏f12查看源码，world.js，查看提示BearsBrewStormsOpalOceansGlowElvesWhisperWonders网站首页看到MysticDefenseWar:TheSecretofGuardianTowersandMagicalMonsters去掉小写o与a首字母组合刚好18位Flask......
  • 在Linux中，如何配置Apache或Nginx Web服务器？
    配置Apache或NginxWeb服务器涉及到多个方面，包括安装、基本设置、虚拟主机配置、性能优化等。以下是配置这两种流行Web服务器的一般步骤：1.ApacheWeb服务器配置安装Apache：对于基于Debian的系统（如Ubuntu）：sudoapt-getupdatesudoapt-getinstallapache2对于基于Red......
  • 在 Kubernetes 上运行 Apache Spark 进行大规模数据处理的实践
    在刚刚结束的KubernetesCommunityDay上海站，亚马逊云科技在云原生分论坛分享的“在Kunernets上运行ApacheSpark进行大规模数据处理实践”引起了现场参与者的关注。开发者告诉我们，为了充分利用Kubernetes的高可用设计、弹性，在越来越多的应用场景中，他们选择从Yarn迁移到......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99