Doris数据库背景
Doris（Apache Doris）是一个现代化的MPP（Massive Parallel Processing，大规模并行处理）数据库，主要用于在线分析处理（OLAP）场景。
Doris数据库的特点
高性能：Doris采用了列式存储和MPP架构，能够对海量数据进行快速查询。
易用性：提供了类似SQL的查询接口，易于上手和使用。
实时性：支持实时数据更新和查询，适用于实时数据分析场景。
兼容性：支持多种数据源接入，如MySQL、Apache Hive、Apache HDFS等。
高可用：支持集群部署，具有容错和自动恢复功能。
Doris数据库的架构
前端：FE（Frontend）节点负责接收查询请求、查询解析、查询计划生成和执行。
后端：BE（Backend）节点负责数据存储、查询执行和数据导入等操作。
元数据管理：采用分布式元数据管理，保证了系统的高可用性和扩展性。
Doris数据库的部署
对于Doris数据库的架构方式分为前端和后端的方式，因此我们要分别部署前端和后端两部分。
准备4核心+4G内存+10G硬盘的centos7 X86的Linux虚拟机。
1. 拉取Doris数据库的安装包
Wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz
2. 解压安装包到/usr/local/目录下
tar xzvf apache-doris-2.0.12-bin-x64.tar.gz -C /usr/local/
3. 给安装目录重新命名
mv apache-doris-2.0.12-bin-x64 apache-doris
4. 在目录下分为3部分
5. 安装Doris数据库需要jdk8的环境
yum install -y java-1.8.0-openjdk.x86_64
6. 部署fe
vim fe/conf/fe.conf
7. 加上fe的jdk的环境变量
8. 启动fe
./bin/start_fe.sh --daemon
9 部署be
vim be/conf/be.conf
10. 加上be的jdk的环境变量
11. 启动be
12. 启动be时需要执行三条命令
sysctl -w vm.max_map_count=2000000
ulimit -n 60000
swapoff -a
13. 在mysql官网中下载mysql的客户端(Doris数据库需要使用mysql客户端进行连接)
14. 连接Doris数据库的fe
mysql -uroot -P9030 -h127.0.0.1
15. 将be添加到集群
ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";(自己主机IP加上默认端口9050)
16. 修改root密码和admin密码
SET PASSWORD FOR 'root' = PASSWORD('p@ssw0rd');
SET PASSWORD FOR 'admin' = PASSWORD('p@ssw0rd');
17. Doris数据库部署完成
部署prometheus并监控Doris数据库
1. 在官网中下载prometheus的安装包
https://prometheus.io/download/
2. 解压tar包
tar xzvf prometheus-3.0.1.linux-amd64.tar.gz
3. 修改prometheus.yml配置文件监控Doris数据库
vim prometheus.yml
4. Doris数据库自带metrics的接口，prometheus可以直接拿取数据，不用安装export
5. 设置metrics的地址以及组
6. 启动prometheus
nohup ./prometheus --web.listen-address="0.0.0.0:8181"
7. 停止防火墙
Systemctl stop firewalld
8. 访问网址看是否监控成功
部署grafana
1. 安装grafana
yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-11.3.1-1.x86_64.rpm
2. 启动grafana服务
systemctl start grafana-server.service
3. 访问网址(密码是默认密码admin/admin)
systemctl start grafana-server.service
联动prometheus+grafana
1. 配置数据源
prometheus地址
2. 导入dashboard(从官网找一些dashboard导入即可)
3 查看指标(Doris数据库的指标)
