首页 > 其他分享 >Doris安装部署

Doris安装部署

时间:2022-12-07 00:01:00浏览次数:73  
标签:COMMENT 10 00 01 部署 2017 安装 Doris

下载安装

Doris运行在Linux环境中,推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本,同时你需要安装 Java 运行环境(JDK最低版本要求是8)

1、下载安装包

下载地址:https://doris.apache.org/zh-CN/download/

安装包有两个,一个是fe、一个是be,都需要下载

2、配置Doris

2.1 配置FE

解压fe的安装包,进入到conf目录,编辑fe.conf

只需要修改一个参数:priority_networks

这里假设你的节点IP是192.168.56.17,那么我们可以通过掩码的方式配置为 192.168.56.0/24

priority_networks=192.168.56.0/24

2.2 启动FE

./bin/start_fe.sh --daemon

启动完成后可以使用下面的命令检查Doris是否启动成功

curl http://127.0.0.1:8030/api/bootstrap

如果返回结果中带有 "msg":"success" 字样,则说明启动成功

2.3 访问Doris的UI

http:// fe_ip:8030

这里我们使用 Doris 内置的默认用户 root 进行登录,密码是空

2.4 连接FE

我们可以使用MySql客户端来连接Doris FE,也可以使用mysql命令工具连接,因为他是Mysql协议,所以在使用上跟Mysql一样的

  • 客户端连接:
  • Mysql命令连接
mysql -uroot -P9030 -h127.0.0.1

注意:

  1. 这里使用的 root 用户是 doris 内置的默认用户,也是超级管理员用户
  2. -P :这里是我们连接 Doris 的查询端口,默认端口是 9030,对应的是fe.conf里的 query_port
  3. -h : 这里是我们连接的 FE IP地址,如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1,这种也是 Doris 提供的如果你忘记 root 密码,可以通过这种方式不需要密码直接连接登录,进行对 root 密码进行重置

执行下面的命令可以查看FE运行状态

show frontends\G;
  1. 配置BE

3.1 我们进入到be目录,编辑conf/be.conf

# 添加 priority_networks 参数
priority_networks=192.168.56.0/24

# 配置BE数据存储目录
storage_root_path=/home/disk2/doris

注意:这个目录/home/disk2/doris 必须先创建好

3.2 启动BE

./bin/start_be.sh --daemon

如果启动失败,修改可打开文件数。异常信息如下:

E1128 03:45:46.852288 24097 storage_engine.cpp:426] File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000

W1128 03:45:46.852396 24097 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small

解决方法:
修改配置文件/etc/security/limits.conf
添加:

* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

或者执行

ulimit -n 65535

重启系统后生效

3.3 添加 BE 节点到集群

通过MySQL 客户端连接到 FE 之后执行下面的 SQL,将 BE 添加到集群中

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";

1、be_host_ip:这里是你 BE 的 IP 地址,和你在 be.conf 里的 priority_networks

2、匹配heartbeat_service_port:这里是你 BE 的心跳上报端口,和你在 be.conf 里的 heartbeat_service_port 匹配,默认是 9050。

通过SHOW BACKENDS命令可以查看BE运行状态

Alive : true表示节点运行正常

停止BE命令

./bin/stop_be.sh

创建数据表

  1. 创建数据库
create database demo;
  1. 创建表
CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);
  1. 导入数据
10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

将上面的数据保存在test.csv文件中。然后通过Stream load方式将上面保存到文件中的数据导入到我们刚才创建的表中。

curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load
  • -T test.csv : 这里是我们刚才保存的数据文件,如果路径不一样,请指定完整路径
  • -u root : 这里是用户名密码,我们使用默认用户root,密码是空
  • 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

初次导入时报错:

Message": "too many filtered rows

因为我是之前是用的wps创建的csv文件,改用用记事本之后就好了。
4. 查询数据

select * from example_tbl;

到这里我们整个快速开始就结束了,我们从 Doris 安装部署、启停、创建库表、数据导入及查询,完整的体验了Doris的操作流程,对Doris有了个简单的使用,后续再继续开始我们Doris的深入之旅吧。

标签:COMMENT,10,00,01,部署,2017,安装,Doris
From: https://www.cnblogs.com/javammc/p/16961860.html

相关文章

  • 网站部署到IIS上如何调试
    https://www.likecs.com/show-204368183.html#sc=1400在一个网站成功部署后,有时候可能会遇到一些错误,但又不能一眼看出错误源,如果能在源程序里下断点进行调试就好了,这样就......
  • mac上通过visualbox安装linux相关网络问题总结
    结合我自己遇到的一些问题来聊一下vbox上面的一些网络配置的问题1、主机一直连不上虚拟机2、电脑一断网就会出现连不上虚拟机3、虚拟机无法访问外网先看虚拟机的网络设......
  • pywin32和wmi的安装和测试
    E:\pyAPP\Madking\MadKingClient>pythonbin\NedStark.pycollect_dataE:\pyAPP\Madking\MadKingClientTraceback(mostrecentcalllast):File"E:\pyAPP\Madking\MadK......
  • Kerberos 系列2 --- 安装
    一、安装环境1.CentOS72.Kerberos传播较广的Kerberos版本有V4和V5系列,V4发布于1980年,主要支持DES加密,仅支持56位的Key,安全性较差。V5发布于1993年并在2005年得到修订......
  • Centos7 Kafka初次安装部署
    Centos7Kafka初次安装部署环境:虚拟机,centos7系统。步骤:一、安装JDK1.8以上版本​此处略过二、zookeeper环境搭建1、下载Zookeeper并解压到制定的目录(或者提......
  • macOS 安装 vnpy 3.4.0
    编译安装VNPY官方目前只有windows版本的一站式安装包,macOS需要通过gitee官方代码仓库下载源代码自己手动安装和启动。https://gitee.com/vnpy/vnpy-rw-r--r--1gaoj......
  • MySQL的安装与配置,可视化软件安装,以及IDEA上的配置操作
    1.MySQL安装详细教程注意:本次安装例为随笔发布时最新的8.0.31版本教程,由于您所希望安装的版本不同可能会导致一些问题,请谅解。进入官网下载界面https://www.mysql.com......
  • Java入门 —— JDK安装和配置
    教程中所用到的工具请关注微信公众号:科技前端,回复“工具”即可获得。JDK是Java语言的软件开发工具包,主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的......
  • 二. 数据库的安装(Ubuntu系统)
    1.shell脚本需要用sourceinstall_mysql_8026.sh点击查看代码#!/bin/bashDir=/usr/local/srcfunctionAddGroup(){ group=mysql egrep"^$group"/etc/group if......
  • Mysql8.0.25安装过程
    步骤一.下载mysql8.0.25步骤二.下载完解压后如下图:  图片中显示可知,并没有exe用来安装,那么请看第三步步骤三.创建一个txt文本文件,将下边的......