首页 > 其他分享 >StarRocks~单节点部署

StarRocks~单节点部署

时间:2024-12-06 14:34:29浏览次数:4  
标签:opt StarRocks 部署 module mysql hadoop101 root 节点

严格来说,StarRocks并没有所谓的“Standalone运行模式”,生产环境下更是不建议进行单实例部署。这里将单机部署整理出来,主要是考虑当用户测试环境受限于机器数量或仅希望验证功能,那么也可以在一台机器上简易部署把StarRocks跑起来。

一、部署节点

主机IP

主机名

内存

192.168.80.134

hadoop101

>=8GB

 

二、部署规划

部署目录及数据目录设计如下,后续的部署操作严格按照部署设计进行:

服务名称

部署目录

日志目录

数据目录

FE

/opt/module/StarRocks/fe

/opt/module/StarRocks/fe/log

/opt/module/StarRocks/fe/meta

BE

/opt/module/StarRocks/be

/opt/module/StarRocks/be/log

/opt/module/StarRocks/be/storage

Broker

/opt/module/StarRocks/apache_hdfs_broker

/opt/module/StarRocks/apache_hdfs_broker/log

mysql-client

/opt/module/mysql

/opt/module/mysql/log

/opt/module/mysql/data

 mysql-client的安装步骤,请参考mysql的安装,这里省略。

、部署服务

(1)安装之前先使用命令检查CPU是否支持,有信息输出则支持,没信息输出则不支持建议更换机器

[root@hadoop101 software]# cat /proc/cpuinfo |grep avx2

 

(2)下载tar包,并重命名(省略)

 

(3)解压tar包并重命名

[root@hadoop101 software]# tar -zxvf StarRocks-1.19.1.tar.gz -C /opt/module/

[root@hadoop101 software]# mv /opt/module/StarRocks-1.19.1  /opt/module/StarRocks

 

(4)创建元数据目录

[root@hadoop101 software]# cd /opt/module/StarRocks/fe

[root@hadoop101 fe]# mkdir -p meta

 

(5)启动hadoop101 FE节点

[root@hadoop101 fe]# bin/start_fe.sh --daemon

 

(6)查看FE服务是否启动成功

FE使用Java语言编写,使用jps命令查看java进程,若发现有StarRocksFe进程,即为启动成功:

[root@hadoop101 fe]# jps | grep StarRocksFe

5164 StarRocksFe

如果进程状态异常可在FE日志目录中查看日志追踪原因,FE的主要日志在fe.log中,所有查询的审计日志在fe.audit.log中。由于是初次启动,如果在操作过程中遇到比较耗时的问题,可以清空FE的元数据目录,再从头开始操作。

 

(7)启动mysql客户端,访问FE,查看FE状况

[root@hadoop101 fe]# mysql -h hadoop101 -uroot -P9030

mysql> SHOW PROC '/frontends'\G

 

(8)部署BE

[root@hadoop101 module]# cd  StarRocks/be/

[root@hadoop101 be]# mkdir -p storage

 

(10)使用MySQL客户端添加hadoop101对应be节点

mysql> ALTER SYSTEM ADD BACKEND "hadoop101:9050";

 

(11)添加完毕后,启动hadoop101 BE节点

[root@hadoop101 be]# bin/start_be.sh --daemon

 

(12)查看BE服务是否启动成功

BE使用C++编写,使用ps命令查看进程,若发现有starrocks_be进程,即为启动成功:

[root@hadoop101 be]# ps -ef | grep starrocks_be

root       6670      1  1 19:46 pts/0    00:00:00 /opt/module/StarRocks/be/lib/starrocks_be

如果进程状态异常可在BE日志目录中查看日志追踪原因,BE的主要日志在be.INFO中,其他的日志在be.out中。

 

(13)查看BE状况,也是同样alive为true是正常运行

mysql> SHOW PROC '/backends'\G

 

(14)部署Broker,此角色主要用于后续Broker load使用,启动安装目录的Broker服务

[root@hadoop101 StarRocks-1.19.1]# cd  apache_hdfs_broker/

[root@hadoop101 apache_hdfs_broker]# bin/start_broker.sh --daemon

 

(15)使用mysql添加对应节点

mysql> ALTER SYSTEM ADD BROKER broker1 "hadoop101:8000";

 

(16)使用broker是否启动成功

查看java进程,若发现有BrokerBootstrap即为启动成功:

[root@hadoop101 apache_hdfs_broker]# jps | grep BrokerBootstrap

7594 BrokerBootstrap

Broker日志在apache_hdfs_broker.log中,如果进程状态异常可查看日志追踪原因。

 

(17)查看状态

mysql> SHOW PROC "/brokers"\G

 

使用示例

(1)修改root用户密码

例如修改root密码也为root:

mysql> set password=password('root');

 

(2)新建数据库

mysql> create database test;
Query OK, 0 rows affected (0.01 sec)

mysql> use  test;
Database changed

 

(3)新建表

StarRocks的副本数是不能大于BE节点数的,由于当前仅有一个BE节点,我们建表时务必注意指定数据为单副本,示例如下:

CREATE TABLE IF NOT EXISTS detail (
    event_time DATETIME NOT NULL COMMENT "datetime of event",
    event_type INT NOT NULL COMMENT "type of event",
    user_id INT COMMENT "id of user",
    device_code INT COMMENT "code of device",
    channel INT COMMENT ""
)
DUPLICATE KEY(event_time, event_type)
DISTRIBUTED BY HASH(user_id) BUCKETS 8
PROPERTIES ("replication_num"="1");

Query OK, 0 rows affected (0.05 sec)

注意:

如果不指定数据为单副本,执行会报错:ERROR 1064 (HY000): Table replication num should be less than or equal to the number of available BE nodes. You can change this default by setting the replication_num table properties. Current alive backend is [10002]. , table=detail, replication_num=3, default_replication_num=3

 

(4)插入数据

INSERT INTO detail VALUES('2021-11-18 12:00:00.00',1,1001,1,1);
INSERT INTO detail VALUES('2021-11-17 12:00:00.00',2,1001,1,1);
INSERT INTO detail VALUES('2021-11-16 12:00:00.00',3,1001,1,1);
INSERT INTO detail VALUES('2021-11-15 12:00:00.00',1,1001,1,1);
INSERT INTO detail VALUES('2021-11-14 12:00:00.00',2,1001,1,1);

 

(5)查询数据,5条明细数据都在。此种模型的表用来存储所有历史明细数据。

SELECT * FROM detail;

 

标签:opt,StarRocks,部署,module,mysql,hadoop101,root,节点
From: https://www.cnblogs.com/yeyuzhuanjia/p/18590756

相关文章

  • ISUP协议视频平台EasyCVR私有化部署视频平台P2P远程技术访问的局限性有哪些?
    在当今数字化时代,视频监控系统已成为安全防护的重要组成部分,尤其在大中型项目中,跨区域网络化视频监控的需求日益增长。然而,传统的P2P访问方式在实际应用中存在一定的局限性,这些局限性不仅影响监控系统的稳定性和可靠性,也对用户体验造成直接影响。一、P2P访问的局限性同一个设备......
  • 大语言模型 —— 使用RAG工具Anything LLM䢎本地部署AI大模型投喂数据,创建本地私有AI
    相关:https://www.youtube.com/watch?v=77990wI3LZkhttps://anythingllm.com/https://ollama.com/......
  • SSM蔬菜订购系统996me(程序+源码+数据库+调试部署+开发环境)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、项目背景与意义随着人们生活水平的提高和健康意识的增强,蔬菜作为日常饮食的重要组成部分,其品质和购买便利性成为消费者关注的焦点。传统蔬菜销......
  • SSM社区志愿者信息管理系统q8e4m(程序+源码+数据库+调试部署+开发环境)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、项目背景随着社区服务的不断发展,志愿者在社区建设中发挥着越来越重要的作用。为了更好地管理志愿者信息,提高志愿者服务的效率和质量,我们计划开......
  • OPCUA 探讨(二)——服务器节点初探
    一、回顾前文中我们获取到了一份现成的OPCUA客户端代码,通过该客户端和ProsysOPCUA服务器建立了连接,并浏览了其中服务器上的内容(多层的树状节点结构)。OPCUA探讨(一)二、服务器节点结构以下是对OPCUA服务器节点结构的简要讨论。2.1根目录结构前文中我们建立会话连接后,首次点......
  • Linux下部署.Net 应用程序和Web应用程序
    发布应用:选择对应的平台版本进行保存发布。上传应用程序,进入发布的文件,压缩文件,在地址栏运行命令行(cmd),使用scp上传文件到对应的服务器。scppublish.ziproot@xxx.xxx.xxx.xxx:/var/wwwroot解压缩文件unzippublish.zipsudoyuminstallzipunzip#安装zip解压工具......
  • DOM节点的种类有哪些?
    DOM节点的种类有很多,可以大致分为以下几类:文档节点(DocumentNode):代表整个HTML文档。这是DOM树的根节点,所有其他节点都是它的后代。只有一个文档节点。元素节点(ElementNode):代表HTML元素,例如<p>,<div>,<body>,<html>等。这是最常见的节点类型,用于构建页面的结......
  • DeBian系统部署思源笔记
    引言该过程参考于以下文章:思源笔记docker部署解决docker镜像仓库下载慢安装docker检查docker是否安装检查服务器系统内是否安装了docker:docker--version若未安装docker,则显示如下命令:-bash:docker:commandnotfound安装docker操作切换清华镜像源:sudo......
  • 基于vpk180边缘场景下分布式神经网络训练模型部署
    本项目目标在于针对边缘场景实现P2P的分布式训练过程,设计方案为将神经网络训练过程对应的裸机程序部署在了PS端的ARMCortex-A72核上,传输方案采用开发板板载的GTM收发器硬件资源通过外部QSFP-DD光模块光传输至对端,最终完成了设计目标。整个项目的实现细节可分为如下几个重......
  • 树莓派部署深度学习车牌检测与识别
    文章目录树莓派介绍1.树莓派的硬件规格2.树莓派的操作系统3.树莓派的应用场景4.树莓派的扩展能力5.树莓派的优势6.总结研究背景一、效果演示1.0项目获取1.1图像识别1.2视频识别二、技术原理2.1整体流程2.2CCPD数据集介绍2.3车牌定位2.4车牌矫正2.5车牌......