首页 > 其他分享 >使用阿里云搭建DataLight平台

使用阿里云搭建DataLight平台

时间:2024-11-07 18:46:20浏览次数:7  
标签:node node01 datalight DataLight 阿里 yum install devel 搭建

DataLight 官网:

http://datalight.boundivore.cn/

目录

一、购买阿里云抢占式资源服务器

二、修改一下配置

1、修改实例名称

2、远程连接

3、修改主机名

4、修改 hosts 映射文件

5、修改安全组

6、免密登录(不需要做,脚本自己会操作)

三、购买 mysql 数据库

四、初始化 mysql 数据库数据

五、文件上传 【node01】

七、启动master进程


一、购买阿里云抢占式资源服务器

购买三台,第一台配置高一些,4 核 16G 内存,另外两个可以 2 核 8G 内存即可

购买成功:

二、修改一下配置

1、修改实例名称

2、远程连接

3、修改主机名

sh /opt/datalight/assistant/scripts/init-hostname.sh node01
sh /opt/datalight/assistant/scripts/init-hostname.sh node02
sh /opt/datalight/assistant/scripts/init-hostname.sh node03

4、修改 hosts 映射文件

vi /etc/hosts

172.17.238.41   node01  node01
172.17.238.43   node02  node02
172.17.238.42   node03  node03

5、修改安全组

为了安装方便,放行所有端口。

6、免密登录(不需要做,脚本自己会操作)

ssh-keygen -t rsa

然后免密登录 node01 node02 node03
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

三、购买 mysql 数据库

创建成功后,点击进入,创建外网连接

远程连接 mysql:

四、初始化 mysql 数据库数据

CREATE DATABASE db_datalight DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

导入 sql 文件的数据:

sql语句的位置:D:\datalight\Boundivore\datalight部署包\datalight\orm\sql

五、文件上传 【node01】

在linux中,创建文件夹datalight

mkdir -p /opt/datalight

将内容拷贝上去:由于finalshell 拷贝大量文件夹时,老出现拷贝不全的情况。

该工具的下载链接是:客户端 - FileZilla中文网

因为不管是 finalshell 还是 filezilla ,在拖拽的过程中,经常会有一些小文件丢失,所以为了保险起见,先在 windows 压缩,在在 linux 解压比较保险

unzip dl.zip -d /opt/datalight/

由于k8s 比较大,很多尝鲜的小伙伴用不上,上传plugins的时候可以不上传KUBESPHERE。

仅需在第一个node节点上上传datalight 文件夹下的内容,其他的地方不需要。

yum -y install epel-release  # 安装 EPEL 仓库,提供额外的软件包
yum -y install jq  # 安装 jq,用于处理 JSON 数据
yum -y install curl  # 安装 curl,用于命令行数据传输
yum -y install chrony  # 安装 chrony,用于时间同步
yum -y install expect  # 安装 expect,用于自动化交互式 shell 脚本
yum -y install openssl openssl-devel patch  # 安装 OpenSSL 和开发包及 patch 工具
yum -y install lrzsz  # 安装 lrzsz,用于 ZMODEM 文件传输
yum -y install unzip zip  # 安装 unzip 和 zip,用于解压和压缩文件
yum -y install yum-utils  # 安装 yum-utils,提供额外的 yum 命令
yum -y install net-tools  # 安装 net-tools,提供网络工具如 ifconfig

yum -y install gcc gcc-c++  # 安装 GCC 和 G++ 编译器
yum -y install make  # 安装 make,构建自动化工具
yum -y install autoconf automake libtool curl  # 安装 autoconf、automake、libtool 和 curl,用于构建和配置软件
yum -y install zlib lzo-devel zlib-devel openssl openssl-devel ncurses-devel ruby  # 安装 zlib、lzo-devel、zlib-devel、openssl、openssl-devel、ncurses-devel 和 ruby,用于压缩、加密、终端控制和 Ruby 语言支持
yum -y install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst  # 安装 snappy、snappy-devel、bzip2、bzip2-devel、lzo、lzo-devel、lzop 和 libXtst,用于数据压缩和图形界面支持

修改配置文件:/opt/datalight/assistant/conf/init-main-cluster.properties 【选做】

# 准备初始化的节点列表配置信息,Key 前缀为序号,不可重复,需要初始化多少节点,则添加多少节点
# 建议:1.node.ip 为当前执行脚本的节点 IP
1.node.ip=172.17.238.41
1.node.ssh.port=22
1.node.hostname=node01
1.node.user.root=root
1.node.pwd.root=***************
1.node.user.datalight=datalight
1.node.pwd.datalight=12345678

2.node.ip=172.17.238.43
2.node.ssh.port=22
2.node.hostname=node02
2.node.user.root=root
2.node.pwd.root=***************
2.node.user.datalight=datalight
2.node.pwd.datalight=12345678

3.node.ip=172.17.238.42
3.node.ssh.port=22
3.node.hostname=node03
3.node.user.root=root
3.node.pwd.root=***************
3.node.user.datalight=datalight
3.node.pwd.datalight=12345678
 

由于你使用的是阿里云的数据库,所以 web 连接 mysql 的地方也需要修改:

database:
      mysql:
        host: rm-2zesz8wlma97k45imdo.mysql.rds.aliyuncs.com
        port: 3306
        user: root
        password: "******"
        dbName: db_datalight

39.105.124.191 22
39.105.124.191 80
39.105.124.191 443
39.105.124.191 8001
39.105.124.191 8002

三台服务器的时间要同步,不同步,启动会失败!
同步时间:systemctl restart chronyd


检查 /opt/datalight/assistant/repo/jdk 下 是否有jdk,没有的话需要上传。

cd /opt/datalight/assistant

sh main/init-main.sh

七、启动master进程

记得三台服务器时间要同步

刚安装完init-main.sh 之后,环境变量不刷新,需要三台服务器都重新刷新一下环境变量

source /etc/profile

/opt/datalight/bin/datalight.sh start master 8001

在windows配置hosts映射,方便以后使用:

C:\Windows\System32\drivers\etc

39.105.124.191 node01
39.105.126.251 node02
39.105.141.49 node03

启动成功后,进行页面访问:

http://node01:8001

默认账户和密码是admin admin

如果失败了,查看日志:

/data/datalight/logs/app/datalight-master.log

标签:node,node01,datalight,DataLight,阿里,yum,install,devel,搭建
From: https://blog.csdn.net/weixin_53709379/article/details/143579193

相关文章

  • 自建rabbitmq迁移到阿里云
    环境:自建rabbitmq管理页http://47.98.15x.xx:15672/数据:47.98.15x.xx:5672 云rabbitmq实例数据:47.110.xx.xx:5672 迁移步骤:一、迁移元数据1、下载的元数据文件保存至本地在Overview页签下方,单击Exportdefinitions,从Virtualhost列表选择All或者指定的Vhost名称,然后......
  • Apache DolphinScheduler + OceanBase,搭建分布式大数据调度平台的实践
    本文整理自白鲸开源联合创始人,ApacheDolphinSchedulerPMCChair,ApacheFoundationMember代立冬的演讲。主要介绍了DolphinScheduler及其架构、DolphinScheduler与OceanBase的联合大数据方案。DolphinScheduler是什么?ApacheDolphinScheduler,作为一款云原生且配备强大的可视......
  • 信奥OJ的搭建
    第一步,服务器申请选择一:免费云服务器,免费虚拟主机如:阿贝云阿贝云提供了免费的云服务器和免费的云虚拟主机,可根据自己的实际应用情况选择。首先注册一个账户,然后需要支付0.3元做一个实名认证,如果实名认证成功了大概率会开通成功。如果失败了可能是服......
  • ComfyUI操作指南新鲜出炉!一篇文章教你搞定ComfyUI工作流搭建!
    前言ComfyUI是一款强大而灵活的图形界面,专为AI艺术创作而设计,它集成了众多先进算法和工具,让用户能够轻松探索创意的无限可能。本指南旨在为初学者和专业人士提供一站式学习资源,详细解析ComfyUI的工作流程和操作技巧。通过掌握ComfyUI,你将能够高效地生成令人惊叹的艺术作品,......
  • 使用Dify搭建企业知识库聊天机器人
    点赞+关注+收藏=学会了本文简介在当今数字化时代,企业知识库的建设和维护对于提升工作效率和服务质量至关重要。AI聊天机器人作为知识库的交互界面,可以提供24/7的即时服务。本文将介绍如何使用Dify这一工具快速搭建企业知识库聊天机器人,它可以当你企业的职能客服,......
  • GPU 环境搭建指南:如何在裸机、Docker、K8s 等环境中使用 GPU
    本文主要分享在不同环境,例如裸机、Docker和Kubernetes等环境中如何使用GPU。跳转阅读原文:GPU环境搭建指南:如何在裸机、Docker、K8s等环境中使用GPU1.概述仅以比较常见的NVIDIAGPU举例,系统为Linux,对于其他厂家的GPU设备理论上流程都是一样的。省流:对于裸......
  • Linux 下搭建 Spark3 + Jupyter 环境
    最近想着来玩一玩大数据,前段时间集中过了一遍java,最近又看了一些基础的scala,我感觉吧,我都不想学.还是觉得用sql,javascript,python这种脚本语言操作起来顺手,但这并不影响对这个大数据生态的理解和学习.这里主要是来记录一下spark+jupyter环境的搭建,说实......
  • [ 内网渗透实战篇-1 ] 单域环境搭建与安装&域环境判断&域控定位&CS插件装载&CS上线
    ......
  • PySpark本地开发环境搭建
    一.前置事项请注意,需要先实现Windows的本地JDK和Hadoop的安装。二.windows安装Anaconda资源:Miniconda3-py38-4.11.0-Windows-x86-64,在window使用的Anaconda资源-CSDN文库右键以管理员身份运行,选择你的安装路径,但是请注意最好文件路径不要有空格或者中文,并且要自己找得到。......
  • Spark on YARN:Spark集群模式之Yarn模式的原理、搭建与实践
    Spark的介绍与搭建:从理论到实践-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交:本地与集群模式全解析-CSDN博客目录一、SparkonYARN的优势(一)统一化资源管理(二)YARN调度机制的优势二、Spark......