首页 > 其他分享 >Azkaban-3.84.4集群部署——安装篇(文章结尾附带网盘下载链接)

Azkaban-3.84.4集群部署——安装篇(文章结尾附带网盘下载链接)

时间:2024-07-03 12:27:11浏览次数:18  
标签:web exec 网盘 bigdata1 3.84 azkaban mysql Azkaban

目录

Azkaban的集群规划

Azkaban的集群部署

第一步处理azkaban-db-3.84.4:

第二步配置azkaban-exec:

启动azkaban-exec:

激活azkaban-exec:

第三步配置 Web Server(在bigdata1中)

(1)修改azkaban.properties文件,修改的部分如下:

(2)修改azkaban-users.xml文件,添加用户(用户密码可自行设置)

(3)启动web Server    到azkaban/azkaban-web目录下:

(4)访问web Server,打开浏览器进入 http://bigdata1:8083 输入账号密码


Azkaban的集群规划

我们把Azkaban的执行服务器(Executor Server)分别部署在3个节点上,而Azkaban的数据库和Web服务器(Web Server)我们只部署在bigdata1上,这让执行的时候就可以让3个Executor 同时运行

bigdata1:

azkaban-db-3.84.4        azkaban-exec        azkaban-web

bigdata2/bigdata3

azkaban-exec

Azkaban的执行服务器(Executor Server)和Web服务器(Web Server)都需要与MySQL数据库进行交互,以存储和检索作业执行的相关信息。Azkaban-db-3.84.4 通过提供必要的数据库结构,为这些交互提供了基础。

Azkaban的集群部署

bigdata1:

mkdir azkaban
cd azkaban
tar -zxvf /opt/software/azkaban-db-3.84.4.tar.gz
tar -zxvf /opt/software/azkaban-exec-server-3.84.4.tar.gz
tar -zxvf /opt/software/azkaban-web-server-3.84.4.tar.gz 
#分别给它们重命名
mv azkaban-exec-server-3.84.4 azkaban-exec
mv azkaban-web-server-3.84.4 azkaban-web

在azkaban文件夹中我们可以看到:

第一步处理azkaban-db-3.84.4:

进入mysql,通过个source运行azkaban-db-3.84.4里的create-all-sql-0.1.0-SNAPSHOT.sql文件:

mysql> CREATE DATABASE azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-0.1.0-SNAPSHOT.sql

注:create-all-sql-0.1.0-SNAPSHOT.sql  用于在数据库中创建Azkaban运行所必需的表,如作业表、项目表、执行流表、日志表等,并插入一些初始数据或设置默认值,以支持Azkaban的调度、执行和监控功能。通过执行这个SQL脚本,可以为Azkaban的运行提供一个完整的数据库环境。

运行完后查看azkaban数据库:

第二步配置azkaban-exec:

vim azkaban-exec/conf/azkaban.properties

在文件中输入   :set nu   可以显示行号

我列出了要修改的部分:

 7 default.timezone.id=Asia/Shanghai  # 修改时区 亚洲/上海
 19 jetty.port=8083     
 21 azkaban.webserver.url=http://bigdata1:8083
 # 端口号,可以自行设置,因为我的spark端口号为8081,和azkaban相同,端口号冲突了,故修改为8083
 42 database.type=mysql
 43 mysql.port=3306
 44 mysql.host=bigdata1
 45 mysql.database=azkaban
 46 mysql.user=azkaban
 47 mysql.password=000000
 48 mysql.numconnections=100
 52 executor.port=12321

将azkaban-exec分发到各节点(各节点要先创建azkaban文件夹)

scp -r /opt/module/azkaban/azkaban-exec bigdata2:/opt/module/azkaban/
scp -r /opt/module/azkaban/azkaban-exec bigdata3:/opt/module/azkaban/

启动azkaban-exec:

各节点分别执行:

./azkaban-exec/bin/start-exec.sh

激活azkaban-exec:

在bigdata1(或其他节点)上执行:

curl -G "bigdata1:12321/executor?action=activate" && echo
curl -G "bigdata2:12321/executor?action=activate" && echo
curl -G "bigdata3:12321/executor?action=activate" && echo

出现:{"status":"succdess"}者说明激活成功!!!

在mysql中的executors表中我们可以看到有三个节点,active显示1说明已经被激活!

第三步配置 Web Server(在bigdata1中)

vim /opt/module/azkaban/azkaban-web/conf/azkaban.properties

(1)修改azkaban.properties文件,修改的部分如下:

 7 default.timezone.id=Asia/Shanghai
 19 jetty.port=8083  # 修改端口是为了不与spark端口发生冲突,要跟azkaban-exec一样
# 以下mysql的配置信息可自行修改
 39 database.type=mysql
 40 mysql.port=3306
 41 mysql.host=bigdata1
 42 mysql.database=azkaban
 43 mysql.user=azkaban
 44 mysql.password=000000
 45 mysql.numconnections=100
 48 azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus 
 # 删掉了 MinimumFreeMemory 

(2)修改azkaban-users.xml文件,添加用户(用户密码可自行设置)

(3)启动web Server    到azkaban/azkaban-web目录下:

./bin/start-web.sh

启动成功后 使用 jps 查看java进程可以看到:

(4)访问web Server,打开浏览器进入 http://bigdata1:8083 输入账号密码

成功进入web Server操作页面,本次Azkaban集群部署成功!!!

我用夸克网盘分享了「azkaban」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。
链接:https://pan.quark.cn/s/67ed402ead0b
提取码:QvtU

标签:web,exec,网盘,bigdata1,3.84,azkaban,mysql,Azkaban
From: https://blog.csdn.net/2201_76100933/article/details/140146014

相关文章

  • 墨觉给大家带来宝塔面板部署Cloudreve网盘的详细教程
    Cloudreve是什么?Cloudreve可以让您快速搭建起公私兼备的网盘系统。Cloudreve在底层支持不同的云存储平台,用户在实际使用时无须关心物理存储方式。你可以使用Cloudreve搭建个人用网盘、文件分享系统,亦或是针对大小团体的公有云系统。教程这里我使用的是Ubuntu系统安装宝......
  • 百度网盘、阿里网盘、UC网盘、夸克网盘批量转存、批量重命名工具下载免费分享
    今天给大家带来一款超实用的网盘工具。而且是免费使用的哦。针对多个热门网盘的文件管理、批量分享、批量转存、批量重命名、批量复制、批量链接检测、跨账号移动文件、多账号文件搜索等,支持不同网盘的不同账号的资源文件操作。适用于网站站长、资源爱好者等,对于管理名下具有......
  • 百度网盘6月最新插件 网速亲测50Mb不限速
    【应用名称】百度网盘【应用版本】2024双插件版6月最新【应用大小】220MB【适用平台】win11【应用简介】更新了图文教程百度网盘是国内资源生态最大的在线存储服务提供商,提供免费和收费的文件存储,备份,共享等文件管理等功能.百度网盘客户端的百度网盘电脑版本次依旧......
  • 百度网盘字幕切换失败
    PC端百度网盘客户端观看网盘视频生成的AI字幕切换失败,我的办法是切换失败改dns就好了,推荐一个工具方便更改。DNS优选https://www.lanzouj.com/ia5uxeh软件来源https://www.52pojie.cn/thread-1129234-1-1.html当你在线观看生成字幕后切换迟迟无反应或者一段时间后显示切换失败......
  • 推荐一款目前可用的百度网盘下载工具:ODE多功能助手
    ODE多功能助手是一款百度网盘下载工具,目前还在开发阶段,但已实现百度网盘解析下载功能。用户可以提前使用该功能进行百度网盘文件的下载。软件特点:1.多功能预期:虽然目前功能有限,但开发者计划将其打造为一款多功能下载工具。2.自动解析:能够自动识别百度网盘链接中的提取码,......
  • 百度网盘提速攻略:解决限速问题的实用方法
    百度网盘提速攻略:解决限速问题的实用方法百度网盘作为国内广受欢迎的云存储服务,为用户提供了便捷的文件存储和分享功能。然而,许多用户在使用百度网盘进行文件下载时,常常会遇到限速问题,导致下载速度极慢,极大地影响了使用体验。本文将为大家介绍一些实用的提速方法,帮助大家解......
  • 证照之星XE个人破解版2024最新证照之星百度网盘免费下载
    随着社会的进步,证件照的用处越加宽广,例如:、结婚证件照、驾驶证照片、毕业证照片等等;当工作人员每天面对如此庞大的照片数量时,都尝试着去网上下载证照之星破解版,企图能够快速且专业的处理掉这些照片,这边是不建议这样做的。对于一些不会用PS,又想自己做证件照的时候,证照之星是一......
  • easyrecovery专业版破解无需注册绿色版免费下载 easyrecovery16数据恢复软件永久激活
    EasyRecovery(易恢复中国)是由全球著名数据厂商Ontrack®出品的一款数据文件恢复软件。支持恢复不同存储介质数据:硬盘、光盘、U盘/移动硬盘、数码相机、Raid文件恢复等,能恢复包括文档、表格、图片、音视频等各种文件。开发背景:全球领先的数据恢复解决方案提供商Ontrack近......
  • FL Studio21.2.6破解中文版永久免费安装包网盘下载
    音乐制作爱好者们!你们是否曾经为了追求更好的音乐效果而苦恼?是否曾经因为正版FLStudio21的价格过高而望而却步?别担心,今天我为大家推荐一款破解中文版的FLStudio21,让你在不违法的前提下,以更低的成本获得专业音乐制作软件,实现你的音乐梦想!......
  • SpringBoot个人网盘系统-计算机毕业设计源码92922
    摘 要随着科学技术的飞速发展,社会的方方面面、各行各业都在努力与现代的先进技术接轨,通过科技手段来提高自身的优势或改善自身的缺点,互联网的发展文件管理带来了福音。个人网盘系统是以实际运用为开发背景,运用软件工程原理和开发方法,采用Java技术构建的一个线上系统。整个......