达梦标准版DMETL安装部署

达梦DMETL搭建

达梦数据库​

2022年10月​

DMETL简介

1.1 系统架构图

1.2整个系统主要组件

1.2.1 调度器

调度器负责流程分解和作业调度，负载均衡、协调多个执行器的功能。​

1.2.2 原生执行器

原生执行器用于执行作业和转换流程，支持多节点部署，支持的节点数量在license 中​

制定。​

1.2.3 管理器

提供可视化的web 管理、设计、监控界面，通过管理器去操作、配置、监控系统。​

1.2.4 控制器

控制器是调度器和执行器的守护进程（在上面的架构图中没有画出）与调度器和执行​

器部署在同一服务器上，可以通过控制器去远程修改调度器、执行器参数，远程起停服务，​

远程升级版本，监控系统资源等。一般情况下，一个物理服务器上只需要安装一个控制器，​

该控制器此服务器上的多个执行器或者调度器。​

1.2.5 yarn执行器

yarn 执行器用于执行作业和转换流程，可以将转换编译成mapreduce 作业运行，作业​

作为yarn 应用程序运行。一个yarn 执行器对应一个hadoop 集群。​

1.2.6 flink执行器

基于flink 的流式数据执行器，将转换编译成flink 作业运行在fink 集群上，一个fink 执​

行器对应一个fink 集群。​

标准版DMETL安装部署

2.1 上传DMETL压缩包​

省略​

2.2 解压安装包,并给安装包执行权限​

[root@localhost ~]# unzip dmetl5_V5.03.11-Build\(2022.07.18-111696\)__Linux.x86_64_std.zip​

[root@localhost ~]# cd dmetl5_V5.03.11-Build\(2022.07.18-111696\)__Linux.x86_64_std​

[root@localhost dmetl]# chmod 755 * ###给文件中所有文件赋执行权限 ​

2.3 安装相关组件​

2.3.1 安装调度器​

1.输入./dmetl5_scheduler_linux.x86_64.bin -i 命令进入交互式安装​

1. 
   
2. 选择安装语言,选择2​

3. 

4. 
   
5. 
   
6. 选择key，有key输入key存放路径，没有选择1​

7. 

8. 
   
9. 
   
10. 版本选择标准版，选择1​

11. 

12. 
    
13. 
    
14. 配置jdk和选择安装目录，jdk默认选择1，如果选择2或者3需要自己配置jdk环境，安装目录可以自定义​

15. 

16. 
    
17. 选择元数据库存放的数据库可以选择内置数据库和外置数据库，如果选择外置数据库需要先搭建好数据库环境，选择相应的数据库，当前环境选择3，dm8数据库，输入数据库的配置信息，如下图:​

7.是否初始化数据库，选择y，会初始化元数据库信息，选择n，安装完成以后，启动服务的时候会初始化元数据库。服务名称和显示器名称，管理地址默认就可以，启动方式选择2，手动​

8 到root用户执行安装控制器服务​

2.3.2 安装manager管理器​

1.输入./dmetl5_manager_linux.x86_64.bin -i命令，进入交互式界面​

[root@localhost dmetl]# ./dmetl5_manager_linux.x86_64.bin -i​

2.选择安装语言,选择2​

1. 
   
2. 选择jdk目录，默认选择1。安装目录可以自定义目录，默认与调度器相同目录​

3. 

4. 
   
5. 
   
6. 选择存使用的数据库，可以使用内置数据库，本实验使用外置数据库，​选择2，数据库类型选择1 dm，默认连接信息，可以选择n，跟数据库的情况输入相应的端口，ip，账号和密码。​

7. 

8. 
   
9. 服务名称，管理端口，默认，启动方式选择2 手动，手动执行安装管理器服务

2.3.3 安装执行器​

1.输入 ./dmetl5_native_executor_linux.x86_64.bin -i 进入命令行安装​

1. 
   
2. 选择语言，输入2​

3. 

4. 
   4.选择安装类型，选择2，安装原生执行器，选择1，jdk安装选择1，安装目录选择和上面调度器相同目录，如下图所示。​

5. 

6. 
   

1. 选择安装目录与调度器相同时，提示是否继续安装，输入y，服务名称，显示名称，调度地址，端口号等等默认就可以，如下图所示:​

2.3.4启动组件服务器

1. 启动和关闭调度器​[root@localhost dmetl5]# cd /opt/dmetl5/scheduler/​
   [root@localhost scheduler]# ./scheduler_service_start.sh ###启动调度器​
   [root@localhost scheduler]# ./scheduler_service_stop.sh ###关闭调度器​
2. 启动和关闭控制器​[root@localhost dmetl5]# cd /opt/dmetl5/controller/​
   [root@localhost controller]# ./controller_service_start.sh​
   [root@localhost controller]# ./controller_service_stop.sh​
3. 启动和关闭管理器​[root@localhost controller]# cd /opt/dmetl5/manager/​
   [root@localhost manager]# ./manager_service_start.sh​
   [root@localhost manager]# ./manager_service_stop.sh​
4. 启动和关闭执行器​

[root@localhost manager]# cd /opt/dmetl5/executor_native/​

[root@localhost executor_native]# ./executor_native_service_start.sh​

[root@localhost executor_native]# ./executor_native_service_stop.sh​

2.4 浏览器登录DMETL平台

1.在浏览器输入http://172.17.188.19:8080/，输入账号和密码，默认账号和密码都admin。​

1. 登录以后的界面如下图​

达梦社区网址:eco.dameng.com