首页 > 其他分享 >dinky0.6.6安装部署并配置flink on yarn

dinky0.6.6安装部署并配置flink on yarn

时间:2022-08-23 15:47:12浏览次数:66  
标签:opt hdfs node08 flink jar yarn dlink dinky0.6

 

 【下载 】

http://www.dlink.top/download/dinky-0.6.6

 

 

 

上传到 node08,解压到 /opt 下,创建软链接

 

[hdfs@node08 opt]$ ln -s dlink-release-0.6.6/ dlink

 

初始化数据库(复用 node08 的 mysql)

创建 dlink 用户,并赋予相应权限

mysql -uroot -p

grant all privileges on *.* to 'dlink'@'%' identified by 'yourpassword' with grant option;

grant all privileges on *.* to 'dlink'@'localhost' identified by 'yourpassword'  with grant option;

flush privileges;

 

 

 

 

 

用 dlink 用户登录

mysql -udlink -p

create database dlink;
use dlink;
source /opt/dlink/sql/dlink.sql

 

 

 

 

修改配置文件
cd /opt/dlink/config/
vi application.yml

spring:
datasource:
url: jdbc:mysql://node08:3306/dlink?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
username: dlink
password: yourpassword

 

 

 

 

 

创建 plugins 文件夹
cd /opt/dlink/
mkdir plugins

 

将依赖拷贝到 plugins 文件夹

 

 

 

红框中的 jar 包是若不传 flink on yarn 集群配置会报错的两个 jar 包
其中,flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 中的包,
应该删掉 javax/servlet 该目录,以防冲突

 

由于我们使用的版本是 flink 1.14.4,所以修改默认lib 包中的 dlink-client 包,将 1.13版本的重命名,将 1.14 版本的从 $DLINK_HOME/extends/ 下拷贝过来

 

 

 

 

 

 

 

 

启动
[hdfs@node08 dlink]$ sh auto.sh start

登录

http://node08:8888/

默认用户名和密码

admin/admin

 

此时已可成功登录。接下来配置 flink on yarn。

 

hdfs 新建 flink 包目录
hdfs dfs -mkdir -p hdfs:///flink/lib/
将 $FLINK_HOME/lib 下的包全部上传到上述目录

新建 dlink 包目录
hdfs dfs -mkdir -p /dlink/jar
将 /opt/dlink/jar 下的 dlink-app-1.14-0.6.6-jar-with-dependencies.jar 包上传到上述目录
hdfs dfs -put dlink-app-1.14-0.6.6-jar-with-dependencies.jar hdfs:///dlink/jar/

 

 

 

 

 

 

 

 

 

 点击测试,成功即可点击完成。

 

系统配置中,配置提交 FlinkSQL 的Jar文件路径(hdfs已上传),之后点击保存即可
hdfs:///dlink/jar/dlink-app-1.14-0.6.6-jar-with-dependencies.jar

 

 

 

此时 flink on yarn 已配置完成,可进行数据开发测试!

 

测试案例:

 

 

 

 

成功正常运行!

 

本文首发地址:

https://www.cnblogs.com/penggeyuanlishe/p/16616488.html

 

转载请注明出处!

 

标签:opt,hdfs,node08,flink,jar,yarn,dlink,dinky0.6
From: https://www.cnblogs.com/penggeyuanlishe/p/16616488.html

相关文章

  • 解决yarn安装node-sass失败
    第一步:更改镜像源yarnconfigsetregistryhttps://registry.npm.taobao.org-g第二步:配置node-sass的二进制包镜像地址yarnconfigsetsass_binary_sitehttps://np......
  • 新一代分布式实时流处理引擎Flink入门实战操作篇
    @目录安装部署安装方式Local(Standalone单机部署)Standalone部署StandaloneHA部署FlinkOnYarn演示案例概述会话(Session)模式单作业(Per-Job)模式流程演示应用(Application)......
  • 使用yarn 进行安装包
    Yarn是什么?“Yarn是由Facebook、Google、Exponent和Tilde联合推出了一个新的JS包管理工具,正如官方文档中写的,Yarn是为了弥补npm的一些缺陷而出现的。”这句话......
  • Flink 内置函数
    转载:https://blog.csdn.net/u011707542/article/details/101013751?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST......
  • 深入解析 Flink 细粒度资源管理
    细粒度资源管理的背景目的Flink目前采用粗粒度的资源管理方法,其中task被部署到预定义的、通常相同的slot中,而不需要每个包含多少资源的概念。使用slot共享,可以将同一slo......
  • flink udaf函数
    1.Flink-sql自定义UDAF函数-简书(jianshu.com)2.FlinkSQL自定义UDAF_k_wzzc的博客-CSDN博客_flinkudaf3.Flink实践教程-进阶(10):自定义聚合函数(UDAF)_腾讯云大数据的......
  • 新一代分布式实时流处理引擎Flink入门实战之先导理论篇-上
    @目录概述定义为什么使用Flink应用行业和场景应用行业应用场景实时数仓演变FlinkVSSpark架构系统架构术语无界和有界数据流式分析基础分层API运行模式作业提交流程顶层抽......
  • 安装Flink 环境
    安装Flink环境环境:centos7.7jdk:1.8.0Flink版本:1.14.5安装目录:/root/hadoop/flink-1.14.5首先解压Flinktar包tar-zxvfflink-1.14.5-bin-scala_2.11.tgzcdfli......
  • spark配置(yarn)
    spark关联hadoop的环境[root@node1conf]#pwd/opt/app/spark-2.3.1/conf[root@node1conf]#vispark-env.shHADOOP_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoopYA......
  • (转)Flink重点难点:Flink Table&SQL必知必会(一)
    原文:https://cloud.tencent.com/developer/article/1880482什么是TableAPI和FlinkSQLFlink本身是批流统一的处理框架,所以TableAPI和SQL,就是批流统一的上层处理API。目......