首页 > 其他分享 >Flink安装部署

Flink安装部署

时间:2024-11-25 18:58:23浏览次数:7  
标签:opt Flink java 部署 flink installs bigdata01 安装

一、Standalone集群模式安装部署

conda deactivate 退出 base环境

Flink支持多种安装模式。

local(本地)——本地模式

standalone——独立模式,Flink自带集群,开发测试环境使用

standaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用

yarn——计算资源统一由Hadoop YARN管理,生产环境测试

下载链接:https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz

二、上传Flink安装包,解压,配置环境变量

解压:tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/

修改名称:mv flink-1.13.6/ flink

添加环境变量:vim /etc/profile

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

刷新:source /etc/profile

三、修改flink的配置文件

1.vi /opt/installs/flink/conf/flink-conf.yaml

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

#历史服务器  如果HDFS是高可用,则复制core-site.xml、hdfs-site.xml到flink的conf目录下   hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

2.vi /opt/installs/flink/conf/masters

bigdata01:8081

3.vi /opt/installs/flink/conf/workers

bigdata01
bigdata02
bigdata03

四、上传jar包

将flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下(没有的可以私下联系我)

五、将flink的配置以及环境变量分发到其他两台虚拟机上(自己一个个配置也可以,内容不变)

六、启动

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

假如 historyserver 无法启动,也就没有办法访问 8082 服务,原因大概是你没有上传 关于 hadoop 的 jar 包到 lib 下:

观察webUI

http://bigdata01:8081   -- Flink集群管理界面    当前有效,重启后里面跑的内容就消失了
能够访问8081是因为你的集群启动着呢
http://bigdata01:8082   -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在
能够访问8082是因为你的历史服务启动着

两者的区别:首先可以先把服务都停止

然后再重启,发现8081上已经完成的任务中是空的,而8082上的历史任务都还在,原因是8082读取了hdfs上的一些数据,而8081没有。

但是从web提供的功能来看,8081提供的功能还是比8082要丰富的多。

七、提交官方示例

flink run  /opt/installs/flink/examples/batch/WordCount.jar
或者
flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径

flink run  /opt/installs/flink/examples/batch/WordCount.jar --input /home/wc.txt --output /home/result

运行以上案例时,会出现有时候运行成功,有时候运行失败的问题:

Caused by: java.io.FileNotFoundException: /home/wc.txt (没有那个文件或目录)
        at java.io.FileInputStream.open0(Native Method)
        at java.io.FileInputStream.open(FileInputStream.java:195)
        at java.io.FileInputStream.<init>(FileInputStream.java:138)
        at org.apache.flink.core.fs.local.LocalDataInputStream.<init>(LocalDataInputStream.java:50)
        at org.apache.flink.core.fs.local.LocalFileSystem.open(LocalFileSystem.java:134)
        at org.apache.flink.api.common.io.FileInputFormat$InputSplitOpenThread.run(FileInputFormat.java:1053)
原因是:你的 taskManager 有三台,你的数据只在本地存放一份,所以需要将数据分发给 bigdata02 和 bigdata03

xsync.sh /home/wc.txt(三台都必须有这个txt文件才可以)

标签:opt,Flink,java,部署,flink,installs,bigdata01,安装
From: https://blog.csdn.net/qq_70299193/article/details/144035120

相关文章

  • typora 0.11.18 最后的免费版安装方法(含 windows 和 archlinxu)
    目录故事介绍archlinx安装windows安装注册表修改验证typora故事介绍typora从1.0版本开始收费了,最后一个免费版本是0.11.18下面的地址是typora官方下载页面https://typora.io/windows/dev_release.htmlarchlinx安装aur的typora-free下载deb包也许未来......
  • 【书生实战营】- L2G4000 InternVL 多模态模型部署微调实践
    文章目录InternVL部署微调实践多模态大模型简介BLIP2Q-FormerMiniGPT-4LLaVa为什么用Q-Former的变少了InternVL2简介InternViTPixelShuffleDynamicHigh-ResolutionMultitaskoutput训练InternVL部署-LMDeploy训练环境推理环境网页应用部署InternVL微调XTuner微......
  • Linux下二维码识别库Zbar的安装与使用
    1.安装Zbarsudoapt-getinstalllibzbar-dev2.识别流程读取图像并转换为Zbar内建图像类型创建Zbar扫描器设置扫描参数扫描图像并获取结果#include<zbar.h>//仅能包含该头文件,其他头文件宏定义中写了不可用于使用#include<opencv2/opencv.hpp>usingnamespace......
  • Vue Devtools的下载和安装
    1.下载下载地址:https://github.com/vuejs/vue-devtools/tree/v5.1.1 下载下来zip包。解压到指定文件夹 2.安装依赖在这个目录,执行npminstall命令进行依赖安装 3.修改配置打开解压目录vue-devtools-master下的shells/Chrome/manifest.json文件,将代码"persistent":fal......
  • SpringBoot永州优选网3uhfq 程序+源码+数据库+调试部署+开发环境
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表系统内容:用户,商家,商品推荐,商家推荐,商品分类,优惠商品,优惠活动开题报告内容一、项目背景随着互联网技术的飞速发展,电子商务已成为推动地方经济转型升级的......
  • SpringBoot英语学习博客17ql1 程序+源码+数据库+调试部署+开发环境
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表系统内容:用户,资源分类,资源信息,发布资源开题报告内容一、项目背景与意义随着全球化进程的加速,英语作为国际通用语言的重要性日益凸显。然而,传统的英语学习......
  • 【史上最强的安装离线Mysql8.1教程】
    安装Mysql8.1教程Mysql是一种开源的关系型数据库管理系统,它被广泛应用于Web应用程序开发。本教程将帮助您了解如何安装MySQL8.1。步骤1:下载Mysql8.1mysql社区官方:https://downloads.mysql.com/archives/community/首先,您需要前往MySQL官方网站(https://www.mysql.co......
  • Adobe Premiere Pro(PR2024)专业视频编辑软件下载安装
    一、AdobePremierePro软件简介1.软件概述AdobePremierePro(AdobePR)是Adobe公司推出的专业视频编辑软件,它为用户提供了全面的视频剪辑、色彩分级、音频处理等功能,广泛应用于电影、电视、广告以及其他类型的视频制作。PremierePro支持多种视频格式,包括4K、8K、360度视频......
  • ssm毕设在线学习考试程序+论文+部署
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容一、研究背景随着信息技术的飞速发展,互联网在教育领域的应用日益广泛。在线学习考试系统逐渐成为现代教育和企业培训等领域不可或缺的一部分。传统的学习和考......
  • ssm毕设智慧养老院管理系统程序+论文+部署
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容一、研究背景随着全球人口老龄化进程的加速,养老问题成为社会各界关注的焦点。传统的养老院管理模式在应对日益增长的老年人口、多样化的需求以及高效管理等方......