首页 > 其他分享 >Flink集群部署

Flink集群部署

时间:2022-10-31 23:11:20浏览次数:83  
标签:linux2 Flink 部署 flink jar yarn servers 1.7 集群

集群 standalone 安装部署

  1. 下载安装包

下载页面:https://archive.apache.org/dist/flink/flink-1.7.2/

我这里安装的 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 版本。

  1. 修改配置文件 conf/flink-conf.yaml

修改如下两个参数:

#填你机器的host名
jobmanager.rpc.address: linux2
taskmanager.numberOfTaskSlots: 2
  1. 修改配置文件/conf/slave
linux2
linux3
linux4
  1. 将文件发送到其他两个机器
scp -r flink-1.7.2 linux3:/opt/lagou/servers/
scp -r flink-1.7.2 linux4:/opt/lagou/servers/
  1. 给每台机器配置环境变量

vim /etc/profile

export FLINK_HOME=/opt/lagou/servers/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

配置完成后使配置文件生效

source /etc/profile
  1. 进入 bin 目录,启动集群
./start-cluster.sh

启动完后我们可以输入网址http://linux2:8081/,验证

至此,安装完毕。

然后我们将程序放入集群环境测试。首先需要先打 jar 包,需要注意将依赖也打进去,打包插件如下:

<build>
        <plugins>
            <!-- 打jar插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>
  1. 打包完成后,将 jar 包上传

  2. 选中上传的 jar 包,填入我们 main 方法的全类名,参数等等。然后点击 submit 提交任务。

  3. 我们可以先使用 nc 工具向程序输入数据 nc -lk 7000

查看日志的输出

Yarn 模式集群部署

  1. 配置 yarn-site.xml 文件,增加如下配置:
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>linux2:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>linux2:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>linux2:8031</value>
  </property>
  1. 启动 hdfs
start-dfs.sh
  1. 启动 yarn
start-yarn.sh
  1. 进入到 flink 的 bin 目录
# -n 2代表2个task manager,tm 800代表内存800m,-s 1代表一个slots,-d代表后台运行
yarn-session.sh -n 2 -tm 800 -s 1 -d
  1. 在 yarn 上提交 flink 作业

方式一:

./flink run -c com.mmc.flink.WordCountStream /export/servers/flink/examples/batch/WordCount.jar

方式二:

# -m jobmanager的地址
# -yn 表示TaskManager的个数
./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /export/servers/flink/examples/batch/WordCount.jar
  1. 关闭任务
# 找到yarn任务的id,通过命令杀掉
yarn application -kill application_1527077715040_0003

标签:linux2,Flink,部署,flink,jar,yarn,servers,1.7,集群
From: https://www.cnblogs.com/javammc/p/16846245.html

相关文章

  • redis三主三从集群简易搭建(docker版本, 3台机器)
    #备注:仅针对测试验证使用,生产环境请注意密码/开启AOF等参数设置dockerpullredis:6#机器1dockerrun-d--nethost--nameredis7001redis:6--cluster-enabl......
  • docker部署zabbix6.0及企业微信发送告警
    1前言1.1实验背景因zabbix6.0新增许多新特性,为熟悉界面特意在本地部署一套简易版(未启用HA功能)。原本想要在烧制了centos7.9系统树莓派上部署,一查之下armv7果然冷门,mar......
  • Kubeadm部署k8s单点master
    Kubeadm部署k8s单点master1、环境准备:主机名IP说明宿主机系统master10.0.0.17Kubernetes集群的master节点CentOS7.9node110.0.0.27Kubernetes集群......
  • MongoDB 分片集群均衡器导致的性能下降
        近期,有人反馈其mongodb分片集群,在加载处理大批量数据时,程序处理十分缓慢并且应用还会报错:versionmismatchdetectedfor。现将分析汇总如下备用。    ......
  • Kubeadm部署Kubernetes
    Kubeadm部署Kubernetes1、环境准备主机名IP说明宿主机系统k8s-master10.0.0.101Kubernetes集群的master节点Ubuntu2004k8s-node110.0.0.102Kubernet......
  • 超详细部署kubernetes教程
    Kubeadm部署k8s单点master1、环境准备:主机名IP说明宿主机系统master10.0.0.17Kubernetes集群的master节点CentOS7.9node110.0.0.27Kubernetes集群的node节点CentOS7.9#所......
  • 1.Redis系列之Docker本地部署
    本文介绍采用docker-compose快速部署redis7,供学习使用1.编写docker-compose.yml文件version:'3'services:redis:network_mode:bridgecontainer_name:......
  • FlinkSql之TableAPI详解
    一、FlinkSql的概念核心概念Flink的TableAPI和SQL是流批统一的API。这意味着TableAPI&SQL在无论有限的批式输入还是无限的流式输入下,都具有相同的语义。......
  • Kubecm-多集群kubectl 管理工具
    Kubecm-多集群kubectl管理工具https://github.com/sunny0826/kubecmhttps://kubecm.cloud/en-us/README......
  • 实时数据湖 Flink Hudi 实践探索
    导读:首先做个自我介绍,我目前在阿里云云计算平台,从事研究Flink和Hudi结合方向的相关工作。目前,Flink+Hudi的方案推广大概已经有了一年半的时间,在国内流行度也已比较高......