flink1.13.0 环境搭建

# flink部署

1. standalone 模式

2. yarn模式
    session-cluster模式
    job-cluster模式

3. k8s模式

注：yarn模式需要依赖hadoop环境，

# 1. standalone模式

直接下载flink-1.13.0安装包

https://archive.apache.org/dist/flink/flink-1.13.1/


启动start-cluster.sh脚本即可

# 2. session-cluster模式

2.1. 搭建hadoop集群
    参考上面连接，将hadoop集群搭建完成且正确

2.2. 启动yarn-session
    ./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

    -n(--container)： TaskManager   的数量。
    -s(--slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个        
                  taskmanager 的 slot 的个数为 1， 有时可以多一些 taskmanager，做冗余。
    -jm： JobManager 的内存（ 单位 MB)。
    -tm：每个 taskmanager 的内存（单位 MB)。
    -nm： yarn 的 appName(现在 yarn 的 ui 上的名字)。
    -d：后台执行。

2.3. 执行任务
    ./flink run -c com.atguigu.wc.StreamWordCount
    FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777

2.4. 查看任务状态
    hadoop：http://master:8088/cluster/nodes
    flink：http://master:8082

2.5. 取消yarn-session
    yarn application --kill application_1577588252906_0001

# 3. job-cluster

3.1. 启动hadoop集群

3.2. 不用启动yarn-session，直接执行如下job启动命令

3.3. 启动job命令
./flink run –m yarn-cluster -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777

3.4. 查看启动任务
flink：http://master:8082

# 4. k8s部署

4.1. k8s启动flink-session-cluster
// 启动 jobmanager-service 服务
kubectl create -f jobmanager-service.yaml

// 启动 jobmanager-deployment 服务
kubectl create -f jobmanager-deployment.yaml

// 启动 taskmanager-deployment 服务
kubectl create -f taskmanager-deployment.yaml

4.2. 访问flink UI
http://{JobManagerHost:Port}/api/v1/namespaces/default/services/flink-jobmanage r:ui/proxy