YARN的会话模式与独立集群略有不同,需要首先申请一个YARN会话(YARN Session)来启动Flink集群。
1.后台启动yarn会话模式flink集群
bin/yarn-session.sh -d -nm test
2.查看返回地址和yarn id
yarn会自动分配集群随机一台主机和端口号
JobManager Web Interface: http://xxx1:38005
flink命令和yarn命令停止集群
$ echo "stop" | ./bin/yarn-session.sh -id application_1715411206268_0001
$ yarn application -kill application_1715411206268_0001
3.web提交任务
正常申请到slot并运行
4.命令行提交任务
bin/flink run -c com.huft.flk117.demo.StreamSocketCnt job_jar/original-fk117-1.0-SNAPSHOT.jar
5.总结
yarn进行资源管理,会话模式启动。实现了 slot进行动态按需分配,不使用就回收。
YARN会按照需求动态分配TaskManager和slot。所以从这个意义上讲,YARN的会话模式也不会把集群资源固定,同样是动态分配的。