YARN运行模式_环境准备
YARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上,Flink会部署JobManager和TaskManager的实例,从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。
[atguigu@node001 flink-1.17.0]$ source /etc/profile.d/my_env.sh
[atguigu@node001 flink-1.17.0]$ myhadoop.sh s
Input Args Error...
[atguigu@node001 flink-1.17.0]$ myhadoop.sh start
================ 启动 hadoop集群 ================
---------------- 启动 hdfs ----------------
Starting namenodes on [node001]
Starting datanodes
Starting secondary namenodes [node003]
--------------- 启动 yarn ---------------
Starting resourcemanager
Starting nodemanagers
--------------- 启动 historyserver ---------------
[atguigu@node001 flink-1.17.0]$ jpsall
================ node001 ================
9200 JobHistoryServer
8416 NameNode
8580 DataNode
9284 Jps
8983 NodeManager
================ node002 ================
3892 ResourceManager
3690 DataNode
4365 Jps
4015 NodeManager
================ node003 ================
3680 DataNode
3778 SecondaryNameNode
3911 NodeManager
4044 Jps
[atguigu@node001 flink-1.17.0]$
YARN运行模式_会话模式
这段命令是用于启动 Apache Flink 的 YARN 会话(session)的脚本,如下是每个选项和参数的含义:
-
yarn-session.sh
:这是 Apache Flink 提供的用于在 YARN 上启动会话的脚本。 -
-d
:这是一个选项,表示以分离模式(detached mode)启动会话。在分离模式下,会话将在后台运行,并且脚本会立即返回。 -
-nm test
:这是另一个选项,用于指定会话的名称。在这个例子中,会话的名称被设置为 “test”。
综合起来,该命令的目的是在 YARN 上启动一个名为 “test” 的 Apache Flink 会话,并以分离模式运行。启动后,该会话将在后台运行,并且命令行提示符会立即返回,允许您继续执行其他操作。
[atguigu@node001 bin]$ ./yarn-session.sh --help
[atguigu@node001 bin]$ ./yarn-session.sh
[atguigu@node001 bin]$ ./yarn-session.sh -d -nm test
YARN运行模式_会话模式的停止
单作业模式部署:
在YARN环境中,由于有了外部平台做资源调度,所以我们也可以直接向YARN提交一个单独的作业,从而启动一个Flink集群。
停止job: