首页 > 其他分享 >应用模式启动

应用模式启动

时间:2024-05-11 18:08:10浏览次数:20  
标签:fs 启动 flink jar hadoop 模式 application yarn 应用

与单作业模式类似,直接执行flink run-application命令

$ bin/flink run-application -t yarn-application -c com.huft.flk117.demo.StreamSocketCnt job_jar/original-fk117-1.0-SNAPSHOT.jar
查看 web及yarn id

2.在命令行中查看或取消作业。
$ bin/flink list -t yarn-application -Dyarn.application.id=application_1715411206268_0004
$ bin/flink cancel -t yarn-application -Dyarn.application.id=application_1715411206268_0004 21694a9ed391ba08c992d579b0e67103


3.依赖及jar包存放hdfs,运行作业更轻量
可以通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到远程。
3.1 上传flink的lib和plugins到HDFS上
$ hadoop fs -mkdir /flink-dist
$ hadoop fs -put lib/ /flink-dist
$ hadoop fs -put plugins/ /flink-dist
3.2 上传自己的jar包到HDFS
$ hadoop fs -mkdir /flink-jars
$ hadoop fs -put job_jar/original-fk117-1.0-SNAPSHOT.jar /flink-jars

3.3 提交作业
$ bin/flink run-application -t yarn-application -D yarn.provided.lib.dirs="hdfs://hdf1:8020/flink-dist" -c com.huft.flk117.demo.StreamSocketCnt hdfs://hdf1:8020/flink-jars/original-fk117-1.0-SNAPSHOT.jar

这种方式下,flink本身的依赖和用户jar可以预先上传到HDFS,而不需要单独发送到集群,这就使得作业提交更加轻量了

3.4 报错
java.lang.IllegalStateException: No ClusterClientFactory found. If you were targeting a Yarn cluster, please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation.

执行 export HADOOP_CLASSPATH=hadoop classpath 无效

3.5
然后测试会话模式和单作业模式,是正常的。所以判断不是依赖问题
最后看命令行,发现参数这里是连着的,所以导致没识别hdfs上依赖(-D 参数原来和后面的yarn间没有空格,导致报错。上面语句已更改)

3.6 增加空格后运行正常

标签:fs,启动,flink,jar,hadoop,模式,application,yarn,应用
From: https://www.cnblogs.com/huft/p/18186889

相关文章

  • 在 WPF 中集成 ASP.NET Core 和 WebView2 用于集成 SPA 应用
    背景我们有些工具在Web版中已经有了很好的实践,而在WPF中重新开发也是一种费时费力的操作,那么直接集成则是最省事省力的方法了。修改项目文件我们首先修改项目文件,让WPF项目可以包含ASP.NETCore的库,以及引用WebView2控件。<ProjectSdk="Microsoft.NET.Sdk"><Pr......
  • 启动软件输入密码
    #硬编码的正确密码的哈希值(这只是一个示例,你应该使用更安全的方法来存储和验证密码)$correctPasswordHash="cc0c306017c7d88cb92009d56e2e31c1d2e2a97d989dc5c27cb8f65d69e8aad7"#替换为实际密码的哈希值#读取用户输入的密码$userPassword=Read-Host"pleaseinputI......
  • 3-LVS工作模式
    3.LVS工作模式NAT  TUN  DRhttps://blog.csdn.net/weixin_40470303/article/details/80541639NAT1.LVS服务器配两块网卡,一块连公网与用户通信,一块连内网与集群通信2.负载路由器充当网关3.支持端口映射,后端真实服务器的地址可能不是80,而是80804.集群节点处于一个网络......
  • 全双工与半双工技术解析及其应用场景
    随着信息技术的迅猛发展,通信系统的性能要求日益提高。在数据传输中,双工模式的选择对于提高系统效率、降低通信延迟具有重要意义。本文将对全双工和半双工两种双工模式进行详细解析,并探讨它们各自的优缺点及适用场景。一、全双工模式全双工模式允许数据在通信链路的两个方向上同......
  • 会话模式启动
    YARN的会话模式与独立集群略有不同,需要首先申请一个YARN会话(YARNSession)来启动Flink集群。1.后台启动yarn会话模式flink集群bin/yarn-session.sh-d-nmtest2.查看返回地址和yarnidyarn会自动分配集群随机一台主机和端口号JobManagerWebInterface:http://xxx1:38005fl......
  • 工厂模式
    简单工厂模式把创建封装进一个类里,当实现变化时,我们只需要修改这一个地方。类图如下工厂方法处理对象的创建,并将对象的创建封装在子类中,使得客户代码从子类对象的创建代码解耦。代码示例如下#include<iostream>usingnamespacestd;classProduct{public:Produc......
  • 多对一和一对多的查询的ResultMap应用
    环境准备数据库创建:一个teacher表,字段有id(主键),name,一个student表,字段为id(主键),name,tid(外键)建表语句:CREATETABLE`teacher`(`id`INT(10)NOTNULL,`name`VARCHAR(30)DEFAULTNULL,PRIMARYKEY(`id`))ENGINE=INNODBDEFAULTCHARSET=utf8;INSERTI......
  • 结构型-装饰模式(Decorator)
    1.简介装饰模式指的是在不必改变原类文件和使用继承的情况下,动态地扩展一个对象的功能。它是通过创建一个包装对象,也就是装饰来包裹真实的对象。2.定义装饰对象和真实对象有相同的接口。这样客户端对象就能以和真实对象相同的方式和装饰对象交互。装饰对象包含一个真......
  • 在 WinForms 应用程序中处理未经处理的异常
    internalstaticclassProgram{///<summary>///应用程序的主入口点。///</summary>[STAThread]staticvoidMain(){//添加事件处理程序以捕获主UI线程中发生的所有异常Application.......
  • Fibocom L830 是一款移动通信模块,通常用于嵌入式设备或物联网(IoT)应用中。它提供了蜂窝
    驱动程序下载FibocomL830是一款移动通信模块,通常用于嵌入式设备或物联网(IoT)应用中。它提供了蜂窝连接功能,支持4GLTE网络,并具有全球覆盖的能力。这种模块通常被嵌入到各种设备中,例如智能手表、智能家居设备、工业设备等,以便这些设备可以通过蜂窝网络进行通信和远程控制。关于......