场景:provide的依赖报错
1.找到报错的全类名,例如:
org.jsoup.nodes.Element
使用ctrl+n找到这个类,然后使用定位符定位在哪个jar:
分析冲突最好使用IDEA插件:maven helper:
这个时候在pom文件就可以分析依赖了,输入之前搜索到的jar包
简单的冲突,可以在显示冲突的地方,右键-排除,让插件自动帮我们加入排除
如果是依赖都provide,但是又想打包,同时又报包缺失,可以单独起一个依赖,把依赖导入
运行:
./bin/flink run -t yarn-application -c <main-class> <path-to-flink-job.jar> [arguments]
后台运行:
./bin/flink run -d -t yarn-application -c <main-class> <path-to-flink-job.jar> [arguments]
-
-n
或--container
:指定分配容器的数量(即TaskManager的数量)。 -
-D
:动态属性,可以用来设置Flink作业的各种配置参数,如JobManager和TaskManager的内存大小、并行度等。例如:-Djobmanager.memory.process.size=2048mb
:设置JobManager的内存大小为2048MB。-Dtaskmanager.memory.process.size=6144mb
:设置每个TaskManager的内存大小为6144MB。-Dtaskmanager.numberOfTaskSlots=2
:设置每个TaskManager使用的slot数量。
-
-nm
或--name
:在YARN上为一个自定义的应用设置一个名字。 -
-q
或--query
:显示YARN中可用的资源(内存、CPU核数)。 -
-qu
或--queue
:指定YARN队列。 -
-d
或--detached
:在后台独立运行作业。
此外,还有一些与Flink作业执行相关的参数,如并行度(-p
)、作业参数等,可以根据具体需求进行配置。