首页 > 其他分享 >Flink 1.18 Standalone 应用模式部署

Flink 1.18 Standalone 应用模式部署

时间:2024-01-17 19:34:52浏览次数:26  
标签:bin Flink Standalone flink 1.18 sh usr

本文基于:Flink Java Demo

1.下载

https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

2.解压

mkdir /usr/flink
tar -zxvf /home/flink-1.18.0-bin-scala_2.12.tgz -C /usr/flink/

3.推送端运行netcat

nc -lp 7878

4.将Maven的包复制到flink的lib目录下

cp /home/FlinkTutorial-1.0-SNAPSHOT.jar /usr/flink/flink-1.18.0/lib/

5.启动JobManager

/usr/flink/flink-1.18.0/bin/standalone-job.sh start --job-classname cn.coreqi.WordCountStreamUnboundedDemo

6.启动TaskManager

/usr/flink/flink-1.18.0/bin/taskmanager.sh start

7.停止

/usr/flink/flink-1.18.0/bin/taskmanager.sh stop
/usr/flink/flink-1.18.0/bin/standalone-job.sh stop

标签:bin,Flink,Standalone,flink,1.18,sh,usr
From: https://www.cnblogs.com/fanqisoft/p/17970865

相关文章

  • Flink Java Demo
    1.新建Maven项目<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://......
  • Flink自定义Assigning Timestamps和Watermarks 使用Scal语言
    Flink自定义AssigningTimestamps和Watermarks使用Scal语言为了让eventtime工作,Flink需要知道事件的时间戳,这意味着流中的每个元素都需要分配其事件时间戳。这个通常是通过抽取或者访问事件中某些字段的时间戳来获取的。时间戳的分配伴随着水印的生成,告诉系统事件时间中的......
  • Flink异步IO
    本文讲解Flink用于访问外部数据存储的异步I/OAPI。对于不熟悉异步或者事件驱动编程的用户,建议先储备一些关于Future和事件驱动编程的知识。对于异步I/O操作的需求在与外部系统交互(用数据库中的数据扩充流数据)的时候,需要考虑与外部系统的通信延迟对整个流处理应用的影响......
  • java Flink 校验接口数据
    要使用Java编写Flink程序来校验接口的数据,可以按照以下步骤进行操作。首先,需要引入相关依赖包。在pom.xml文件中添加如下依赖项:org.apache.flinkflink-streaming-java_2.12{FLINK版本号}其中{FLINK版本号}应该被替换为所使用的Flink版本号。创建一个新的Java类,并导入必要......
  • Flink 为什么跑官方例子得勾选 include dependencies with"Provided" provided适合在
    Flink为什么跑官方例子得勾选includedependencieswith"Provided"provided适合在编译和测试的环境,和compile类似,但是provide仅仅需要在编译和测试阶段,这是因为provide将不会被打包到lib目录下。大意就是说只要是打上了这个标签就不会被打包到jar文件,所以我们在本地进行编译和......
  • FlinkSQL实战开发
    FlinkSQL实战开发1、基础知识FlinkSQL分为TableAPI和SQLAPI,是架构于FlinkCore之上用SQL予以方便快捷地进行结构化数据处理的上层库。工作流程SQL和Table在进入Flink以后转化成统一的数据结构表达形式,也就是逻辑计划(logicplan),其中catalog提供元数据信息,用于后续的......
  • 50、Flink的单元测试介绍及示例
    Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分,比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基......
  • Spark版本不兼容导致Standalone集群无法连接问题
    一、Spark版本不一致报错现象当使用client模式连接Spark的standalone集群时,报错所有的sparkmaster的节点都没有回应。二、问题排查思路 通过client端的日志产看没有什么有价值的信息,需要看下spark端的master的日志,docker logsspark-master 产看docker容器spark-master......
  • 51、Flink的管理执行(执行配置、程序打包和并行执行)的介绍及示例
    文章目录Flink系列文章一、执行配置二、程序打包和分布式运行1、打包程序2、总结三、并行执行1、设置并行度1)、算子层次2)、执行环境层次3)、客户端层次4)、系统层次2、设置最大并行度本文介绍了Flink的管理执行的三个内容,即执行配置、打包和分布式运行以及并行执行(设置并行度的几......
  • 【flink番外篇】9、Flink Table API 支持的操作示例(13)- Row-based(map、flatmap、aggre
    文章目录Flink系列文章一、maven依赖二、Row-based操作1、本示例的公共代码1、Map2、FlatMap3、Aggregate4、GroupWindowAggregate5、FlatAggregate本文介绍了通过TableAPI基于行的map、flatmap、aggregate、groupwindowaggregate和flataggregate操作,并以示例进行展示操......