首页 > 其他分享 >flink部署模式和运行模式

flink部署模式和运行模式

时间:2024-03-12 15:57:29浏览次数:26  
标签:部署 flink 模式 job 集群 yarn jobmanger

flink部署模式

部署模式:flink里面的 计算程序 运行的方式

  • session
    session模式一个flink集群可以跑多个计算任务,资源共享
    session模式下集群是提前启动的,然后向flink集群提交job

  • per-job(高版本已经不推荐了)
    per-job模式下,一个集群只跑一个计算任务,资源独立,
    集群的启动是跟随任务提交创建的,任务结束集群关闭,不用提前启动集群

    image-20240312114435871

  • application
    application模式是per-job的进化版,优化的地方在于计算程序的解析从客户端改成了jobmanger,减轻了客户端压力

flink运行模式

运行模式:flink软件运行的模式

  • local
    一台主机运行着jobmanger和taskmanger。

  • standallone
    多台主机分别运行只jobmanger和taskManger,并且资源的分配是手动分配的,启动集群的时候已经定好哪些j节点是jobManger,哪些节点是taskManger

  • yarn

    资源由yarn管理,yarn动态的分配 jobmanger和taskManger,fink集群的创建由yarn完成。

  • k8s
    资源分配由k8s来完成。

标签:部署,flink,模式,job,集群,yarn,jobmanger
From: https://www.cnblogs.com/cxygg/p/18068491

相关文章

  • 保护模式:段机制
     一、段机制  内存是计算机系统的关键资源,程序必须被加载到内存中才可以被CPU所执行。程序运行过程中,也要使用内存来记录数据和动态的信息。在一个多任务的系统中,每个任务都需要使用内存资源,因此系统需要有一套机制来隔离不同任务所使用的内存,要使这种隔离即安全又高效,那么硬......
  • 将Asp.net Core 微服务容器部署到 Kubernetes
    将微服务容器部署到KubernetesKubernetes会为你运行容器,需要通过YAML文件描述希望Kubernetes执行的操作,在Kubernetes上部署和运行后端服务简单操作如下步骤安装Kubernetes工具和实现我们需要同时安装kubectl工具和Kubernetes实现按照参考:https://www.cnblogs.co......
  • Spring中使用自带@Autowired注解实现策略模式
    场景SpringBoot中策略模式+工厂模式业务实例(接口传参-枚举类查询策略映射关系-执行不同策略)规避大量if-else:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/130503707设计模式-策略模式在Java中的使用示例:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/d......
  • 一文搞懂Vue的MVVM模式与双向绑定
    v-model是Vue.js框架中用于实现双向数据绑定的指令。它充分体现了MVVM(Model-View-ViewModel)模式中的双向数据绑定特性。下面我们将详细解释v-model如何体现MVVM和双向绑定:1.MVVM模式MVVM模式是一种软件架构设计模式,它将应用程序分为三个部分:Model(模型):代表应用程序的......
  • 设计模式
    工厂模式工厂模式提供了一种获取对象的方法。作用:封装创建对象的细节。实现类鱼类的解耦操作装饰模式在不改变一个类的基础上,动态扩展一个类的功能。单例模式饿汉单例/***@authorPickle*@versionV1.0*@date2024/3/1214:51*/publicclassSingleInsta......
  • 一键开启 GPU 闲置模式,基于函数计算低成本部署Google Gemma 模型服务
    背景信息Google在2024年02月21日正式推出了自家的首个开源模型族Gemma,并同时上架了四个大型语言模型,提供了2B和7B两种参数规模的版本,每种都包含了预训练版本(base模型)和指令微调版本(chat模型)。根据Google的技术报告,本次开源的Gemma在问题回答、合理性、数学、代码......
  • Docker部署GitLab-2024
    搭建公司/个人私有化的Gitlab/Github代码版本管理平台文章耗时:5天(终于全流程走通),相关的应用或问题将持续更新。朗读全文Yourbrowserdoesnotsupporttheaudioelement.怎么用条件:个人域名,公网IP的小主机或服务器(或购得的VPS或网络服务器)根据‘实现方法’中的步骤用d......
  • 15_模板模式
    模板模式是一种行为型设计模式,它定义了一个抽象类作为算法的骨架,而将一些步骤的具体实现延迟到子类中。模板模式提供了一个统一的算法流程,但允许子类根据需要重写算法的具体步骤。模板模式有三个主要角色:抽象类(AbstractClass):定义了算法的骨架,包含了一个模板方法以及一些抽象......
  • 14_访问者模式
    访问者模式是一种行为型设计模式,它允许在不改变被访问对象结构的前提下,定义对这些对象的新操作。访问者模式将操作和对象结构分离,使得可以在不修改对象结构的情况下添加新的操作。访问者模式有四个主要角色:抽象访问者(Visitor):定义了访问者可以访问的对象的接口,包含了一系列的访......
  • Zabbix 7.0编译部署教程
    Zabbix7.0alpha版本、beta版本已经陆续发布,Zabbix7.0LTS版本发布时间也越来越近。据了解,新的版本在性能提升、架构优化等新功能方面有非常亮眼的表现,不少小伙伴对此也已经跃跃欲试。心动不如行动,不妨先体验了一把beta版本。本教程仅适用于编译部署Zabbix7.0beta1版本,部署环境......