首页 > 其他分享 >12.14日记

12.14日记

时间:2023-12-14 22:45:23浏览次数:37  
标签:状态 JobMaster JobGraph ResourceManager Flink 任务 12.14 日记

Flink JobManager架构原理的核心是JobMaster和ResourceManager,其中JobMaster负责任务的调度和监控,ResourceManager负责集群资源的管理。JobMaster和ResourceManager之间通过RPC通信进行交互。

JobMaster主要负责以下几个方面:

    任务管理

JobMaster负责接收用户提交的任务,并将任务转换为JobGraph。JobGraph是Flink应用程序的执行图,它描述了任务之间的依赖关系和数据流向。JobMaster会对JobGraph进行优化和调度,并将任务分配给TaskManager进行执行。

    任务监控

JobMaster会监控任务的执行状态,包括任务的启动、暂停、恢复和取消等操作。如果任务执行失败,JobMaster会重新分配任务,或者通知用户进行处理。

    状态管理

Flink支持任务的状态管理和恢复,JobMaster负责保存和恢复任务的状态信息。在任务执行过程中,JobMaster会周期性地将任务状态信息保存到持久化存储中,以确保在任务失败或系统故障时能够恢复任务状态。

    高可用性

为了保证JobMaster的高可用性,Flink采用了主备模式。即在Flink集群中,有一个主JobMaster和若干备JobMaster。当主JobMaster发生故障时,备JobMaster会接管任务的管理和调度。

标签:状态,JobMaster,JobGraph,ResourceManager,Flink,任务,12.14,日记
From: https://www.cnblogs.com/zhangmingmkzj/p/17902343.html

相关文章

  • 12.14每日总结
    今天完成建民的课堂测试和.NET考试 软件需求与分析课堂测试十——综合案例分析(5分) 根据下列案例需求描述,回答相关问题:有一个对外营业的会议中心,有各种不同规格的会议室,为用户提供以下服务:1,用户可以按照会议人数,会议时间预订会议室。可以只预订1次,也可预订定期召开的会议......
  • 每日总结12.14
    根据下列案例需求描述,回答相关问题:有一个对外营业的会议中心,有各种不同规格的会议室,为用户提供以下服务:1、用户可以按照会议人数、会议时间预订会议室。可以只预订1次,也可预订定期召开的会议。2、开会前允许用户修改会议时间、人数,重新选择会议室,甚至取消预订的会议。3、......
  • 2023.12.14
    importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorchvisionimportdatasets,transformsclassModulatedAttLayer(nn.Module):#(Unchangedcode)classSimpleCNN(nn.Module):def__init__(self):super(SimpleCNN,self).__i......
  • 闲话12.14
    今天晚上写题写累了,闲话可能比较水。上午接着颓,上课也颓废。K8一句话说的很对啊,就是提前来这体验大学生活了,上午上课颓废,下午晚上自习颓废,赢麻了。上午的树上问题没啥听懂的,感觉昨天的ds都放今天了是为啥。写起来也挺难受的。过几天好像就是沈老师来讲课了。下午普通的写题......
  • 2023.12.14
    7-1数据结构作业#include<iostream>#include<vector>usingnamespacestd;intmain(){intn,p;scanf("%d%d",&n,&p);vector<int>a(p,-1);//初始化数组,全为-1while(n--){intx;cin>>......
  • 服务器日记
    查看玩法:自己拥有一台服务器可以做哪些很酷的事情?-知乎(zhihu.com)  自己拥有一台服务器可以做哪些很酷的事情?-知乎(zhihu.com)搜索监控服务器:netdata监控服务器_百度搜索(baidu.com)查看教程:65.7kStar!强大又全面的性能监控工具——Netdata-知乎(zhihu.com)查看......
  • Solution Set 2023.12.14
    CF698FCoprimePermutation考虑\(p_i=0\)的情况下怎么做,首先排列\(p_i=i\)一定符合条件,考虑在此基础上生成其他符合要求的排列,考虑什么情况下\(p_i\)和\(p_j\)可以互换,发现其可以互换当且仅当对于所有\(x\neqi\)且\(x\neqj\),均有\(\left[\gcd\left(i,x\rig......
  • 百度网盘(百度云)SVIP超级会员共享账号每日更新(2023.12.14)
    一、百度网盘SVIP超级会员共享账号可能很多人不懂这个共享账号是什么意思,小编在这里给大家做一下解答。我们多知道百度网盘很大的用处就是类似U盘,不同的人把文件上传到百度网盘,别人可以直接下载,避免了U盘的物理载体,直接在网上就实现文件传输。百度网盘SVIP会员可以让自己百度账......
  • 【笔记】2023.12.14 树上问题
    笔记2023.12.14:树上问题[Ynoi2004]rpmtdq支配对:\(i_1\leqi_2\leqj_2\leqj_1,dist(i_1,j_1)\geqdist(i_2,j_2)\)时,称\((i_1,j_1)\)被\((i_2,j_2)\)支配,前者就无用了,选到区间只要包含\((i_1,j_1)\)就一定包含\((i_2,j_2)\)。点分治到\(rt\)时,记\(d_x=dis......
  • 12.14周四每日总结
    今天上课更加深入讲解了类图和时序图,并通过测试和让学生讲解让我们更加深入这些内容。其中面向对象建模过程识别信息系统的目标和边界(上下范围图);识别用例,建立用例图;识别对象和类,建立类图;设计用例的详细逻辑,建立时序图或协作图;必要时重复以上活动,精化并调整各图。让我们更......