首页 > 其他分享 >1.17学习进度

1.17学习进度

时间:2024-01-18 14:01:25浏览次数:33  
标签:1.17 角色 层面 管理者 worker 学习 master 进度 资源管理

资源管理层面:

1.集群资源管理者(master):ResourceManager

2.单机资源管理者(worker):NodeManager

任务计算层面:

单任务管理者(master):ApplicationMaster

单任务执行者(worker):Task(容器内计算款家的角色)

spark运行角色

资源层面:

1.master角色:集群资源管理

2.worker角色:单机资源管理

任务运行层面:

1.driver:单个任务的管理

2.excutor:单个任务的计算(干活的)

特殊场景下(local模式)driver可以及管理又干活

标签:1.17,角色,层面,管理者,worker,学习,master,进度,资源管理
From: https://www.cnblogs.com/zhangmingmkzj/p/17972352

相关文章

  • 1.18学习进度
    1.local模式基本原理   本质:启动一个JVMProcess进程(一个进程里面有多个线程),执行任务task   local模式可以限制模拟spark集群环境的线程数量,即local[N]或local[*]       其中N代表可以使用N个线程,如果不指定N,默认是1个线程       如果是local[*],则代表R......
  • Go语言学习笔记 - 不定时更新
    Go语言常用命令环境准备#修改go配置exportGOPROXY="https://goproxy.cn"GoMod(注:比较常用的是init,tidy,edit)gomodinitnamecreatemodules(创建包名注:包名在import引入自定义包时替代GOPATH)gomoddownloaddownloadmodulestolocalcache(下载依赖......
  • 生成学习全景:从基础理论到GANs技术实战
    本文全面探讨了生成学习的理论与实践,包括对生成学习与判别学习的比较、详细解析GANs、VAEs及自回归模型的工作原理与结构,并通过实战案例展示了GAN模型在PyTorch中的实现。关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦......
  • Power BI - 5分钟学习新增自定义列
    每天5分钟,今天介绍PowerBI新增自定义列我们在日常工作中有时需要对导入的数据进行额外处理,如两个字符串列拼接【产品编号】+【产品名称】,或者【数据量】*【价格】得到销售值等等。 以计算产品销售为例,导入样例数据,请看样例内容:(Excel数据源导入请参考每天5分钟第一天)。......
  • 连接云服务器及Linux常用指令学习
    连接云服务器及Linux常用指令学习:https://blog.csdn.net/qq_50748038/article/details/126124924centos超级用户普通用户切换:https://blog.csdn.net/day_in_night/article/details/39477155?ops_request_misc=&request_id=&biz_id=102&utm_term=centeros%20%E5%88%87%E6%8D%A2%......
  • 【scikit-learn基础】--『监督学习』之 谱聚类
    谱聚类算法基于图论,它的起源可以追溯到早期的图分割文献。不过,直至近年来,受益于计算机计算能力的提升,谱聚类算法才得到了广泛的研究和关注。谱聚类被广泛应用于图像分割、社交网络分析、推荐系统、文本聚类等领域。例如,在图像分割中,谱聚类可以有效地将图像划分为背景和前景;在社交......
  • 机器学习-概率图模型系列-最大熵马尔科夫模型-38
    目录MaxEntropyMarkovModelMEMM,即最大熵马尔科夫模型,属于判别式模型。最大熵模型+隐马尔可夫模型HMMM没办法加入新的特征,MEMM是判别式模型,这就允许它可以加入更多的Features。观测独立假设对应的就是朴素贝叶斯的条件独立性假设,即t+1时刻的y状态只与t时刻的y状态有关系......
  • Java学习日记 Day3 我怀疑世界就是一个巨大的草台班子
    JavaSE:①包装类:对比基础数据类型有更高级的功能。另外在容器中(或者叫集合)包装类有重要的作用。容器中只能存放包装类,不能存放基础数据类型。包装类一些特性:被final修饰,不能有子类了。。。jdk1.0就有,是开服玩家。。。其实在代码底层中包装类封装了一个int。。。自动装箱自动拆箱......
  • 1.17每日总结
    Python3基本数据类型Python中的变量不需要声明。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。在Python中,变量就是变量,它没有类型,我们所说的"类型"是变量所指的内存中对象的类型。等号(=)用来给变量赋值。等号(=)运算符左边是一个变量名,等号(=)运算符右边是存储在......
  • 学习进度笔记6
    SparkSQL基本操作将下列JSON格式数据复制到Linux系统中,并保存命名为employee.json。{"id":1,"name":"Ella","age":36}{"id":2,"name":"Bob","age":29}{"id":3,"name":......