首页 > 其他分享 >1.13学习进度

1.13学习进度

时间:2024-01-13 23:11:56浏览次数:24  
标签:TaskScheduler 1.13 创建 学习 DAGScheduler Master 进度 TaskSet Executor

    初始化DAGScheduler 和 TaskScheduler调度器,SparkDeploySchedulerBackend,以及在其内部启动DriverEndpoint 和 ClientEndpoint。
    其中:

        ClientEndpoint:用于向Master注册应用程序
        DriverEndpoint:用于发送任务给work中的executor
        DAGScheduler:(根据宽依赖)将job划分成多个Stage,每个Stage创建一个TaskSet,并将TaskSet提交给TaskScheduler
        TaskScheduler:用于接收TaskSet,并发送给Executor。如果某个任务失败, 任务调度器负责重新分配该任务的计算。

Executor的创建和执行:

    Master返回资源列表给client端后通知Worker中的WorkerEndpoint创建CoarseGrainedExecutorBackend进程。
    该进程会创建执行容器Executor,在Executor运行过程中 CoarseGrainedExecutorBackend(粗粒度执行后端)汇报执行情况给SparkContext。

 

标签:TaskScheduler,1.13,创建,学习,DAGScheduler,Master,进度,TaskSet,Executor
From: https://www.cnblogs.com/zhangmingmkzj/p/17963174

相关文章

  • C++ 学习宝藏网站分享
    C++学习宝藏网站分享1.C++在线参考手册Cppreferencehttps://zh.cppreference.comC++开发者必备的在线参考手册,是我最常访问的C++网站之一。作为参考手册,不仅包含了语言本身的词法、语法特性,还包含了对C++标准库的介绍:需要include哪个头文件、接口参数/返回值说明......
  • gin学习笔记(三)—— 会话管理
    会话管理HTTP会话管理HTTP协议的特点是一问一答(请求然后响应)。基本上,Web应用都实现了用户管理,因此当用户发送请求时,服务器要能识别出是哪个用户,最简单的方法就是客户端每次请求,都附上用户信息。这样既不安全也不高效,故提出会话(Session),会话一般存储用户信息。服务端会话(S......
  • 学习笔记4
    RDD操作对于RDD而言,每一次转换操作都会产生不同的RDD,供给下一个“转换”使用,转换得到的RDD是惰性求值的,也就是说,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会发生真正的计算,开始从血缘关系源头开始,进行物理的转换操作;常用的RDD转换操作,总结如下......
  • 大三寒假学习进度笔记4
    今日学习时间两小时,开始学习RDD的内容,学习了RDD的创建和RDD算子的定义分类RDD学习:RDD五大特征:RDD是有分区的分区是RDD数据存储的最小单位计算方法会作用到每一个分区上RDD之间是由相互依赖的关系的KV型RDD可以有分区器KV型RDD:存储的数据是二元元组RDD分区数据的读取会尽......
  • Python学习笔记
    Python学习因为我之前使用Python复现算法,所以环境早已经进行了配置要点简介脚本语言是一种介乎于HTML和诸如JAVA、VisualBasic、C++等编程语言之间的一种特殊的语言,尽管它更接近后者,但它却不具有编程语言复杂、严谨的语法和规则。有一些脚本语言已经发生了变化,如Py......
  • 闲话1.13
    为啥没有模拟赛的日子这么无聊啊......
  • 1.13寒假每日总结4
    今天,主要尝试了在java中调用已有的python脚本并输出相关信息。 参考:百度文心一言的回复。 packagetest0113;importjava.io.*;publicclasstest{publicstaticvoidmain(String[]args){try{//指定Python解释器的路径......
  • 微软企业库Unity学习笔记(一)
    微软企业库Unity学习笔记(一) 本文主要介绍:关于Unitycontainer配置,注册映射关系、类型,单实例、已存在对象和指出一些container的基本配置,这只是我关于Unity的学习心得和笔记,希望能够大家多交流相互学习到更多知识,谢谢大家的支持。我们可以通过以下两种方法给Unitycontain......
  • 微软企业库Unity学习笔记(二)
    微软企业库Unity学习笔记(二) 接下来介绍一下依赖注入的方式:构造函数注入属性注入方法注入一、构造函数注入我们将介绍单构造函数和多构造函数注入1)单构造函数使用自动注入单构造函数自动注入,这里我们使用一个简单的例子具体类MyObject依赖于具体类MyDependentC......
  • 学习进度笔记2
    frompysparkimportSparkConf,SparkContext#创建sparkconf对象conf=SparkConf().setMaster("local[*]").setAppName("test_app")#基于sparkconf对象创建sparkContext对象sc=SparkContext(conf=conf)##########基本结构#map计算#rdd=sc.parallelize([1,2,3,4,5])#......