首页 > 其他分享 >2.1学习进度

2.1学习进度

时间:2024-02-03 11:44:39浏览次数:30  
标签:DAG 一个 学习 rdd job 依赖 进度 action 2.1

有向无环图

有向:有方向

无环:没有闭环

DAG:有方向没有形成闭环的一个执行流程图

action:执行链条的开关,返回值不是rdd算子

一个action会产生一个job(一个应用程序内的子任务),每个job会产生一个DAG图

一个action = 一个DAG = 一个JOB

一个application中,每一个job内含一个DAG,同时每一个job又是由一个action产生的

2.宽窄依赖和阶段划分

窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区

宽依赖(shuffle):父rdd的一个分区,将数据发给子rdd的多个分区

划分依据:从后向前,遇到宽依赖就划分出一个阶段,称之为stage,在stage内部一定都是窄依赖

标签:DAG,一个,学习,rdd,job,依赖,进度,action,2.1
From: https://www.cnblogs.com/zhangmingmkzj/p/18004488

相关文章

  • 【学习笔记】Python 环境隔离
    目录前言venvvenv环境管理venv包管理virtualenv以及virtualenvwrapper安装virtualenvwrapper环境管理virtualenvwrapper包管理condaconda环境管理conda包管理总结参考资料Python作为最常用的脚本语言,有着非常丰富的第三方库,但是这也导致了Python的环境管理非常必要。......
  • 算法学习
    今天学习了约数的个数怎么求,一般的算法会超时。这时我们需要用到一个定理:p=[n/i]:表示在[1,n]的区间内,有约数i的个数为p个。所以这时,在求约数个数的问题上,我们只需要遍历[1,n],设置一个计数器即可。当n很大时,跨越太大,这时i++、就会很慢,设置j=n/(n/i)+1;下一次让i=j;这样跨度较......
  • NTFS文件系统支持功能 尽量完整完善资料,让后面学习的人少走弯路 欢迎补充
    NTFS文件系统支持以下功能:NTFS权限,EFS加密,磁盘限额,压缩,卷影副本,NTFS(NewTechnologyFileSystem)是Windows操作系统中的一种现代文件系统,它支持多种先进的功能以确保数据的安全性、可靠性和高效性。以下是NTFS文件系统支持的主要功能:安全性:NTFS提供了高级的文件和文件夹权限设置,可......
  • 运输层的TCP与UDP协议(学习笔记)
    一、运输层1.逻辑通信结构2.端口号、复用与分用二、TCP与UDP的区别1.概览图2.用户数据报协议UDP(UserDatagramProtocol)UDP面向应用层报文,可以在任何时候发起传输(无连接),向上层提供不可靠传输服务,即如果传输过程中出现误码,也不会触发重传。可以支持一对一、......
  • GS学习——初体验
    GaussianSplatting测试了一个精灵4无人机飞的MOV格式视频,重建效果如下:  对应的ply点云效果如图:采用神经隐式表达的场景,稠密点云应该不再是重要的了。信息隐含在神经网络中,通过function计算,需要哪一个视场动态合成了。 ......
  • 人工智能(第3版) 第三章—学习笔记
    人工智能(第3版)第三章—学习笔记知情搜索(informedsearch,也称有信息搜索)利用启发式方法,通过限定搜索的深度或宽度来缩小问题空间。3.0引言介绍了本章的主要内容与几个重要的概念。3.1启发式方法乔治·波利亚——“启发式方法之父”​启发式方法的目的是大幅度减少到......
  • Python 机器学习 K-近邻算法 KD树
    在使用K-近邻(KNN)算法时,kd树(k-dimensionaltree)是一种用于减少计算距离次数从而提高搜索效率的数据结构。kd树是一种特殊的二叉树,用于存储k维空间中的数据点,使得搜索最近邻点更加高效。KD树的构造过程是将数据分割成更小的区域,直到每个区域满足特定的终止条件。1、构建KD树在k......
  • VITS课程学习笔记
    课程地址,https://www.bilibili.com/video/BV1wV411j7zG/?spm_id_from=333.788&vd_source=1eb6e5015a1f70daa97080d8ee786d5d VITS,VariationalInferencewithadversariallearningforend-to-endText-to-Speech论文,VITS:ConditionalVariationalAutoencoderwithAd......
  • HTTP学习笔记
    教程:geektime透视HTTP协议【此教程时间:2019年】※,01、HTTP的前世今生HTTP协议始于三十年前蒂姆·伯纳斯-李的一篇论文(1989年)http/0.9:20世纪90年代初期的互联网世界非常简陋,计算机处理能力低,这一时期的HTTP被定义为0.9版,结构比较简单,为了便于服务器和客户端处理,它也......
  • Python学习笔记05
    3.4String(字符串)字符串特点:用单引号'或双引号"括起来,同时使用反斜杠\转义特殊字符。取字符串中的值:语法格式——变量[头下标:尾下标],左闭右开字符串索引值:Coding从前面索引012345从后面索引-6-5-4-3-2-1字符串输出示例代码str='Coding......