1/19 学习进度笔记

时间：2024-01-19 23:13:51浏览次数：29

标签：HDFS 存储 19 Cache 笔记 CheckPoint RDD 进度内存

1.Cache和Checkpoint区别
Cache是轻量化保存RDD数据,可存储在内存和硬盘,是分散存储，设计上数据是不安全的(保留RDD血缘关系)
CheckPoint是重量级保存RDD数据,是集中存储,只能存储在硬盘(HDFS)上，设计上是安全的(不保留RDD血缘关系)

2.Cache和CheckPoint的性能对比?
Cache性能更好，因为是分散存储,各个Executor并行执行,效率高,可以保存到内存中(占内存),更快CheckPoint比较慢,因为是集中存储,涉及到网络IO,但是存储到HDFS上更加安全(多副本)

标签：HDFS,存储,19,Cache,笔记,CheckPoint,RDD,进度,内存
From： https://www.cnblogs.com/yuncannotjava/p/17975822

2024.1.19
1.Java文件类以抽象的方式代表文件名和路径。该类主要用于文件和目录的创建、文件的查找和删除等。File对象代表磁盘中实际存在的文件和目录。(1)通过给定的父抽象路径名和子路径名字字符串创建一个新的File实例File(Fileparent,Stringchild);(2)通过给定路径名字符串转换成......
2024/1/19 算法笔记
题目1：最大公约数的延伸问题P1414又是毕业季II-洛谷|计算机科学教育新生态(luogu.com.cn)题目上提及了最大公约数，但是解答却没有直接使用最大公约数doge题目意思是给定n个数，再给定一个k，往这n个数中取k个，求这k个数的最大公约数是多少？然后题目的要求是k的取值为1到n全部取......
Servlet(JSP)学习笔记
目录IDEA配置JSP基本语法page指令ScriptLet标签注释包含跳转JSP四大作用域applicationsessionrequestpageJSP九大内置对象responseoutpageContextconfigexceptionJavaBean组件JavaBean组件引入创建JavaBean设置属性值获取属性值JavaBean的保存范围JavaBean的删除ServletHelloWorld......
2024/1/19 每日一记
2024/1/19每日一记python文件操作打开分两种方式：open（）#分别是文件名(包括路径)，对文件的操作方式，编码方式f=open("E:/test.txt","r",encoding="UTF-8")withopen()as变量：withopen("E:/test.txt","r",encoding="UTF-8")asfr......
GD动角题解(2024.1.19)
$upd:$2024.1.19改正了一些错误题目讲解只看第三题若在三角板开始转动的同时，射线$OC$也绕点$O$以每秒25°的速度逆时针旋转一周，从旋转开始多长时间，射线$OC$平分$∠BOD$？最重要的一点：动角角度$=$初始值$+$角度$(vt)$明确了这一点之后我们看题这题可以分......
大三寒假学习进度笔记10
今日学习SprackSQL的两种语言风格，分别是DLS风格和SQL风格，其中SQL风格的语句需要先将DataFrame注册成表才能使用接下来是学习中使用到的部分代码#coding:utf8frompyspark.sqlimportSparkSessionfrompyspark.sql.typesimportStructType,StringType,IntegerTypeimpor......
1.19
教练：精彩。距离退役还有2天......
1.19闲话
推歌：凉雨/洛天依byCOPY今天中午看了一中午之前买的天依的珍藏色纸，腿看起来肉肉的好想捏一下诶但是非常伤心捏不到呜呜呜图论复习篇？加个字符串吧最短路﹣洛依の(Floyd，最前面的是个负号)这个的名字我比较喜欢，但是复杂度$O(n^3)$不太好，所以我想要尝试对其优化原版就是一......
【LGR-172-Div.4】洛谷入门赛 #19 题解
比赛链接：$link$T1分饼干I题目描述洛谷网校举行了期末考试，同学们经过课程的学习，考出了优异的成绩。Z在考试中获得了第一名，yz在考试中获得了第二名，老师决定买一些饼干奖励两名小朋友。老师买了三盒饼干，第一盒有$a$块饼干，第二盒有$b$块饼干，第三盒有$c$块饼干......
南外集训 2024.1.19 T3
给定正整数$m,n$使得$m|n$，求$[1,n]\cap\mathbbZ$的所有子集中有多少和是$m$的倍数。$1\leT\le10^4,1\lem\le10^7,1\len\le10^{18}$相当于求$F(z)=(1+z^0)(1+z^1)\dots(1+z^{n-1})$的$0,m,2m,\dots$项之和。单位根反演可得\(Ans=......

1/19 学习进度笔记

相关文章

赞助商

阅读排行