首页 > 其他分享 >11.24日记

11.24日记

时间:2023-11-24 22:24:54浏览次数:34  
标签:Distributed 11.24 数据抽象 RDD Resilient Dataset 日记

前面有提到MapReduce 框架采用非循环式的数据流模型,把中间结果写入到 HDFS 中,带来了大量的数据复制、磁盘 IO 和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。因此出现了RDD这个概念。

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是 Spark 中最基本的数据抽象,代表一个不可变、可分区、里面的元素可并行计算的集合。

RDD单词拆解:

    Resilient :它是弹性的,RDD 里面的中的数据可以保存在内存中或者磁盘里面;
    Distributed : 它里面的元素是分布式存储的,可以用于分布式计算;
    Dataset: 它是一个集合,可以存放很多元素。

标签:Distributed,11.24,数据抽象,RDD,Resilient,Dataset,日记
From: https://www.cnblogs.com/zhangmingmkzj/p/17854901.html

相关文章

  • 2023.11.24——每日总结
    学习所花时间(包括上课):9h代码量(行):0行博客量(篇):1篇今天,上午学习,下午学习;我了解到的知识点:1.JavaGUI2.会话跟踪技术明日计划:学习......
  • stm32学习随笔23.11.24
    探索TIM2两个PWM输出视频:B站BV1vb4y1T72LMain.C主函数部分节选#include"stm32f10x.h"                 //Deviceheader#include"Delay.h"#include"OLED.h"#include"TestLED.h"#include"PWM.h"#include"KEY.h"#incl......
  • 11.24每日总结
    今天完成了大数据的测试,这一次没有用hadoop用的是python直接对数据的导入、清洗、分析和可视化展示的操作,下面是所有的代码。 importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,TensorDatasetfromsklearn.mod......
  • 11.24打卡
    1.相同的树(100)给你两棵二叉树的根节点 p 和 q ,编写一个函数来检验这两棵树是否相同。/***Definitionforabinarytreenode.*publicclassTreeNode{*intval;*TreeNodeleft;*TreeNoderight;*TreeNode(){}*TreeNode(intv......
  • 11.24每日总结
    importmatplotlibasmatplotlibimportnumpyasnpimportpandasaspdimportseabornassnsfrompandasimportDataFrame,Series#可视化显示在界面#matplotlibinlineimportmatplotlibimportmatplotlib.pyplotaspltfromwordcloudimportSTOPWORDS,......
  • 11.24每日总结
    今天上课完成了大数据的测试。王S聪想要在海外开拓万D电影的市场,这次他在考虑:怎么拍商业电影才能赚钱?毕竟一些制作成本超过1亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。所以,他就请来了你(数据分析师)来帮他解决问题,给出一些建议,根据数据......
  • 11.22日记
    可以看到,主要就是json格式的参数这一块怎么写。后面会说,先说说前置工作。html里的代码也要做些修改。原来你的代码是这样写的:<div>sos</div>假如这个内容是数据库中id为3的记录字段名为name的内容,现在我们想双击这个DIV可以修改,修改完后再提交到后端。我们要这样来修改: <divmodi......
  • 2023.11.22 日记g
    今天又来机房了。本来最近没啥训练的心情的,奈不过sx热情万分。噢噢,下午和同学打球去了又没有洗澡,吃完饭回教室已经有点晚迟到了,然后lsx提议直接来机房,我曰:“善!”然后改了上一场arc的b、c、d。感觉大脑出现了一些问题。不过最终还是完成了任务。然后今天whk还是一如既往......
  • 文化课日记
    目录前言第一周(2023.11.20~2023.11.26)前言颓废了半个学期后终于还得是回班上课,因为\(\operatorname{wjy}\)爷记录的鼓舞,于是也打算写一个,希望文化课能学得好一点。第一周(2023.11.20~2023.11.26)实际上这个时候回去上课是比较轻松的,因为刚考完期中考试,没有太大的学业压力。两......
  • 独奏者2 零碎日记
    第三章潮起点击查看代码2023.11.1半夜“东方,如果有一天我不得不杀了你,我很抱歉。”章北海如是说。天启疯魔,0933的诅咒从未逝去,一直如阴霾沉浸在半空。诅咒的痛苦,要么自己承担,要么转移他人。不断延伸,直到最深处的夜色……无法拒绝,无法逃避。然而就在最近几天,一切戛然而......