首页 > 其他分享 >1.26学习进度

1.26学习进度

时间:2024-01-26 19:55:40浏览次数:26  
标签:reducebykey 分区 学习 rdd 进度 算子 action 返回值 1.26

rdd的创建方法

    通过并行化集合的方式(本地集合转分布式集合)
    读取数据的方式创建

8.rdd分区数查看方法

    通过个体怒骂partitions api查看,返回值int

9.transformation和action的区别

    转换算子的返回值100%是rdd,而action算子的返回值100%不是rdd
    转换算子是懒加载的,只有遇到action才会执行,action就是转换算子处理链条的开关

10.fofreach和saveastextfile直接由executor执行后输出,不会将结果发送到driver上去

11.reducebykey和groupbykey的区别

    reducebykey自带聚合逻辑,groupbykey不带
    如果做数据聚合reducebykey的效果更好,因为可以现居何后shuffle再最终聚合,传输的IO小

12.mappartition和foreach partition的区别

    mappartition带有返回值
    foreachpartition不带

13.对于分区操作尽量不要增加分区,可能破坏内训迭代的计算管道

标签:reducebykey,分区,学习,rdd,进度,算子,action,返回值,1.26
From: https://www.cnblogs.com/zhangmingmkzj/p/17990576

相关文章

  • 可靠传输 (学习笔记)
    一、基本概念传输的可靠与否取决与数据链路层向上层提供的服务类型可靠传输就是实现“发送端发送什么,接收端就接收到什么”,而不会因为传输过程的误码而使得接收端受到的信息不全。二、应用情景一般情况下,有线链路的误码率较低,为了减小开销,并不要求数据链路层向上层提供可靠传......
  • 寒假学习笔记17
    代码时间(包括上课):5h 代码量(行): 博客数(篇):2 今天计划搭建项目,原本打算搭建普通的Javaweb项目(毕竟这个用得最久)但是因为本学期体会到了在.xml直接进行配置的甜,于是打开IDEA后又临时更改决定开始搭建以maven为基础的javaweb项目因为曾经在maven的基础上进行过JFinal项目的......
  • 树分治学习笔记
    点分治0.用处点分治一般用于树上路径的问题。比如求条数等。1.点分治过程选择一个根节点计算贡献,贡献一般有一下两种1.两个点的路径经过根节点2.两个点在同一个子树内然后把根节点删掉,分成若干棵树,对每一棵树做同样的操作然后每一次我们只需要计算两个点的路......
  • 学习记录14
    本次学习学习了Dataframe方面的知识DataFrameDataFrame概念SparkSQL增加了DataFrame(即带有Schema信息的RDD),使用户可以在SparkSQL中执行SQL语句,数据既可以来自RDD,也可以是Hive、HDFS、Cassandra等外部数据源,还可以是JSON格式的数据SparkSQL目前支持Scala、Java、Python......
  • 学习记录15
    本次学习学习了将dataframe里吗有结构的数据加载到mysql以及进行读这里采用独立应用程序的方式读取MySQL数据库内容。创建一个代码文件SparkReadMySQL.scala,其内容如下:importorg.apache.log4j.{Level,Logger}importorg.apache.spark.sql.SparkSessionobjectSparkRea......
  • openGauss学习笔记-208 openGauss 数据库运维-常见故障定位案例-TPCC高并发长稳运行因
    openGauss学习笔记-208openGauss数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1.1问题现象TPCC高并发长稳运行因脏页刷盘效率导致性能下降,具体表现为:初始性能较高,随着运行时间增加,数据......
  • 1.26
    1update.html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>修改出差申请</title><linkrel="stylesheet"href="../Style.css"></head><......
  • Excel表格转GDScript插件的使用 学习笔记
    【【蘩】[Godot教程]Excel表格转GDScript插件的使用】ConfigHelper导出生成在excels文件夹下。添加新的字符串。导出表格,会被忽略掉的(如注释内容)"ignore":true......
  • Springcloud学习笔记61---Spring MVC的拦截器HandlerInterceptor
    1. HandlerMethod介绍HandlerMethod它作为SpringMVC的非公开API,可能绝大多数小伙伴都对它比较陌生,但我相信你对它又不是那么的生疏,因为你可能没用过但肯定见过。比如SpringMVC的拦截器HandlerInterceptor的拦截方法的第三个入参Objecthandler,虽然它是Object类型,但其实绝大部......
  • 【学习笔记】链式前向星
    链式前向星,是一种邻接表存图的方式。本质上是用数组模拟一个链表。适合存各种类型的图,但是查询两节点间的边是否存在很不方便,对出边进行排序也很麻烦。#include<iostream>#include<algorithm>#include<cstring>#include<queue>usingnamespacestd;constintN=1e5+5;type......