首页 > 其他分享 >1.31学习进度

1.31学习进度

时间:2024-02-01 18:56:14浏览次数:32  
标签:shuffle 分区 reduce 学习 进度 运行机制 1.31 动态 sparksql

第一章

1.sparkshuffle

map和reduce

在shuffle过程中,提供数据的称之为ma段,几首数据的称之为reduce端

在spark的两个阶段中,总是前一个阶段产生一批map提供数据,下一阶段喊声一批reduce接收数据

2.spark提供2中shuffle管理器

    hashshufflemanager
    sortshufflemanager

3.hashshufflemanager,优化前后的不同点

    在一个executor内,不同task是共享buffer缓冲区
    这样减少了缓冲区乃以写入磁盘的数量提高性能

4.sort shuffle manager的运行机制

    普通运行机制
    bypass运行机制

第二章

1.自适应查询(adaptive query executio)(sparksql)(AQE)

    动态合并shuffle partitions
    动态调整join策略
    动态优化倾斜join(skew joins)

2.动态分区裁剪(dynamic partition pruning)(sparksql)

3.增i强的python api:pyspark 和koalas

4.动态分区裁剪可以更好的优化运行时分区内的数据的量级,通过动态的谓词下推来获取传统的静态谓词下推无法获得的更高过滤属性,减少操作的分区数一提高性能

标签:shuffle,分区,reduce,学习,进度,运行机制,1.31,动态,sparksql
From: https://www.cnblogs.com/zhangmingmkzj/p/18001872

相关文章

  • 路由选择协议(学习笔记)
    一、概述路由选择协议分为静态路由选择和动态路由选择。静态路由是由人工配置的网络路由、默认路由、特定主机路由与黑洞路由。这种方式简单,开销小,但是并不能及时适应网络状态的变化,一般只在小规模网络中使用。动态路由指路由器通过路由选择协议自动获取路由器信息。比较复......
  • C语言学习7
    do while 循环翻译:上来就是干事,然后while看看要不要再次执行流程图如下例子:break的应用continue的含义相同例子:1!+2!+....+10!算法下一个例子但更优解是应用二分查找和折半查找由于是一组有序数字,只要知道每一次最左边的下标和最右边的下标就可以完成对于中间数字的查找,一次一次对半......
  • 很好用的python游戏环境:强化学习算法走迷宫游戏环境(导航问题 navigation):分享一个pyth
    项目的GitHub地址(作者:莫凡):https://github.com/MorvanZhou/mmaze运行的示例代码:importmmazestart=(0,0)end=(10,10)m=mmaze.generate(width=11,height=11,symmetry="horizontal")solutions=m.solve(start=start,end=end)m.plot(solution=solutions[0],......
  • arp攻击学习
    参考资料https://zhuanlan.zhihu.com/p/677260955手段冒充网关arp扫描#arp扫描arp-scan--interfaceeth0192.168.199.0/24arp攻击冒充主机,一句话使目标机器无法上网arpspoof-ieth0-t192.168.135.131192.168.135.2-t后面是网关,然后攻击目标......
  • 二进制详解 —— 从十进制入手,学习了解二进制
    目录二进制与整数之间的转换二进制转化为十进制十进制转化为二进制与浮点数之间的转换二进制小数➡️十进制小数十进制小数➡️二进制小数二进制我认为想要降低对新事物的恐惧,快速学会新知识,最重要的是学会类比旧事物、推理和举一反三。二进制也不例外,所以再学习二进制之前,我们先......
  • 1.C语言学习--分支与循环
    1.什么是语句常在一条代码的末尾加一个分号“;”,C语言中分号前的就是一条语句;2.分支语句分支语句又叫选择结构。表示当满足某个条件时,程序可以选择不同的执行路径。包括if语句和switch语句。2.1if语句结构:if(条件)语句(带来的结果);else语句(带来的结果);若满足if括号里面的......
  • C语言学习6
    循环结构1while的循环语句分成初始化,判断,调整流程:break直接终止整个循环continue是跳过本次循环它后面的代码,直接进入下一次循环光标一直在闪,一直在进行死循环函数的一个综合库MSDN补充的一个错误然后该怎么做getchar是获取字符的意思,从哪儿获取,从你打的字符获取上面getchar是直接......
  • 2.C语言学习--分支与循环例题分析
    1.计算n的阶乘intmain(){ intret=1; inti=0; intn=0; scanf("%d",&n);//注意取地址符号&别忘记 for(i=1;i<=n;i++) { ret=ret*i; } printf("ret=%d\n",ret); return0;}效果如下所示:2.计算1!+2!+...+10!intmain(){ ......
  • excel学习记录
    《相关案例详见博客园文件》1.记录整理、数据计算、数据分析、数据展现2.保存->工具->常规选项->设置打开密码和修改权限密码,修改权限密码表示可以修改,但是修改后不能保存3.快速填充ctrl+e:对数据拆分、重组、合并 例如:A列有邮箱数据,想提取出邮箱数据中的人名,在B列输入A1中的......
  • 从CF1737学习区间计数处理与开方精度丢失问题
    Problem-B-Codeforces思路出来之后,需要计算\(l,r\)区间的个数。我想的是计算出\([0,r]\)的个数和\([0,l]\)的个数,然后相减。大体上是没问题,但是我的实现麻烦而且有错误。初始代码voidsolve(){lll,r;cin>>l>>r;autocalc=[&](llx,bool......