首页 > 其他分享 >1.19学习进度

1.19学习进度

时间:2024-01-19 12:11:28浏览次数:18  
标签:standalone 端口 worker 1.19 学习 master 进度 spark 运行

1.standalone是一个完整的分布式集群环境;standalone集群在进程上主要有三类进程:主节点master及昵称、从节点的worker进程、历史服务器哦historyserver(可选)

2.4040:是一个运行的application在运行的过程中临时绑定的端口,用以查看当前任务的状态。4040被占用会顺延到4041、4042等。4040是一个临时端口,当程序运行完成后,4040就会被注销

3.8080:默认是standalone下,master角色的web端口,u哦那个一查看当前master的状态

4.18080:默认是历史服务器的端口,由于每个程序运行完成后,4040端口就被注销了,以后想回看某个程序的运行状态就可以通过历史服务器查看,历史服务器长期稳定运行,可供随时查看被记录的程序的运行过程

5.standalone的运行原理:master和worker角色以独立的及昵称形式存在,并组成spark运行时环境

6.spark角色在standalone中的应用

    master角色:master进程
    worker角色:worker进程
    driver角色:以线程运行在master中
    executor角色:以线程运行在worker中

7.standalone如何提交spark应用

    bin/spark-submit --master spark://server:7077

8.一个spark程序会呗分成多个子任务运行,每个job会分成多个state来运行,每一个state内会分出多个task来执行具体任务

标签:standalone,端口,worker,1.19,学习,master,进度,spark,运行
From: https://www.cnblogs.com/zhangmingmkzj/p/17974352

相关文章

  • Quick sort【1月19日学习笔记】
    点击查看代码//Quicksort#include<iostream>usingnamespacestd;intpartition(intA[],intstart,intend){ intpivot=A[end];//默认选取末尾为主元 intpIndex=start;//分区索引初始化 for(inti=start;i<end;i++){//从索引start开始扫描 if(A[i]<......
  • CTF学习记录pwn篇
    作为一个CTF初学者,在这里记录自己学习刷题的过程,不定期更新。此为pwn篇,有关pwn方向的题目会放在这里,目前来说,这篇会主要更新,其他方向也许会有,敬请期待。目录一、formatstring1.[HUBUCTF2022新生赛]fmt-NSSCTF2.test_format-PolarD&N二、ROP1.03ret2syscall_32-PolarD&N......
  • 寒假学习日志1-scala的配置和使用
    首先根据厦大数据库实验室博客配置scala1.下载scala 2.解压scala在linux虚拟机中 3.配置环境变量 4.尝试使用 5.编写第一个程序scala:HelloWorld创建项目目录,写入程序代码 代码内容为:objectHelloWorld{defmain(args:Array[String]){pri......
  • 寒假学习(9)
    今天我计划完成导航部分。我又重新找到一个视频,在其中提到了导航功能,因为是校园导航,所以我通过经纬度查询在学校周围几个热门地点做了标点,通过系统定位作为起始点,将标点作为终点,将两者的经纬度一同传入其他地图(目前只自动支持腾讯地图和高德地图,其他是否支持未知),就能通过其他导航......
  • 2024.1.19日报
    本质:启动一个JVMProcess进程(一个进程里有多个线程),执行任务TaskLocal模式可以限制模拟Spark集群环境的线程数量,即Local[N]或Local[*]其中N代表可以使用N个线程,每个线程拥有一个cpucore,如果不指定N,则默认是1个线程(该线程有一个core)。通常Cpu有几个core,就指定几个线程,最大化利用......
  • 【学习笔记】斜率优化DP
    例题1.ACwing301为了方便,我们记\(c_i\)为c的前缀和,\(t_i\)同理。容易推出\(O(n^2)\)方程:\(dp_{i}=\min_{j=0}^{i-1}{(dp_j+s\times(c_n-c_j)+t_i\times(c_i-c_j))}\)但是本题的数据范围是3e5,所以考虑优化。我们先把min给拆掉:\(dp_i=dp_j+s\timesc_n-s\timesc......
  • 云知声山海大模型探寻英语学习新路径,打造专属英语学伴Utalk
    智慧教育与科技发展水平息息相关,其中人工智能在我国的教育信息化推进中扮演着重要角色,是整个教育行业进入“教育智慧时代”的基础,也是落实智慧教育的前提。在此背景下,云知声依托山海大模型,研发出智慧教学相关产品,赋能智慧教育向好发展。以英语学习来说,它在孩子的教育过程中......
  • 大三寒假学习进度笔记9
    今日学习时间一小时,学习内容:通过不同格式构建DataFrame对象,包括基于Pandas的DF转换,读取text,csv,json和jparquet创建。jparquet具有以下特点:列式存储自带Schema具备PredicateFilter特性一个Parquet文件的内容由Header、DataBlock和Footer三部分组成。在文件的首尾各有一个......
  • Java学习日记 Day3 最难绷的一集
    JavaSE①LinkedList和ArrayList的区别:简单来说后者底层实现是数组,而前者是双向链表。②LinkedList的底层实现:对于集合的添加操作就是链表的操作原理,如果是空的添加,那么首尾指针都是当前节点,如果不是空,那就是当前的Last指针指向待添加节点,然后使Last指针指向该节点。而get方法的......
  • 2024/1/18学习进度笔记
    今天研究了外包杯的题目。我们做的主要是一个虚拟数字人的项目,这里记录下在windows上配置pytorch3d以及freqencoder,gridencoder,raymarchingshencoder这几个库的过程首先这几个库是用过setup.py进行安装的,也就是pythonsetup.pyinstall安装前电脑里必须要装好了VisualStu......