1.18学习进度

时间：2024-01-18 14:01:04浏览次数：30

1.local模式基本原理

    本质：启动一个JVM Process进程（一个进程里面有多个线程），执行任务task
    local模式可以限制模拟spark集群环境的线程数量，即local[N]或local[*]
        其中N代表可以使用N个线程，如果不指定N，默认是1个线程
        如果是local[*], 则代表Run Spark laocally with as many worker threads as logical cores on your machine.按照cpu最多的cores设置线程数
    local下的角色分布
        资源管理
            master：local进程本身
            worker：local进程本身
        任务执行
            driver：local进程本身
            executor：不存在，没有独立的executor角色，由local进程内的线程提供计算能力
        local模式只能运行一个spark程序，如果执行多个spark程序，那就是多个相互独立的local进程在进行

标签：worker,1.18,学习,线程,进度,进程,spark,local
From： https://www.cnblogs.com/zhangmingmkzj/p/17972354

(Python)每日代码||2024.1.18
m=10a=10print(id(m))print(id(a))'''输出140713874176728140713874176728'''print()a=1b=2c=3d=a+bprint('a(1)\t'+str(id(a)))print('b(2)\t'+str(id(b)))print('c(3)\t'+str(id......
Go语言学习笔记 - 不定时更新
Go语言常用命令环境准备#修改go配置exportGOPROXY="https://goproxy.cn"GoMod(注:比较常用的是init,tidy,edit)gomodinitnamecreatemodules(创建包名注:包名在import引入自定义包时替代GOPATH)gomoddownloaddownloadmodulestolocalcache(下载依赖......
生成学习全景：从基础理论到GANs技术实战
本文全面探讨了生成学习的理论与实践，包括对生成学习与判别学习的比较、详细解析GANs、VAEs及自回归模型的工作原理与结构，并通过实战案例展示了GAN模型在PyTorch中的实现。关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦......
Power BI - 5分钟学习新增自定义列
每天5分钟，今天介绍PowerBI新增自定义列我们在日常工作中有时需要对导入的数据进行额外处理，如两个字符串列拼接【产品编号】+【产品名称】，或者【数据量】*【价格】得到销售值等等。以计算产品销售为例，导入样例数据，请看样例内容:(Excel数据源导入请参考每天5分钟第一天)。......
连接云服务器及Linux常用指令学习
连接云服务器及Linux常用指令学习：https://blog.csdn.net/qq_50748038/article/details/126124924centos超级用户普通用户切换：https://blog.csdn.net/day_in_night/article/details/39477155?ops_request_misc=&request_id=&biz_id=102&utm_term=centeros%20%E5%88%87%E6%8D%A2%......
【scikit-learn基础】--『监督学习』之谱聚类
谱聚类算法基于图论，它的起源可以追溯到早期的图分割文献。不过，直至近年来，受益于计算机计算能力的提升，谱聚类算法才得到了广泛的研究和关注。谱聚类被广泛应用于图像分割、社交网络分析、推荐系统、文本聚类等领域。例如，在图像分割中，谱聚类可以有效地将图像划分为背景和前景；在社交......
机器学习-概率图模型系列-最大熵马尔科夫模型-38
目录MaxEntropyMarkovModelMEMM，即最大熵马尔科夫模型，属于判别式模型。最大熵模型+隐马尔可夫模型HMMM没办法加入新的特征，MEMM是判别式模型，这就允许它可以加入更多的Features。观测独立假设对应的就是朴素贝叶斯的条件独立性假设，即t+1时刻的y状态只与t时刻的y状态有关系......
Java学习日记 Day3 我怀疑世界就是一个巨大的草台班子
JavaSE：①包装类：对比基础数据类型有更高级的功能。另外在容器中（或者叫集合）包装类有重要的作用。容器中只能存放包装类，不能存放基础数据类型。包装类一些特性：被final修饰，不能有子类了。。。jdk1.0就有，是开服玩家。。。其实在代码底层中包装类封装了一个int。。。自动装箱自动拆箱......
学习进度笔记6
SparkSQL基本操作将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json。{"id":1,"name":"Ella","age":36}{"id":2,"name":"Bob","age":29}{"id":3,"name":......
RabbitMQ学习四 java客户端连接RabbitMQ
RabbitMQ的工作模式，可以参考官网：https://www.rabbitmq.com/getstarted.html一、简单方式以下两种都是生产者直接发消息给队列，不通过交换机。且发送给队列的消息只能被消费一次。比如一个队列被C1和C2消费，在队列中的消息只会被一个消费者消费。生产者代码逻辑图代码如下：p......

1.18学习进度

相关文章

赞助商

阅读排行