首页 > 其他分享 >周志湖Spark系列

周志湖Spark系列

时间:2023-08-04 17:06:14浏览次数:32  
标签:系列 入门 之道 进阶篇 修炼 Linux 周志湖 Spark



本人本着十分尊重的态度来学习周老师的博文,特此为方便好找,在此做一个目录。方便学习。


Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行

Spark-1.4.0集群搭建


Spark国内外书籍推荐



Spark修炼之道——Spark学习路线、课程大纲

Spark修炼之道系列教程预告

Spark修炼之道(基础篇)——Linux大数据开发基础:第一节、Linux介绍、安装及使用初步

Spark修炼之道(基础篇)——Linux大数据开发基础:第二节:Linux文件系统、目录(一)

Spark修炼之道(基础篇)——Linux大数据开发基础:第三节:用户和组

Spark修炼之道(基础篇)——Linux大数据开发基础:第四节:Linux文件系统(二)

Spark修炼之道(基础篇)——Linux大数据开发基础:第五节:vi、vim编辑器(一)

Spark修炼之道(基础篇)——Linux大数据开发基础:第六节:vi、vim编辑器(二)

Spark修炼之道(基础篇)——Linux大数据开发基础:第七节:进程管理

Spark修炼之道(基础篇)——Linux大数据开发基础:第八节:网络管理

Spark修炼之道(基础篇)——Linux大数据开发基础:第九节:Shell编程入门(一)

Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)

Spark修炼之道(基础篇)——Linux大数据开发基础:第十一节:Shell编程入门(三)

Spark修炼之道(基础篇)——Linux大数据开发基础:第十二节:Shell编程入门(四)

Spark修炼之道(基础篇)——Linux大数据开发基础:第十三节:Shell编程入门(五)

Spark修炼之道(基础篇)——Linux大数据开发基础:第十四节:Shell编程入门(六)

Spark修炼之道(基础篇)——Linux大数据开发基础:第十五节:基础正则表达式(一)


Spark 1.5.0 远程调试

浅谈Spark几种不同的任务提交相关脚本(以Spark 1.5.0为例)

SparkSQL(Spark-1.4.0)实战系列(一)——DataFrames基础

SparkSQL(Spark-1.4.0)实战系列(二)——DataFrames进阶

SparkSQL(Spark-1.4.0)实战系列(三)——SparkSQL应用案例





Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程

Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建

Spark修炼之道(高级篇)——Spark源码阅读:第三节 Spark Job的提交

Spark修炼之道(高级篇)——Spark源码阅读:第四节 Stage划分


Spark修炼之道(高级篇)——Spark源码阅读:第五节 Stage提交


Spark修炼之道(高级篇)——Spark源码阅读:第六节 Task提交


Spark修炼之道(高级篇)——Spark源码阅读:第七节 resourceOffers方法与launchTasks方法解析


Spark修炼之道(高级篇)——Spark源码阅读:第八节 Task执行


Spark修炼之道(高级篇)——Spark源码阅读:第九节 Task执行成功时的结果处理


Spark修炼之道(高级篇)——Spark源码阅读:第十节 Standalone运行模式解析


Spark修炼之道(高级篇)——Spark源码阅读:第十二节 Spark SQL 处理流程分析


Spark修炼之道(高级篇)——Spark源码阅读:第十三节 Spark SQL之SQLContext(一)






Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建


Spark修炼之道(进阶篇)——Spark入门到精通:第二节 Hadoop、Spark生成圈简介

Spark修炼之道(进阶篇)——Spark入门到精通:第三节 Spark Intellij IDEA开发环境搭建

Spark修炼之道(进阶篇)——Spark入门到精通:第四节 Spark编程模型(一)

Spark修炼之道(进阶篇)——Spark入门到精通:第五节 Spark编程模型(二)

Spark修炼之道(进阶篇)——Spark入门到精通:第六节 Spark编程模型(三)

Spark修炼之道(进阶篇)——Spark入门到精通:第七节 Spark运行原理

Spark修炼之道(进阶篇)——Spark入门到精通:第八节 Spark SQL与DataFrame(一)


Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL运行流程解析


Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一)


Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark Streaming(一)


Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming—— DStream Transformation操作


Spark修炼之道(进阶篇)——Spark入门到精通:第十二节 Spark Streaming—— DStream Window操作


Spark修炼之道(进阶篇)——Spark入门到精通:第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming


Spark修炼之道(进阶篇)——Spark入门到精通:第十四节 Spark Streaming 缓存、Checkpoint机制


Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建


Spark修炼之道(进阶篇)——Spark入门到精通:第十六节 Spark Streaming与Kafka




Spark Shuffle模块——Suffle Read过程分析


Machine Learning On Spark——第一节:基础数据结构(一)

Machine Learning On Spark——第二节:基础数据结构(二)

Machine Learning on Spark——第三节 统计基础(一)

Machine Learning on Spark——第四节 统计基础(二)





标签:系列,入门,之道,进阶篇,修炼,Linux,周志湖,Spark
From: https://blog.51cto.com/u_6468453/6964705

相关文章

  • 类Hadoop的高效分布式计算系统Spark
    Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架,Spark基于mapreduce算法实现的分布式计算,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习......
  • 反转链表系列图解
    1.反转链表给定一个单链表的头结点pHead(该头节点是有值的,比如在下图,它的val是1),长度为n,反转该链表后,返回新链表的表头。图解代码实现publicListNodeReverseList(ListNodehead){ListNodecur=head;ListNodepre=null;ListNodenext=null;......
  • 作者推荐 | 【底层服务/编程功底系列】「底层技术原理」史上最清晰的采用程序员的视角
    背景介绍现在,零拷贝功能在Linux下几乎家喻户晓,但仍有很多人对其了解有限。为了解开这个功能的神秘面纱,我决定撰写一篇关于深入探讨的文章。本文将从用户模式应用程序的角度出发,介绍零拷贝的概念,省略了内核级的技术细节。希望通过本篇文章,可以帮助大家能更好地理解这个有用功能。什......
  • 亚德客-DPS系列电子式数显压力传感器-说明书详解
     一、说明书     二、模式详解 简易模式:只要气压大于设定值则为ON(接通),小于设定值则为OFF(断开)迟滞模式:H:高限位值L:低限位值气压在大于高限位H时为ON(接通),小于低限位L时为OFF(断开)窗型模式:H:高限位值L:低限位值气压在大于高限位H或者低于低限位L时为......
  • 用 Python 自动创建 Markdown 表格 - 每天5分钟玩转 GPT 编程系列(4)
    目录1.他们居然问我要Prompts2.让GPT-4来写代码2.1我对DevChat说2.2DevChat回答2.3我又对DevChat说2.4DevChat的第二轮回答2.5我再次对DevChat说2.6DevChat回答2.7最后效果3.他们居然让我要写总结1.他们居然问我要Prompts早几天我用GPT-4写了一个Gol......
  • RK3562-触觉智能即将推出相关系列产品
    作为瑞芯微新推出的低功耗、高性价比的通用SOC,在智能商显和工业控制领域又为触觉智能增加了一款强有力的高性价比产品。RK3562是一款专为智能显示设备设计的高性能、低功耗四核应用处理器,其工规版本RK3562J还具备CANFD接口,工作温度可达-40~85℃。深圳触觉智能(Industio)即将推出......
  • 上位机_WPF系列总结(Binding)
    1、绑定到DataContext,并设置绑定模式,<TextBlockWidth="100"Height="50"Text="{BindingEqid,Mode=OneTime}"/>当应用程序启动或数据上下文更改时,更新绑定目标。此绑定类型适用于以下情况:使用当前状态的快照适合使用的或数......
  • 7DGroup 性能/测试开发/运维 系列文章更新(2021/8)
    组织织简介1、7DGroup简介性能能闲谈1、浅谈window桌面GUI技术及图像渲染性能测试实践2、杂谈:性能测试的范围到底有多大?3、戏说CPU使用率-驳《CPU使用率度量指标是扯淡!》译文标题4、对性能测试评估分析优化市场的反思5、泛谈系统级跟踪和应用级跟踪6、性能测试分析优化该有的范围7......
  • 7DGroup 性能/测试开发/运维 系列文章更新(2021/10)
    组织织简介1、7DGroup简介2、【付费征文】7DGroup长期征集原创文章性能能闲谈1、浅谈window桌面GUI技术及图像渲染性能测试实践2、杂谈:性能测试的范围到底有多大?3、戏说CPU使用率-驳《CPU使用率度量指标是扯淡!》译文标题4、对性能测试评估分析优化市场的反思5、泛谈系统级跟踪和应......
  • 7DGroup 性能&测试开发&运维 系列文章持续更新
    组织织简介1、7DGroup简介性能能闲谈1、浅谈window桌面GUI技术及图像渲染性能测试实践2、杂谈:性能测试的范围到底有多大?3、戏说CPU使用率-驳《CPU使用率度量指标是扯淡!》译文标题4、对性能测试评估分析优化市场的反思5、泛谈系统级跟踪和应用级跟踪6、性能测试分析优化该有的范围7......