spark第二天1、打包代码到yarn上运行将代码提交到Yarn.上运行1、将setMaster代码注释，使用提交命令设置运行方式2、修改输入输出路径，并准备数据3、打包上传至服务器4

【理解】Spark内核原理RDD依赖RDD的5大特性中，第三个是【与父RDD的依赖关系】依赖关系可以按照是否有shuffle进一步分类窄依赖：【没有】shuffle，父RDD的一个分

RDD的API操作/方法/算子比如有一个100M的csv文件，需要对它的每个元素操作，比如先+1，再平方，结果保存另一个csv文件。如下图，如果用传统python思维，不仅每个中间容器占用内存，消

累加器累加器（分布式共享只写变量）：用来把Executor端变量信息聚合到Driver端。在Driver程序中定义的变量，在Executor端的每个Task都会得到这个变量的一份新的副本，每

1.sparkcore<dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.3.1</version>2.sparksql需要引入j

题目：/***统计每个省份的用户访问量，最终要求将不同省份用户访问量存放到不同的分区中分区存放规则如下*省份是以包含山0*如果省份包含海1*其他

题目描述：/***清洗完成的数据中包含一个用户的响应状态码，获取每一种状态码对应的访问量*1、读取清洗完成的数据成为RDD[String]*2、可以把上一步得到的RDD

有了上面三篇的函数，平时开发应该问题不大了。这篇的主要目的是把所有的函数都过一遍，深入RDD的函数RDD函数大全数据准备        val sparkconf = new Spa