- spark的SparkContext,SparkConf和SparkSession及dataframe和RDD的区别
spark的SparkContext,SparkConf和SparkSession及dataframe和RDD的区别SparkContext和SparkConf任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方......
- spark-submit 提交的参数
spark-submit是用于提交Spark应用到集群的命令行工具。它允许用户控制Spark应用的各种参数，比如应用名、集群URL、运行模式、资源分配等。以下是一些常用的spark-submit参数：--master:指定Spark集群的URL，例如local,local[*],spark://23.195.26.187:7077,yarn,mesos等。--d......
- hive on spark
1Hive的执行引擎Hive：专业的数仓软件，可以高效的读写和管理数据集。 Hive的运行原理： ①hive主要是写HQL的（类SQL，相似度90%，剩下的10%就是HQL里面一些独有的语法） ②写的HQL会根据不同的计算引擎翻译成不同的代码 2数仓搭建技术选型SparkOnHive：基于Hive的Spar......
- Spark - [04] RDD编程
题记部分 一、RDD编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果（count，collect等），或者是向存储系统保存数据（saveAsTextFile......
- Spark - [03] RDD概述
RDD，分布式数据集，是Spark中最基本的数据抽象。 一、什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 二、RDD的属性①一组分区（Partition），即数据......
- 在 Kubernetes 上运行 Apache Spark 进行大规模数据处理的实践
在刚刚结束的KubernetesCommunityDay上海站，亚马逊云科技在云原生分论坛分享的“在Kunernets上运行ApacheSpark进行大规模数据处理实践”引起了现场参与者的关注。开发者告诉我们，为了充分利用Kubernetes的高可用设计、弹性，在越来越多的应用场景中，他们选择从Yarn迁移到......
- hive on spark配置
hive-site.xml <?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration> <!--配置Hive保存元数据信息所需的MySQLURL地址--> <property> <name>javax......
- docker-compose spark集群搭建
需求满足产品数据团队计算相关需求，搭建spark集群，本集群为一主两从(两台设备)部署环境服务器资源docker-compose安装curl-Lhttps://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname-s`-`uname-m`-o/usr/local/bin/docker-compose......
- spark简介
一、Spark简介Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎。Spark主要由五部分组成：SparkCoreSparkCore中提供了Spark最基础与最核心的功能，Spark其他的功能如：SparkSQL，SparkStreaming，GraphX,MLlib都是在SparkCore的基础上进行扩展的S......
- hive on spark 优化-SQL层面
HiveOnSpark调优本篇博客将从hiveonspark的SQL层面，来对任务做一些优化。下面的优化，从这几个方面来讲：Group、Join、并行度、小文件。Group、Join$\color{ForestGreen}{小提示：}$Group和Join的不同之处在于：Group需要ReduceJoin可以没有Reduce其实无论是Group还是Joi......