- 分布式数据处理-《Spark编程基础》（Scala版）第七章简答题答案（自制）
7SparkStreaming简答题T1请阐述静态数据和流数据的区别？答：静态数据是可以看作是静止不动的，适合进行批量计算；流数据是指数据以大量、快速、时变的流形式持续到达的，适合进行实时计算。同时，流计算被处理后，只有部分进入数据库成为静态数据，其余部分则被丢弃。T2请阐述批量计算和......
- 分布式数据处理-《Spark编程基础》（Scala版）第六章简答题答案（自制）
6SparkSQL简答题T1请阐述Hive中SQL查询转化为MapReduce作业的具体过程。❌答：HiveSQL命令或查询首先进入到驱动模块，由驱动模块中的编译器进行解析编译，并由优化器对该操作进行优化计算，然后交给执行器去执行，执行器通常的任务是启动一个或多个MapReduce任务，详细过程如......
- 分布式数据处理-《Spark编程基础》（Scala版）第一章简答题答案（自制）
1大数据技术概述简答题T1：请阐述大数据处理的基本流程。......
- spark的SparkContext,SparkConf和SparkSession及dataframe和RDD的区别
spark的SparkContext,SparkConf和SparkSession及dataframe和RDD的区别SparkContext和SparkConf任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方......
- spark-submit 提交的参数
spark-submit是用于提交Spark应用到集群的命令行工具。它允许用户控制Spark应用的各种参数，比如应用名、集群URL、运行模式、资源分配等。以下是一些常用的spark-submit参数：--master:指定Spark集群的URL，例如local,local[*],spark://23.195.26.187:7077,yarn,mesos等。--d......
- hive on spark
1Hive的执行引擎Hive：专业的数仓软件，可以高效的读写和管理数据集。 Hive的运行原理： ①hive主要是写HQL的（类SQL，相似度90%，剩下的10%就是HQL里面一些独有的语法） ②写的HQL会根据不同的计算引擎翻译成不同的代码 2数仓搭建技术选型SparkOnHive：基于Hive的Spar......
- Spark - [04] RDD编程
题记部分 一、RDD编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果（count，collect等），或者是向存储系统保存数据（saveAsTextFile......
- Spark - [03] RDD概述
RDD，分布式数据集，是Spark中最基本的数据抽象。 一、什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 二、RDD的属性①一组分区（Partition），即数据......
- 在 Kubernetes 上运行 Apache Spark 进行大规模数据处理的实践
在刚刚结束的KubernetesCommunityDay上海站，亚马逊云科技在云原生分论坛分享的“在Kunernets上运行ApacheSpark进行大规模数据处理实践”引起了现场参与者的关注。开发者告诉我们，为了充分利用Kubernetes的高可用设计、弹性，在越来越多的应用场景中，他们选择从Yarn迁移到......
- hive on spark配置
hive-site.xml <?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration> <!--配置Hive保存元数据信息所需的MySQLURL地址--> <property> <name>javax......