前言Spark有五种运行模式‌，分别是 Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式‌。Local模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用‌。Standal

        kafka从2.8版本开始，就可以不用配置zookeeper了，但是也可以继续配置。我目前使用的kafka版本是kafka_2.12-3.0.0.tgz，其中前面的2.12表示是使用该版本的scala语言进行编写的，而后面的3.00才是kafka当前的版本。通过百度网盘分享的文件：apache-zookeeper-3.6.4-bin.

目录1.1安装部署1.1.1集群规划1.1.2集群规划1.1.3集群启停脚本1.1安装部署1.1.1集群规划bigdata01bigdata02bigdata03zkzkzkkafkakafkakafka1.1.2集群规划每次进入linux都会自动进入base环境，如何关闭basecondadeactivate 手动

Spark的介绍与搭建：从理论到实践-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交：本地与集群模式全解析-CSDN博客目录一、SparkonYARN的优势（一）统一化资源管理（二）YARN调度机制的优势二、Spark

Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。Spark作为一个计算平台并不是作为一个数据库不像hive以及mysql一样可以直接远程连接DataGrip使用，本篇就展示如何使用DataGrip使用hive作为数据源编写Spark代码查询hive数据库首先确保你的hive以及Spa

ThriftServer功能：类似于HiveServer2，负责解析客户端提交的SQL语句，转换成Spark的任务进行执行本质：Spark中的一个特殊的程序，利用程序的资源运行所有SQL，该程序除非手动关闭，否则一直运行 启动服务，该服务不会停止，一直在后台启动，假如启动不了，记得查看日志。/opt/installs/spark/sb