首页 > 其他分享 >Spark安装的配置相关步骤

Spark安装的配置相关步骤

时间:2023-08-20 23:00:31浏览次数:43  
标签:步骤 目录 sh export spark MASTER Spark 安装 SPARK

1、Spark下载地址:https://archive.apache.org/dist/spark/

选择自己适合的版本:

点击下载即可:

等待下载完成;

2、将下载好的压缩包放到虚拟机的/root/software文件目录下面

3、将放好位置的压缩包在该目录下解压

tar -zxvf spark-2.3.4-bin-hadoop2.7.tgz

解压成功:

4、编辑spark文件夹目录下的conf目录下的slaves文件,进行编辑

cd conf

vi slaves

若是需要有多个虚拟主机的话,可以在文件末尾的localhost这里,加上各个主机的ip地址,若是只有一个的话,直接localhost就好了!

5、编辑spark-env.sh文件

vi spark-env.sh

进入编辑模式,将下面的语句命令复制到文件末尾:

export SPARK_MASTER_HOST=192.168.158.129 //主节点IP
export SPARK_MASTER_PORT=7077 //任务提交端口
export SPARK_WORKER_CORES=2 //每个worker使用2核
export SPARK_WORKER_MEMORY=3g //每个worker使用3G内存
export SPARK_MASTER_WEBUI_PORT=8888//修改spark监视窗口,默认8080

6、修改sbin目录下的spark-config.sh文件

vi spark-config.sh

修改jdk路径为:

export JAVA_HOME=/opt/soft/jdk180

7、启动spark

进入到sbin目录,用这个命令启动spark:

./start-all.sh

然后,再切换到bin目录下,执行这个命令:

./spark-shell

8、网页实现spark

ping 192.168.158.129:4040

标签:步骤,目录,sh,export,spark,MASTER,Spark,安装,SPARK
From: https://www.cnblogs.com/liuzijin/p/17635686.html

相关文章

  • Windows中Java安装及环境变量配置
    Windows中Java安装及环境变量配置目录Windows中Java安装及环境变量配置1、下载jdk安装包2、安装JDK3、配置环境变量3.1、环境变量配置页进入3.2、环境变量1:JAVA_HOME3.3、环境变量2:CLASSPATH3.4、环境变量3:Path4、验证安装1、下载jdk安装包通过以下镜像站下载jdk安装包:https://......
  • 在Windows系统上,给perl安装JSON::parse module
    管理员身份打开powershell,一定以管理员身份打开:输入下面两行命令即可 cpanApp::cpanminuscpanmJSON::Parse JSON::Parse指南:https://metacpan.org/pod/JSON::Parse perlmodule安装指南:https://www.cpan.org/modules/INSTALL.html......
  • TiDB介绍和安装
    首先TiDB是开源分布式关系型数据库,据官方说法它是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库。很重要的一点是TiDB兼容......
  • Chia实践(二):安装Chia及使用cli
    前言某些价值上可能难以认同,例如Chia官方宣称的本该被销毁的硬盘用于耕种是有意义的。硬盘被销毁了,不再产生电力浪费,而继续运行还将持续,虽然相对于其他方式,已经好很多了。对于Chia,本身至少还是在持续进行中的。本文演示Chia在CentOS7Linux操作系统部署,在类似的操作系统都是可以......
  • jvisualvm安装Visual GC插件
    给jdk自带的jvisualvm安装VisualGC插件,遇到We'resorrythejava.netsitehasclosed(我们很抱歉java.net网站已经关闭)1、找到新的更新地址visualvm新访问地址:https://visualvm.github.io/index.html 进入“Plugins”,找到对应自己JDK版本的更新地址2、进入jvisualvm的插件管......
  • mysql 8 - linux 安装后 java 调用报错 SQLException: Temporary file write failure
    完整报错Cause:java.sql.SQLException:Temporaryfilewritefailure.;uncategorizedSQLException;SQLstate[HY000];errorcode[1878];Temporaryfilewritefailure.;nestedexceptionisjava.sql.SQLException:Temporaryfilewritefailure.解决不要作用在......
  • DocNav 安装教程
    DocNav安装教程一.下载软件在开始安装前,需要先下载安装软件,可以到Xilinx官网下载,也可也通过从百度云链接进行下载。右边是Xilinx官方的安装程序,左边是文档的压缩包,包含了2023.1版本的所有文档大小为4G; 百度云下载链接:https://pan.baidu.com/s/1ZVea9l9fh-NsupTFbBwBJQ......
  • win10开启WSL安装ubuntu
    从win10开始提供了WSL来使用linux系统,这里利用wsl来安装ubuntu,1、首先要确保windows中的几个相关的选项是打开的 确定后重启系统 然后以管理员身份打开powershell,输入命令Enable-WindowsOptionalFeature-Online-FeatureNameMicrosoft-Windows-Subsystem-Linux2、设置......
  • Mac Catalina安装Python版本Crypto
    在PyCharm2020+VirtualEnvs环境下使用如下命令,在MacCatalina上成功安装Crypto模块:pip3installpycrypto示例'''JustfortestAESalgorithminPython'''importbase64fromCrypto.CipherimportAESdefadd_to_16(value):whilelen(value)%16!......
  • 安装fastadmin插件之青动CRM
    1、前置条件青动CRM为fastadmin的一个插件,什么是fastAdmin,请查看该网站https://www.fastadmin.net/video.html1、测试环境服务器2核2G,php7.2,MySQL5.7.24,redis6.2.7,nginx1.22.1,宝塔8.0.13、宝塔创建站点保存好创建站点时的数据库链接信息4、上传项目文件标红的为项目压......