首页 > 其他分享 >虚拟机的Spark安装步骤

虚拟机的Spark安装步骤

时间:2023-10-23 18:25:03浏览次数:35  
标签:bin 步骤 虚拟机 sh export env spark 安装 Spark

相关代码截图

//解压压缩包
tar -zxvf spark-3.2.4-bin-hadoop3.2.tgz

//配置环境变量
vi /etc/profile

//添加内容
# spark
$PARK_HOME=/export/server/spark-3.2.4-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin

//进入到spark安装目录的conf目录下
//复刻spark--env.sh.template文件
cp spark-env.sh.template spark-env.sh

//修改spark-env.sh文件配置,在文件末尾加上这些代码语句
export SPARK_DIST_CLASSPATH=$(/export/server/hadoop-3.3.0/bin/hadoop classpath)

然后保存退出即可;

//到spark的安装目录下用spark自带示例验证spark是否安装成功
cd /export/server/spark-3.2.4-bin-hadoop3.2

//验证命令
bin/run-example SparkPi

//或者
bin/run-example SparkPi 2>&1 | grep "Pi is"

结果显示,安装成功:

//启动Spark Shell--spark安装目录下
bin/spark-shell

简单应用:

标签:bin,步骤,虚拟机,sh,export,env,spark,安装,Spark
From: https://www.cnblogs.com/liuzijin/p/17783083.html

相关文章

  • MongoDB分片+副本集高可用集群的启停步骤
    ■■集群启动步骤1、先启动各节点的configservermongod-f${MongoDir}/conf/config.conf2、再启动各节点的shardservermongod-f${MongoDir}/conf/shard1.conf3、再启动各节点的mongosservermongos-f${MongoDir}/conf/mongos.conf■■集群停止步骤停止服务的......
  • 找回丢失的硬盘数据:一个简单易懂的步骤指南
    当意识到硬盘或是其他存储设备丢失了重要数据时,首先要做的就是保持冷静。紧张和焦虑可能会导致误操作,进一步损坏数据。在找到好用的方法之前,可以先明确具体想要恢复哪些数据,以及这些数据位于原来的什么位置。其次,在执行硬盘数据恢复之前,还可以先检查下备份。如果平时有定期备份数据......
  • 找回丢失的硬盘数据:一个简单易懂的步骤指南
    现代社会中,数据的重要性不言而喻,我们习惯依赖电脑来存储数据,例如,工作文件、照片、视频、学习资料等。有时候,存储在硬盘上的数据会不可避免的丢失,一旦丢失了重要数据,要面对的将是不可估量的损失。本文将提供一个简单易懂的恢复指南,帮你轻松恢复丢失的硬盘数据,冷静应对数据丢失问题。......
  • 使用 XShell 连接 Docker 内的虚拟机
    以centos7为例:下载并安装centos71.下载镜像并运行容器dockerrun--namedocker-centos7--privileged--publish522:22--interactive--detachcentos:7/usr/sbin/init2.进入容器修改安装对应软件包和设置root密码dockerexec-itdocker-centos7/bin/bash安装......
  • 两台实体机器4个虚拟机节点的Hadoop集群搭建(Ubuntu版)
    安装UbuntuLinux元信息两台机器,每台机器两台UbuntuUbuntu版本:ubuntu-22.04.3-desktop-amd64.iso处理器数量2,每个处理器的核心数量2,总处理器核心数量4单个虚拟机内存8192MB(8G),最大磁盘大小30G参考链接清华大学开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/ubunt......
  • Tomcat国内安装及乱码解决详细步骤(无f墙)
    1.下载安装包链接:https://pan.baidu.com/s/1x_hWMnUrui4aDYo9UE-GdA?pwd=p8kn提取码:p8kn--来自百度网盘超级会员V4的分享2.一键下载打开安装软件后一直点next和Iagree,无脑一键下载,建议默认在C盘3.打开Tomcat进行测试一般安装软件会默认安装在ProgramFile或ProgramFile......
  • Altium Designer 2017「AD 17」精简汉化版下载附安装激活步骤
    AltiumDesigner17(简称AD17)是一款专业的PCB电路设计软件,新版带来了大量实用更新和增强,如全新的PCB布线及增强技术、动态铺铜、自动交叉搜索等等。设计者能够运用该版本中提供的诸多全新功能,将自己从干扰设计工作的琐碎任务中解放出来,从而完全专注于设计本身,尽情享受创新激情。软......
  • 教你如何破解虚拟机root密码
    一、开机时按e键,即可进入grub编辑界面,光标选择第一条,e表示进入编辑模式。当机器开机出现如图1所示的kernel菜单后,按e键。二、将光标移动到以linux开头的行,对图2中标注的位置进行修改和添加内容。待修改的位置将ro修改为rw,在行尾添加init=/bin/sh修改完成后如图3所示。图......
  • 虚拟机和Linux操作系统的安装
    虚拟机和Linux操作系统的安装简述linux是完全免费的只要你足够强大,可以对linux系统的源码进行编译市场上的版本:发行版Ubantu红帽每两年发布一个版本下面我们开始进行安装安装Ubantu版本环境搭建准备工作瓷盘(50G空间)在自己想要安装的瓷盘创建一个目录名为Ubantu......
  • 报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.meta
    在执行hive on spark的时候 上面的错误可能有以下几种问题:1.版本问题 不匹配2.时间参数问题  设置的参数太小了3.在hive-site.xml文件中没有配置spark的home我的问题属于第一个问题导致没有跑成功当时也在想是不是内存出现了问题 ......