Scala--部署安装步骤

(1)上传并解压安装scala安装包

例：tar -zxvf scala--** -C 指定位置

（2）设置环境变量

vim /etc/profile
export SCALA_HOME=spark软件包位置
export PATH=$PATH:${SCALA_HOME}/bin

source /etc/profile使环境变量生效

（3）验证scala 启动成功

spark--部署与安装

(1)上传并解压安装spark安装包

tar -zxvf / export/ software/ spark-** -C 指定位置

（2）设置环境变量

vim /etc/profile
export SPARK_HOME=spark软件包位置
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

（3）修改配置文件

A.先备份文件cp spark env.sh.template spark-env.sh
B.修改配置文件-spark-env.sh

添加一下内容：

export SCALA_HOME=/usr/local/soft/scala-2.12.12
export JAVA_HOME=/usr/local/soft/jdk1.8.0_202
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-3.1.3/etc/hadoop
(#)export SPARK_MASTER_WEBUI_PORT=8080
(#)export SPARK_MASTER_PORT=7070

(4)分发文件 --分别通过scp命令将软件包拷贝到节点(slave1,slave2)

scp -r spark slave1:目的地
scp -r spark slave1:目的地

(5)分别在slave1 slave2上设置环境变量

vim /etc/profile
export SPARK_HOME=spark软件包位置
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

(6)启动集群：spark目录下：./start-all.sh

查看节点：
maser：

slave1：

slave2：

spark验证 ---浏览器输入ip:8080