spark伪分布式搭建

spark伪分布式搭建

# 配置环境
[root@node1 spark-2.3.1]# vi /etc/profile
{
export SPARK_HOME=/opt/app/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
}
[root@node1 spark-2.3.1]# source /etc/profile

# 重命名
[root@node1 conf]# mv spark-env.sh.template spark-env.sh

# 重命名
[root@node1 conf]# mv slaves.template slaves

[root@node1 conf]# pwd
/opt/app/spark-2.3.1/conf
[root@node1 conf]# vi slaves 
{
node1
}

[root@node1 conf]# vi spark-env.sh 
{
SPARK_MASTER_HOST=node1
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8888
}

[root@node1 sbin]# pwd
/opt/app/spark-2.3.1/sbin
[root@node1 sbin]# vi spark-config.sh 
{
export JAVA_HOME=/opt/app/jdk1.8.0_321
}
# 防止与hadoop的命令冲突
[root@node1 sbin]# mv start-all.sh start-spark-all.sh
[root@node1 sbin]# mv stop-all.sh stop-spark-all.sh

[root@node1 sbin]# start-spark-all.sh 
[root@node1 sbin]# stop-spark-all.sh 

spark完全分布式搭建

操作和伪分布式一致，就是在slaves中多增加几台worker节点即可