标签：lyb -- 路线 CONF spark Spark DIR
1.从https://spark.apache.org/获得Spark的安装包
2.解压并安装Spark
tar –zxvf spark-****-bin-hadoop2.7.tgz
3.配置Spark
在YARN平台上运行Spark需要配置HADOOP_CONF_DIR、YARN_CONF_DIR和HDFS_CONF_DIR环境变量
3.1 vim /etc/profile
export HADOOP_CONF_DIR=$HADOOP_HOME/home/lyb/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/home/lyb/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/home/lyb/hadoop
保存关闭后执行
3.2 source /etc/profile
使环境变量生效
3.3 修改spark-env.sh
cp spark-env.sh.tmplate spark-env.sh
vim spark-env.sh
JAVA_HOME=/home/lyb/jdk
4.验证Spark安装
计算圆周率PI的值
进入Spark安装主目录
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn-cluster 模式选择(yarn-client;local)
--num-executors 3 进程数
--driver-memory 1g 驱动内存
--executor-memory 1g 运行时内存
--executor-cores 1 核数
/home/lyb/spark/examples/jars/spark-examples*.jar 10
标签：lyb,
--,
路线,
CONF,
spark,
Spark,
DIR
From： https://blog.51cto.com/chengzheng183/7469037