spark配置文件介绍
spark有很多参数，然后会有不同的配置文件，这里做一下介绍，也供自己以后查询。
1.spark properties：这个可以控制应用程序的绝大部分属性。并且可以通过SparConf对象挥着Java系统属性进行配置；
2.环境变量（Environment variable）：这个可以分别对每台机器单独进行相应设置，比如IP。这个可以在每台机器的spark-env.sh脚本中设置；
3.日志：所有日志相关的属性可以在log4j.properties文件中进行设置。
下面是对这三种属性设定的详细说明。
一、spark properties
可以通过一下三种方式设定：
1.通过SparkConf代码中直接指定：
val conf=new SparkConf()
.setMater(“local”)
.setAppName(“CountingSheep”)
.(“spark.executor.memory”,“1g”)
val sc=new SparkContext(conf)
2.通过spark-submit指定：
3.通过文件spark-defaults.conf指定。
假如三个地方中都指定了相同的参数，则判定顺序为：优先级最高的是通过SparkConf设定的，然后是spark-submit设定的，最后是spark-defaults.conf指定的。
二、环境变量
通过文件spark-env.sh设定
三、日志配置
通过log4j.properties指定，可以设置日志输出信息的级别以及日志路径。