004-spark local模式

spark local 模式  在window或者linux下都一样，都是启动一个节点，只能用于测试。

1、下载Spark

官方地址：http://spark.apache.org/downloads.html

2、window 7 下解压，然后点击“”启动spark

3、spark验证是否启动成功

4、spark计算验证

4.1 加载文本信息

加载一个或者多个文件，使用spark需要上下文对象sc

scala> var file=sc.textFile("d:/test/a.txt").collect

4.2 可以使用-master启动多个线程

4.3 单词统计

scala> sc.textFile("d:/test/a.txt").flatMap( line=>line.split("\\t") ).map( word=>(word,1) ).reduceByKey(_ + _).collect