今日安装了PySpark库以及学习了如何在Windows系统中通过SSH远程连接Linux系统使用Python语言来开发Spark程序 什么是PySpark 我们前面使用过bin/pyspark 程序, 要注意, 这个只是一个应用程序, 提供一个Python解释器执行环境来运行Spark任务我们现在说的PySpark, 指的是Python的运行类库, 是可以在Python代码中:import pyspark PySpark 是Spark官方提供的一个Python类库, 内置了完全的Spark API, 可以通过PySpark类库来编写Spark应用程序,并将其提交到Spark集群中运行.
Python语言开发Spark程序步骤？ 主要是获取SparkContext对象,基于SparkContext对象作为执行环境入口,下图是WordCount案例
如何提交Spark应用？ 将程序代码上传到服务器上, 通过spark-submit客户端工具进行提交
标签：类库,SparkContext,13,PySpark,Python,pyspark,笔记,进度,Spark From： https://www.cnblogs.com/yuncannotjava/p/17963181