首页 > 其他分享 >win10 搭建pyspark环境

win10 搭建pyspark环境

时间:2023-08-17 16:11:54浏览次数:52  
标签:bin pyspark SparkSession home win10 import spark 搭建

1、环境配置教程:地址

 

2、测试代码示例

import os
import findspark
os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_311'  # 这里的路径为java的bin目录所在路径
spark_home = "D:\spark-3.0.3-bin-hadoop2.7"
python_path = "D:\Anaconda3\bin\python"
findspark.init(spark_home)

import pyspark 
from pyspark.sql import SparkSession

#SparkSQL的许多功能封装在SparkSession的方法接口中

spark = SparkSession.builder \
        .appName("test") \
        .config("master","local[*]") \
        .enableHiveSupport() \
        .getOrCreate()

sc = spark.sparkContext

 

标签:bin,pyspark,SparkSession,home,win10,import,spark,搭建
From: https://www.cnblogs.com/cupleo/p/pyspark.html

相关文章

  • Streamlit 讲解专栏(二):搭建第一个应用
    1前言......
  • 零代码搭建一个微信小程序
    本文分享自华为云社区《【新手指引】体验通过AstroZero零代码快速搭建微信小程序》,作者:华为云Astro。通过本文,您将学会如何基于Astro零代码能力,DIY开发,完成问卷、投票、信息收集、流程处理等工作,还能够在线筛选、分析数据。实现一站式快速开发个性化应用,体验轻松拖拽开发的乐趣。......
  • AutoCAD P&ID 工作平台的搭建
    AutoCADP&ID工作平台的搭建AutoCADP&ID用于绘制工艺流程图,管理员可以配置软件,量身打造自定义P&ID绘图环境。首先我们来了解一下AutoCADP&ID的工作方式。AutoCADP&ID是一个以块和变量操作为基础AutoCAD二次开发软件,集合了多种国际相关标准,比如PIP、ISO、ISA、DIN等,基本......
  • Streamlit项目:搭建舌体分割的初步展示应用
    1前言去年在社区发布了有关中医舌象诊断的博文,其中舌象识别板块受到了极高的关注和关注。......
  • 零代码搭建一个微信小程序
    本文分享自华为云社区《【新手指引】体验通过AstroZero零代码快速搭建微信小程序》,作者:华为云Astro。您将学会如何基于Astro零代码能力,DIY开发,完成问卷、投票、信息收集、流程处理等工作,还能够在线筛选、分析数据。实现一站式快速开发个性化应用,体验轻松拖拽开发的乐趣。您需......
  • mormot2 笔记(二) Http服务的简单搭建
    mormot2框架中有个THttpServer类,它有一个Router属性,定义如下:propertyRouter:TUriRouterreadfRoute;Router是添加路由的入口点,它有和http协议对应的get,post,put,delete等方法,这些方法可以添加路由,下面常用的get方法定义。procedureGet(constaUri:RawUtf8;......
  • Qt for ARM_Linux环境搭建-Qt5.7+iTop4412嵌入式平台移植
    原文:https://blog.csdn.net/hechao3225/article/details/52981148经过为期3天的编译、移植,终于将Qt5.7成功移植到iTop4412开发板,板载exynos4412处理器,基于ARMCortex-A9内核。因此,本篇教程以iTop4412示例,适用于Qt5.7在ARM_Linux平台上的移植。---------------------------------......
  • DNS服务器搭建
    DNS服务器搭建bind软件搭建dns服务器1.准备好机器172.16.1.61机器服务端客户端172.16.1.7这个机器作为客户端2.服务端部署bind软件bind软件是dns服务器的主软件,bind-utils是提供dns解析的命令,如dig这个命令yuminstallbindbind-utils-y3.安装完毕后,检查防火......
  • centos搭建FTP
    一,简介1,Centos中的FTP在Linux系统中FTP服务器的服务不并是叫做ftp,而是叫做vsftpd,通过在Linux系统中安装和配置vsftpd来实现文件的共享。2,vsftpdvsftpd全称(verysecureFTPdaemon)是一款在Linux系统中最受欢迎的FTP服务器。vsftpd支持匿名访问和本地用户模式两种访问方式。匿名访......
  • vue-cli项目搭建的详细过程
    vue-cli官方文档:https://cli.vuejs.org/zh/guide/安装vue-cli,前提:需要安装node和npm新建vue项目的过程:1、全局安装vue-cli npminstall-g@vue-cli  2、在项目放置目录下,创建项目 vuecreatemy-app  (my-app为项目名称,注意不要使用驼峰命名)3、打开项目,......