首页 > 系统相关 >Linux 下搭建 Spark3 + Jupyter 环境

Linux 下搭建 Spark3 + Jupyter 环境

时间：2024-11-06 23:30:53浏览次数：1  
标签：Jupyter Spark3 python 虚拟环境 conda Linux HOME spark data

最近想着来玩一玩大数据, 前段时间集中过了一遍 java, 最近又看了一些基础的 scala, 我感觉吧, 我都不想学. 还是觉得用 sql, javascript, python 这种脚本语言操作起来顺手, 但这并不影响对这个大数据生态的理解和学习. 这里主要是来记录一下 spark + jupyter 环境的搭建, 说实话还折腾了好久才搞定. 主要是做个记录而已.

前置条件

  • linux 环境, 我这里用的是 centos
  • 安装了hadoop, 我这里用 hadoop3.2.0 搭建了一个 1主2从的伪分布式集群环境
  • 用的是 VM 虚拟机, 我用的是 windows 环境, 用的终端工具是 SecureCRT 贼好用
  • 克隆了一个客户端节点出来, 上面可以安装各类程序, 通过 yarn 来进行集群调度即可

安装 Spark on Yarn

用的是一个老版本 3.2.1, 从官网 https://archive.apache.org/dist/spark/spark-3.2.1/

下载 spark-3.2.1-bin-hadoop3.2.tgz 这个带 hadoop 的版本即可.

上传到客户端节点 /data/soft/ 目录下, 然后进行解压

tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz

将它改个简短一点的名字, 叫 spark3 吧

mv spark-3.2.1-bin-hadoop3.2  spark3

重命名 spark-env.sh.template

cd spark3/conf
mv spark-env.sh.template spark-env.sh

配置上 JAVA_HOME 和 Hadoop 的配置目录即可.

vi spark-env

export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop

:wq

这样就配置好了, 然后来配置一些环境变量方便后面使用, 我用的是 centos, 这里直接配置系统环境变量即可

vi /etc/profile

在末尾配置上

for i in /etc/profile.d/*.sh /etc/profile.d/sh.local ; do
    if [ -r "$i" ]; then
        if [ "${-#*i}" != "$-" ]; then
            . "$i"
        else
            . "$i" >/dev/null
        fi
    fi
done

unset i
unset -f pathmunge


export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_HOME=/data/soft/hadoop-3.2.0
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop
export SPARK_HOME=/data/soft/spark3

export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_CONF_DIR:$SPARK_HOME/bin:$PATH

然后执行文件让其生效

source /etc/profile

这样全局环境变量也配置好了.

安装 conda 环境

主要是为了省事, 一并安装上 python3 和 jupyter. 用原生的话不是太好操作.

也是从官网下载, https://www.anaconda.com/download/success

注意这里我们选择 Linux 版的 Miniconda 它就只包含了 python3 + conda 只有 140M 就很好, 全套的话有 1GB. 没有必要全下, 后面要用的话, 用 conda install xxx 就行了.

将下载的文件 Miniconda3-latest-Linux-x86_64.sh 也放到 data/soft 目录下, 其实放哪都行, 然后执行文件一直回车就安装好了.

bash Miniconda3-latest-Linux-x86_64.sh

如果不指定的话, 它就默认安装在 /root/miniconda3 这里.

进入 conda 的默认虚拟环境 base

conda activate

然后来创建一个名为 py38 的虚拟环境, 就安装一个 python3.8 嘛, 当然 3.9, 3.10 都是可以滴.

conda create -n py38 python=3.8

等待之后,验证一下就行了.

conda activate py38

python --version

显示: 
Python 3.8.20

这样虚拟环境也就成功啦. 然后是几个常用的 conda 命令

创建是虚拟环境: conda create -n py38 python=3.8
查看虚拟环境: conda env list

删除虚拟环境: conda env remove --name env_name

进入虚拟环境: conda activate py38
退出虚拟环境: conda deactivate

查看安装的包: conda list
安装新的包:  conda install xxx

最后是来寻找一下虚拟环境中 python 的位置, 等下配置需要用.

conda activate py38
which python

可以看到, python 的执行目录在

/root/miniconda3/envs/py38/bin/python

配置 pyspark

  • 在虚拟环境中, 配置上 Jdk, Spark, Hadoop 的环境变量
  • 将Spark 里面的 pyspark 包直接 copy 到 python 的 site-packages 下, 这样等同于 pip install

先在虚拟环境下配置上 spark 等路径 (当前用户)

vi ~/.bashrc

在尾部追加, 和之前在 /etc/profile 的配置一样的, 主要是为了在虚拟环境中能找到 spark

export JAVA_HOME=/data/soft/jdk1.8
export SPARK_HOME=/data/soft/spark3
export PYSPARK_PYTHON=/root/miniconda3/envs/py38/bin/python

export HADOOP_HOME=/data/soft/hadoop-3.2.0
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop


export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_CONF_DIR:$SPARK_HOME/bin:$PYSPARK_PYTHON:$PATH

然后是本篇最关键的一步, 安装 pyspark 注意这里不要去 conda install pyspark , 这有2个坑

  • 如果版本不兼容或者少什么东西的话, 就很难搞
  • pyspark 特别大, 200多M, 就镜像源也不是很靠谱

解决这个问题的核心是理解 python 中通过 pip 或者 conda install 的本质是将别人的安装包下载下来,

解压安装到 python 安装包目录lib/site-packages 目录下, 就能进行 import xxx .

pip /conda insatall A =>  Dowload A -> python's  lib/site-packages

那既然是这样, 直接将 Spark 目录下的 python/pyspark 复制到 python 对应的 site-packages 即可, 这样还绝对兼容和适配 !

对比 Java 中的 Maven 也是一样的操作.

先下载一个 maven 安装包到本地, 然后构建 maven 项目, 在 pom.xml 中, 找到远程仓库的 jdk 链接.

然后就会自动下载对应的 JDK 到本地目录了, 这样就可以直接引用.

后面进行编译, 打包啥的, 其实和 Python 是一样的思路. 或者说几乎所有的都是这样, 掌握了原理就很简单.

这里比较麻烦的就是找这个 conda 下的 python 的虚拟环境, 刚建的 py38 的 site-package 在这里.

/root/miniconda3/envs/py38/lib/python3.8/site-packages/

最后就简单了, 直接 spark 中将对应的文件 copy 过去即可.

cp -r /data/spark/python/lib/py4j-*.zip  /root/miniconda3/envs/py38/libpython3.8/site-packages/

cp -r /data/soft/spark3/python/pyspark  /root/miniconda3/envs/py38/lib/python3.8/site-packages/

大功搞成!

安装 Jupyter 环境

也是先进入虚拟环境:

conda activate py38

然后直接安装 jupyter

conda install jupyter

等待安装好后, 对 jupyter 进行一些配置, 先生成一个配置文件

jupyter notebook --generate-config

然后打开文件

vi ~/.jupyter/jupyter_notebook_config.py

配置上一些基础设置, 主要是 允许远程访问, 设置远程端口 和禁止用浏览器自动打开等.

# 允许远程访问
c.NotebookApp.ip = '0.0.0.0'

# 设置端口
c.NotebookApp.port = 8888

# 禁用浏览器自动打开
c.NotebookApp.open_browser = False

# 设置基础 URL（可选）
# c.NotebookApp.base_url = '/jupyter/'

# 禁用 token 认证（注意：这会使 Jupyter Notebook 更容易被未授权访问）
c.NotebookApp.token = ''

然后直接启动 jupyter 服务即可, 注意这里我用的 root , 可能会被禁止, 这里配置允许即可.

不配置启动路径的话, 就当前在哪个路径, 等下就会以当前路径作为服务根节点, 我一般是 cd ~

jupyter notebook  --allow-root

I 2024-11-06 23:04:38.622 ServerApp] jupyterlab | extension was successfully loaded.
[I 2024-11-06 23:04:38.626 ServerApp] notebook | extension was successfully loaded.
[I 2024-11-06 23:04:38.627 ServerApp] Serving notebooks from local directory: /root
[I 2024-11-06 23:04:38.627 ServerApp] Jupyter Server 2.14.1 is running at:

[I 2024-11-06 23:04:38.627 ServerApp] http://192.168.15.3:8888/tree
[I 2024-11-06 23:04:38.627 ServerApp]     http://127.0.0.1:8888/tree

[I 2024-11-06 23:04:38.627 ServerApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 2024-11-06 23:04:38.631 ServerApp] No web browser found: Error('could not locate runnable browser').

成功启动后, 可以在 windows 中进行远程访问啦!

http://192.168.15.3/tree

环境验证

主要是在 windos 下能通过 jupyte notebook 进行远程连接 saprk 并启动任务就行啦.

这里我们用 Local 模式测试一下就行, 后面用 Yarn 也是类似的配置

1. 启动一个任务环境

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.appName("TestPySpark").getOrCreate()

会有一些警告日志不用管它

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2024-11-06 23:06:43,484 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2. 创建一个简单的 DataFrame

data = [(1, "John", 30), (2, "Jane", 25), (3, "Mike", 35)]
columns = ["id", "name", "age"]

df = spark.createDataFrame(data, columns)

3. 将 DataFram 注册为临时表 lazy 不耗时的, 随便搞

df.createOrReplaceTempView("people")

5. 进行SQL查询

result = spark.sql("SELECT * FROM people WHERE age > 25")
result.show()

5. 结果输出

+---+----+---+
| id|name|age|
+---+----+---+
|  1|John| 30|
|  3|Mike| 35|
+---+----+---+

6. 可以通过 web 来查看 spark 任务, 本地模式下默认是 4040 端口

http://192.168.15.103:4040/jobs/

至此, 就可以愉快的玩一波 spark 啦, 用 jupyter notebook , 当然后面可以对比 scala 来更深刻理解一波.

标签：Jupyter,Spark3,python,虚拟环境,conda,Linux,HOME,spark,data
From： https://www.cnblogs.com/chenjieyouge/p/18531278

相关文章

  • rocky linux详细安装过程
     Centos已经停止维护，我们这里安装一个rockylinux，其也是基于redhat的开源linux系统，也算是与Centos同宗同源了，个人使用可以作为Centos的替代品。1.rockylinux镜像下载rockeylinux下载地址: 下载–RockyLinux,不过这个地址下载特别慢我们这里直接去阿里的镜像站下载......
  • Ubuntu Linux中安装MySQL教程
    在UbuntuLinux中安装MySQL步骤步骤一：更新软件包列表首先，更新你的软件包列表：sudoaptupdate步骤二：安装MySQL服务器使用以下命令安装MySQL服务器：sudoaptinstallmysql-server步骤三：启动MySQL服务安装完成后，启动MySQL服务：sudosystemctlstartmysql......
  • Linux 外设驱动 应用 6 摄像头采集实验
    摄像头采集实验1摄像头基础介绍1.1驱动介绍-V4L2简介1.2硬件介绍2代码编写2.1打开设备文件2.2取得设备的capability，看看设备具有什么功能，比如是否具有视频输入,或者音频输入输出等2.3选择视频输入，一个视频设备可以有多个视频输入。VIDIOC_S_INPUT,structv4l2......
  • 别再被多线程搞晕了！一篇文章轻松搞懂 Linux 多线程同步!
    前言大家有没有遇到过，代码跑着跑着，线程突然抢资源抢疯了？其实，这都是“多线程同步”在作怪。多线程同步是个老生常谈的话题，可每次真正要处理时还是让人头疼。这篇文章，带你从头到尾掌握Linux的多线程同步，把概念讲成大白话，让你看了不再迷糊，还能拿出来装一装逼！不管是“锁”、“信号......
  • Linux 基础知识总结
    简介Linux是一个开源的类Unix操作系统内核，由LinusTorvalds在1991年首次发布。如今，Linux已经发展成为一个庞大的操作系统家族，广泛应用于服务器、桌面、移动设备和嵌入式系统等多个领域。本文将为你提供一个关于Linux的基础知识总结，帮助你快速了解和掌握Linux的核心......
  • SELinux
      SELinux安全增强式Linux(Security-EnhancedLinux)安全增强式Linux是一个Linux内核的安全模块，其提供了访问控制安全策略机制，包括了强制访问控制。SELinux是一组内核修改和用户空间工具，已经被添加到各种Linux发行版中。其软件架构力图将安全决策的执行与安全策略分离，并......
  • openwrt软件包 2: linux 内核软件包 in openwrt
    上篇介绍了基础的Makefile使用和如何加载到镜像中,此篇来介绍一下内核的软件包openwrt软件包1内核软件包首先第一个问题就是:为什么区分了openwrt软件包和内核软件包?其实这就是openwrt这个系统的一个问题,它把整个系统分成了用户态和内核态,内核态有更高的操作权......
  • Linux查看文件大小的命令-续
    几年前，写了Linux中如何查看文件夹的大小这篇文章，这里再做点补充。大家想要了解一个文件是多大，最直观的方式，就是看看Windows告诉咱们某个文件有多大。可以看到，这个文件大小是2.4GB。有了这个信息，再往下去看Linux中的大小就有了准绳。我测试的是一个仅包含一个语料库的压缩包的目录......
  • #渗透测试#SRC漏洞挖掘# 操作系统-Linux系统基础04之内存管理
    免责声明本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停止本文章阅读。                            ......
  • linux 虚拟机扩容
    虚拟机扩容是一件非常简单的事情，我们不要把他想的太麻烦了，下面我们开始操作！1.我们先用df-TH命令查看虚拟机根目录的内存通过这个命令我们发现可用的内存还有大约7G，这里一定是看根目录下的内存。2.我们先关闭虚拟机，找到编辑虚拟机设置、硬盘、扩展注意:这里的虚拟机必须......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99