首页 > 编程语言 >spark运行报错:env: “/home/hadoop/anaconda3/envs/pyspark/bin/python3.8“: 没有那个文件或目录

spark运行报错:env: “/home/hadoop/anaconda3/envs/pyspark/bin/python3.8“: 没有那个文件或目录

时间:2024-10-17 18:16:52浏览次数:9  
标签:bin pyspark python anaconda3 命令 报错 env spark

在进入spark的过程中,出现报错【env:"/home/hadoop/anaconda3/envs/pyspark/bin/python3.8": 没有那个文件或目录】,当时我立马就被搞蒙了,百度了各种方法,最终都没有解决。

当然有大佬说“进入conf目录下,修改spark-env.sh文件”,这个方法我也进行了修改,最终在终端输入./bin/pyspark,仍然会提示上面的报错信息。

此处我们使用的虚拟系统为Ubuntu,请未下载的自行下载,此处只解答报错问题

1、查看envs

在此之前,需要安装Anaconda(安装请自行完成,这里只解答报错问题),然后进入anacon目录下,可以看到一个envs文件夹,不同的版本都会被分别保存在envs文件夹中。

命令:cd ~/anaconda3
命令:ls

2、查看已创建的python环境

此时输入命令conda env list查看当前已创建的python环境

命令:conda env list

我们可以看到,圈起来的下面第二个与上面缺少的目录中,前半部分是一样的。

由此,我相信大家应该都想到了,我们需要自己再来创建一个python3.8版本,并将其命名为pyspark,然后就可以了。

3、添加新的python环境

输入命令,添加名称为pyspark的3.8版本的python,输入后直接敲回车即可

命令:conda create -n pyspark python=3.8

【注意:-n 后面为你要设置的名称(我这里名称为pyspark),python= 后面为要添加的python版本号(我这里python=的版本为3.8)】

无论需要添加什么版本的python都可以用此命令,但是要注意取的名字不要重复

此时会出现一大串内容,下面会提示输入y或者n,这里需要输入y,然后敲回车等待一下

4、再次查看已创建的python环境

此时输入命令conda env list,再次查看当前已创建的python环境

命令:conda env list

5、重新运行

此时即可重新再进入spark目录下,再输入命令运行spark即可,下面出现三个大于号即为成功

命令:cd /usr/local/spark
命令:./bin/pyspark

6、验证

在三个大于号(>>>)随便数值计算一下,如果可以算出结果,就证明没有问题。退出spark的命令为exit()

验证:2*3+1

命令:exit()

标签:bin,pyspark,python,anaconda3,命令,报错,env,spark
From: https://blog.csdn.net/yanyuanjiushiwo/article/details/143000619

相关文章

  • Combining Data from Multiple Sources
    Project1:CombiningDatafromMultipleSourcesIntroductionFinanceresearchoftenrequiresassemblingadatasetfromdifferentsources.Inmanycases,thesourcedataisnotformattedsuchthatitcanbeimportedeasilyintoPythonforanalysis.This......
  • Python中调用R语言代码(rpy)的一些报错和解决
    我搭建网站的过程中,需要将可视化的图下载下来,使用Echarts是比较好看,但是下载的是图片格式(png),项目需求是下载PDF的R绘制的图。所以我这边使用Python调用R代码,借rpy实现这个功能。在Python中调用R代码有多种方式,其中最常用的是通过rpy2库,它允许在Python中运行R代码并获......
  • supervisor使用报错解决
    常用命令supervisorctlstatus查看状态supervisorctlreload重新载入配置文件supervisorctlstartall/ftp启动所有/指定的程序进程supervisorctlstopall/frp关闭所有/指定的程序进程一.简化后的supervisord.conf配置文件内容:[unix_http_s......
  • vs 使用git管理bin obj 去除版本控制
    转自:https://www.cnblogs.com/taidi/p/6095549.htmlVS使用Git时,如何忽略不想上传的文件在.net开发中,有很多文件是不希望上传,加入协助开发中,例如生成在的bin/Debug,bin/Release文件等。在代码目录下建立.gitignore文件:.gitignore(用记事本另存可以保存这个名字),配置上要忽略的......
  • 常见问题——C#未能找到路径“\bin\roslyn\csc.exe”的一部分
    1.主要原因是因为两个库存在,需要生成一个roslyn文件那么就删除这两个关联的库,就可以达到目的删去项目中的这两天引用:Microsoft.CodeDom.Providers.DotNetCompilerPlatformMicrosoft.Net.Compilers2.删除web.config中加载的这个依赖的代码段<system.codedom><compilers......
  • Kylinv10 curl报错:SSLv3_client_method version OPENSSL_1_1_0 not define
    curl http://127.0.0.1出现问题#curlhttps://www.example.comcurl:relocationerror:/lib64/libcurl.so.4:symbolSSLv3_client_methodversionOPENSSL_1_1_0notdefinedinfilelibssl.so.1.1withlinktimereference错误是/usr/lib64中的动态链接中无法识别......
  • 【Azure 环境】请求经过应用程序网关,当响应内容大时遇见504超时报错
    问题描述API调用过程中,一旦遇到数据量大的场景下,返回504 超时的错误。注意: 请求首先达到ApplicationGateway,然后转发到后端的AppService服务中。 问题解答这可能与应用程序网关的“响应缓存区”配置有关:应用程序网关的响应缓冲区可以收集后端服务器发送的全部或部分......
  • 沃姆斯传说:午夜新娘游戏报错d3dcompiler_47.dll缺失,解决方法全攻略
    当你在玩《沃姆斯传说:午夜新娘》这款游戏时,如果遇到系统报错提示“d3dcompiler_47.dll缺失”,这通常意味着你的系统中缺少了这个关键的动态链接库文件,或者游戏无法正确找到它。d3dcompiler_47.dll是DirectX的一部分,它支持Direct3D编译器,对于游戏的图形渲染至关重要。以下是一些......
  • R语言报错:Error in as.double(y) : cannot coerce type 'S4' to vector of type 'd
    在RStudio中使用plot函数报错:查询解决方案是缺少Rgraphviz包,执行以下代码:source("http://bioconductor.org/biocLite.R")biocLite(c("graph","Rgraphviz")) 又提示 于是添加 plot使用成功 ......
  • jmeter压测问题: JAVA.NET.BINDEXCEPTION: ADDRESS ALREADY IN USE: CONNECT
    1.报错信息:2. 问题排查  1)询问AI,说端口被占用。修改了jmeter的端口号后,仍是不行  2)最后找到一篇博客,真的解决了问题     我只进行了,增大端口号,减少Time_Wait, Close_WAIT没有处理,仍解决了此问题 ......