在进入spark的过程中,出现报错【env:"/home/hadoop/anaconda3/envs/pyspark/bin/python3.8": 没有那个文件或目录】,当时我立马就被搞蒙了,百度了各种方法,最终都没有解决。
当然有大佬说“进入conf目录下,修改spark-env.sh文件”,这个方法我也进行了修改,最终在终端输入./bin/pyspark,仍然会提示上面的报错信息。
此处我们使用的虚拟系统为Ubuntu,请未下载的自行下载,此处只解答报错问题
1、查看envs
在此之前,需要安装Anaconda(安装请自行完成,这里只解答报错问题),然后进入anacon目录下,可以看到一个envs文件夹,不同的版本都会被分别保存在envs文件夹中。
命令:cd ~/anaconda3
命令:ls
2、查看已创建的python环境
此时输入命令conda env list查看当前已创建的python环境
命令:conda env list
我们可以看到,圈起来的下面第二个与上面缺少的目录中,前半部分是一样的。
由此,我相信大家应该都想到了,我们需要自己再来创建一个python3.8版本,并将其命名为pyspark,然后就可以了。
3、添加新的python环境
输入命令,添加名称为pyspark的3.8版本的python,输入后直接敲回车即可
命令:conda create -n pyspark python=3.8
【注意:-n 后面为你要设置的名称(我这里名称为pyspark),python= 后面为要添加的python版本号(我这里python=的版本为3.8)】
无论需要添加什么版本的python都可以用此命令,但是要注意取的名字不要重复
此时会出现一大串内容,下面会提示输入y或者n,这里需要输入y,然后敲回车等待一下
4、再次查看已创建的python环境
此时输入命令conda env list,再次查看当前已创建的python环境
命令:conda env list
5、重新运行
此时即可重新再进入spark目录下,再输入命令运行spark即可,下面出现三个大于号即为成功
命令:cd /usr/local/spark
命令:./bin/pyspark
6、验证
在三个大于号(>>>)随便数值计算一下,如果可以算出结果,就证明没有问题。退出spark的命令为exit()
标签:bin,pyspark,python,anaconda3,命令,报错,env,spark From: https://blog.csdn.net/yanyuanjiushiwo/article/details/143000619验证:2*3+1
命令:exit()