首页 > 其他分享 >Docker下spark环境搭建

Docker下spark环境搭建

时间:2023-08-25 13:05:42浏览次数:35  
标签:bin hadoop2.6 && 2.3 HOME Docker spark 搭建


RUN  echo "Install Spark" && \
 wget -O /tmp/spark-2.3.4-bin-hadoop2.6.tgz  http://mirror.bit.edu.cn/apache/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.6.tgz   && \
   cd /tmp/ && \
   tar -zxvf /tmp/spark-2.3.4-bin-hadoop2.6.tgz && \
    rm -rf /tmp/spark-2.3.4-bin-hadoop2.6.tgz && \
    rm -rf ${Z_HOME}/spark/  && \
    mkdir -p ${Z_HOME}/spark/  && \
    mv /tmp/spark-2.3.4-bin-hadoop2.6/* ${Z_HOME}/spark/ && \
    chown -R admin:admin ${Z_HOME}/

ENV SPARK_HOME="${Z_HOME}/spark" \
    PATH="$PATH:${SPARK_HOME}/bin"


标签:bin,hadoop2.6,&&,2.3,HOME,Docker,spark,搭建
From: https://blog.51cto.com/u_9406185/7229150

相关文章

  • spark配置文件介绍
    spark配置文件介绍spark有很多参数,然后会有不同的配置文件,这里做一下介绍,也供自己以后查询。1.sparkproperties:这个可以控制应用程序的绝大部分属性。并且可以通过SparConf对象挥着Java系统属性进行配置;2.环境变量(Environmentvariable):这个可以分别对每台机器单独进行相应设置,比......
  • Eureka-搭建eureka服务
            ......
  • centos简单搭建git服务端
    注意事项:1、git常用的客户端管理工具有sourcetree、TortoiseGit,个人比较喜欢sourcetree2、按照本文装的git服务端如果需要创建用户得在命令行操作,也可部署gitlab开源项目实现在web端进行管理用户3、如果觉得麻烦不想自己部署,也可直接把代码推广到github上本人采用的是virtualbo......
  • ShowMeBug X 国信证券 | 提升金融企业技术人才识别效率,实现高效团队搭建
    国信证券股份有限公司(以下称国信证券)与ShowMeBug完成签约。ShowMeBug技术测评平台助力国信证券将招聘流程部分线上化,HR大幅减少了人才出筛时间,加速了整体招聘进程,提升了人才识别效率,推动建设更加坚实的技术人才团队。国信证券借助支持多种编程框架语言的技术测评系统 ShowMeBug......
  • 交互式Docker以及Yaml
    EulerOS、openEulerEulerOSLinux又为被称为华为欧拉Linux.华为欧拉系统主要针对企业级的Linux服务器操作系统,针对B端用户,一般用在企业的大型计算机上,是企业IT系统的基础架构平台进程内存管理网络容器技术编译系统、虚拟存储系统、CPU调度、IO驱动、网络和文件系统Harm......
  • docker 清除日志文件
    查看日志大小:在linux系统中创建docker_logs.sh文件,输入sh docker_logs.sh命令查看日志文件大小/var/lib/docker/containers为docker默认日志输出路径echo"========dockercontainerslogsfilesize========"logs=$(find/var/lib/docker/containers/-name*-json.log)......
  • VisionPro C#混合编程环境搭建(基于VS2019)
    VisionPro工具分组(因为Vs2019导入VisionPro是全导入,为了方便,可以自建项进行分类)各选择项1VisionProToolEditControls2VisionProDisplayControls3VisionProShapeEditControls4VisionProSystemControls各选择项下的组件VisionProDisplayControls:CogRecor......
  • Exceptionless系列:简介和部署(Windows、Linux、Docker)
    目录一、简介二、版本三、运行说明1、Exceptionless2、Elasticsearch3、Exceptionless.UI四、打包Exceptionless.UI五、window部署1.Elasticsearch2.Exceptionless六、Docker部署一、简介Exceptionless为您提供了跟踪错误、日志和事件的工具,同时指导您找到可行的解决方案。首先......
  • Docker 安装Redis 无法使用配置文件设置密码问题
    背景最近开发需要使用各种组件,如果都到开发机上安装,会占用电脑资源较多。所以使用docker容器来安装这些组件。例如redis、mongodb、mysql、rabitmq、elasticsearch等等。遇到的问题用edis官方镜像启动容器后,发现没有加载配置文件。解决方案1.redis镜像拉下来......
  • CentOS7.9搭建开发环境(Java、MySQL、Nginx、Redis)
    系统使用的阿里云CentOS7.964位SCC版。先安装个文件上传下载工具lrzsz,xshell登录终端,运行下面的命令:yuminstall-ylszrz 这是因为yum源的问题,需要修改yum配置。执行以下命令:cd/etc/yum.repos.dmvCentOS-Base.repoCentOS-Base.repo.backupwgethttp://mirrors.......