首页 > 其他分享 >docker安装spark

docker安装spark

时间:2023-06-07 18:23:58浏览次数:42  
标签:compose 8080 singularities master docker 安装 spark

curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose

docker-compose --version

docker pull singularities/spark

vi docker-compose.yaml

version: "2"
 
services:
  master:
    image: singularities/spark
    command: start-spark master
    hostname: master
    ports:
      - "6066:6066"
      - "7070:7070"
      - "8080:8080"
      - "50070:50070"
  worker:
    image: singularities/spark
    command: start-spark worker master
    environment:
      SPARK_WORKER_CORES: 1
      SPARK_WORKER_MEMORY: 2g
    links:
      - master

#进入到docker-compose.yaml文件目录下

docker-compose up -d​​

完成!

http://10.9.31.81:50070/

 

http://10.9.31.81:8080/

 

标签:compose,8080,singularities,master,docker,安装,spark
From: https://www.cnblogs.com/databank/p/17464193.html

相关文章

  • 生产环境windows服务器Oracle11gR2安装配置
    1.生产环境Windows主机环境规划  os:windows2008  ip:192.168.1.51  主机:ippuxwebdb  数据库:oracle11.2.0.4+补丁  数据库名:fgwebdb  主机  物理内存:内存16G/32G,CPU:i3/i5/i7硬盘空间500G  网络要求:有线  2.Windows服务器系统安装  1.VMware虚......
  • Oracle 19c dbca静默安装建库
     Oracle19cdbca静默安装建库 目前单节点无RAC环境,模板如下(RAC差不多,少部分不同)。1dbca-silent-createDatabase\2-responseFileNO_VALUE\3-templateName$ORACLE_HOME/assistants/dbca/templates/New_Database.dbt\4-databaseTypeMULTIPURPOSE\5-da......
  • docker iptables
    -name:获取是否已经安装dockershell:'systemctlis-activedocker||echo"NoFound"'register:docker_svc#18.09.x版本二进制名字有变化,需要做判断-name:获取docker版本信息shell:"{{base_dir}}/bin/dockerd--version|cut-d''-f3"regist......
  • 叉车技改:提升叉车安全性,安装叉车指纹锁
    在工业生产中,叉车是一个非常重要的物流设备。然而,由于叉车操作者疲劳、不慎操作或不当使用等因素,往往会导致在操作过程中发生意外事故。因此,提升叉车的安全性显得尤为重要。为了增加叉车的操作安全性,可以采用安装叉车指纹锁这一技改措施。九盾安防叉车指纹锁是一种通过人体生物识......
  • 怎么安装mininet
    怎么安装mininet本次安装环境为ubuntu20.04mininet为github上的最新版git源代码打开Ubuntu中的Terminal(这一步由于网络环境可能会下载失败,这时候可以更换github域名为国内镜像源域名)gitclonegit://github.com/mininet/mininet例如kgithub.com这一镜像源就可以这样输入g......
  • SQL Server 补丁理解及安装 内附完整版下载地址及sp1/2/3补丁
    启动安装程序下载sqlserver2014,双击startup.exe进行安装 系统配置检查器 使用系统配置检查器,看系统是否符合安装sqlserver2014的所有要求 开始安装然后点击安装,全新sqlserver独立安装或向现有安装添加功能 安装规则然后就是使用默认的设置,点开详细信息,可以看到安......
  • [Docker/K8S]Docker与K8S的区别
    1定义角度Docker是一种开放源码的应用容器引擎,允许开发人员将其应用和依赖包打包成可移植的容器/镜像中;然后,发布到任何流行的Linux或Windows机器上,也能实现虚拟化。该容器完全使用沙箱机制,彼此之间没有任何接口。k8s,全称kubernetes,是一种开放源码的容器集群管理系统,能......
  • 解决使用yarn安装依赖出现“The engine "node" is incompatible with this module. Ex
    1、问题描述某天在使用yarn安装依赖的时候,突然出现如下错误导致安装依赖终止:Theengine"node"isincompatiblewiththismodule.Expectedversion"^14.18.0||^16.14.0||>=18.0.0".Got"17.9.0"2、解决办法使用如下命令忽略错误:yarnconfigsetignore-enginestr......
  • Apache Spark源码走读之1 -- Spark论文阅读笔记
    楔子源码阅读是一件非常容易的事,也是一件非常难的事。容易的是代码就在那里,一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前,如果想要快速对Spark的有一个整体性的认识,阅读MateiZaharia做的Spa......
  • 传奇GOM引擎补丁安装教程图解,传奇pak补丁介绍
    gameofmir引擎的加密补丁格式是PAK格式,该补丁放入客户端的位置也和传统的补丁不一样,导致很多玩家补丁都打错了,最后游戏不显示和黑屏常规的补丁文件夹就这几个datamapwav自定义补丁文件夹名字如名字就是自定义正确的自定义补丁使用方法如下:先带大家认识一下自定义补丁目录,每个版本作......