首页 > 其他分享 >spark scala 安装 window20221021

spark scala 安装 window20221021

时间:2022-10-21 16:11:13浏览次数:43  
标签:bin scala SCALA window20221021 2.2 spark 安装

1、spark安装

http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz

 

环境变量:

 

 

创建SPARK_HOME:D:\spark-2.2.0-bin-hadoop2.7

Path添加:%SPARK_HOME%\bin

测试是否安装成功:打开cmd命令行,输入spark-shell

 

 

 

 

 

 

2、spark安装

https://www.scala-lang.org/download/2.11.8.html

 

 

 

环境变量:

创建SCALA_HOME: C:\Program Files (x86)\scala

Path添加:;%SCALA_HOME%\bin; 

测试是否安装成功:打开cmd命令行,输入scala

 

 

标签:bin,scala,SCALA,window20221021,2.2,spark,安装
From: https://www.cnblogs.com/smallfa/p/16813811.html

相关文章

  • Scala题目
    Scala题目数据在bigdata19-scala/data中      题目:基础1、统计班级人数[班级,人数]2、统计学生的总分[学号,学生姓名,学生年龄,总分]进阶1、统计年级......
  • spline-spark-agent收集Iceberg(Spark程序)血缘
    一、背景使用Spark操作Iceberg(HiveCataLog的方式),使用Spline-Agent收集Spark作业的血缘。二、编译1、下载源码包:https://github.com/AbsaOSS/spline-spark-agent.git......
  • scala-集合
    集合Scala的集合有三大类:序列Seq、集Set、映射Map所有的集合都扩展自Iterable特质。对于几乎所有的集合类Scala都同时提供了可变和不可变的版本可变集合可以在适当的......
  • OpenCV cv::Scalar、cv::Mat::zeros
    1cv::Scalar        cv::Scalar是opencv的一个结构体,其定义如下:(c++中的结构体如下,可以存放1~4个数值。)1//!variousconstructors2Scalar_();3......
  • SparkCore(二)
    RDD的API操作/方法/算子比如有一个100M的csv文件,需要对它的每个元素操作,比如先+1,再平方,结果保存另一个csv文件。如下图,如果用传统python思维,不仅每个中间容器占用内存,消......
  • spark_base
    spark集群版原理Spark和其他大数据框架一样,计算都需要使用资源(【core】+【内存】#core就是cpu中的几核几线程的线程数1、如果只有一台服务器,那么就是使用【1台机器】的......
  • Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs
    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢ClouderaLabs的新成......
  • SparkSQL参数
    SparkSQL参数<1>表分区类参数--是否允许动态生成分区sethive.exec.dynamic.partition=true;--是否容忍指定分区全部动态生成sethive.exec.dynamic.partition.mode=......
  • SparkSQL on K8s 在网易传媒的落地实践
    随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群,并实现与部分在线业务的混合部署,......
  • scala基础
     06  07        08编码规范  最后一行的变量就是括号中的返回值        10             ......