首页 > 其他分享 >A7--Spark部署

A7--Spark部署

时间:2023-04-04 13:56:20浏览次数:36  
标签:bin -- 3.2 export A7 HOME Spark SPARK spark

一、版本信息

   
JDK 1.8
spark 3.2.1

二、安装部署

1)上传解压缩文件

tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz

 

2)配置环境变量

vim /etc/profile   # Spark export SPARK_HOME=/opt/spark-3.2.1 export PATH=$SPARK_HOME/bin:$PATH

3)修改配置文件

vim /opt/spark-3.2.1/conf/spark-env.sh   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_HOME=/opt/spark-3.2.1 export PATH=$SPARK_HOME/bin:$PATH export PYSPARK_PYTHON=/usr/bin/python export SPARK_DRIVER_PYTHON=/usr/bin/python

标签:bin,--,3.2,export,A7,HOME,Spark,SPARK,spark
From: https://www.cnblogs.com/jerry-0910/p/17286145.html

相关文章

  • ELK+kafka集群部署
    前言业务层可以直接写入到kafka队列中,不用担心elasticsearch的写入效率问题。消息系统主要功能1、解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束2、冗余消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消......
  • docker compose的v1\v2版本安装及使用上的区别
    【docker系列】dockercompose的v1\v2版本安装及使用上的区别文章目录一、简介二、安装dockerCompose1.x版本三、安装dockercomposev2版本一、简介DockerCompose可以按照规范的定义文件(docker-compose.yml)一次性启动运行多个具有依赖关系的容器。本质上说,DockerCompos......
  • 《花雕学AI》07:AI脑洞大开-盘点最火爆人工智能ChatGPT的N多种新颖用法
    本文提纲(呵呵,想必大家都猜到了,它确实是人工智能帮我做的,看起来比较专业吧!)一、引言:介绍ChatGPT是什么,它是基于GPT-3的一个开源的多语言聊天机器人框架,可以生成流畅、有趣、有逻辑的对话。二、正文:分别介绍ChatGPT的N多种新颖用法1、用ChatGPT来写小说、诗歌、歌词等文学作品,展示它......
  • 一种高效解析固定分隔符的字符串的sql方法
    sql程序员经常会遇到,需要将固定分隔符字符串解析的情况。例如这样:变成这样:  只有几行还好办,可以从左边循环截取,但是如果是成千上万行,无疑这种是及其低效的。现在我提供一种利用数字辅助表的方法来实现这种效果。所谓数字辅助表就是连续的数字1,2,3......  当然数字辅助......
  • 你还能赶上Chatgpt的末班车吗?
    近期各个ChatGPT&AI群都在传一个消息:今天ChatGPT官方大面积封号,今天登录gpt千万别用亚洲节点!过了会很多人开始发自己的帐号被封了:其实这不是ChatGPT第一次对中国用户下手,早在一个月前ChatGPT就在做各种针对中国用户的限制和封禁。当然今天这种规模算是升级了,甚至我在知乎上看......
  • open-ai
    /v1/models{"object":"list","data":[{"id":"babbage","object":"model","created":1649358449,"own......
  • 创建SpringSecurity项目
    一.搭建SpringBoot开发环境我们的SpringSecurity系列教程会基于SpringBoot环境,并且以案例迭代的方式进行开发,所以为了方便后续案例的编写,我们先提前搭建一个SpringBoot环境的Web项目。1.创建SpringBoot项目如各位对SpringBoot基础不熟悉,请参考本人的SpringBoot系列教程:blo......
  • 结构体
    结构体概念:可以自定义,用户存储不同数据类型。创建/声明结构体: 创建结构体方法有三种:1.struct结构体名变量名2.struct结构体名x1(变量名)={成员1,成员2,}(如果是char型,需要双引号括住)3.定义时顺便创建变量名,在花括号后边。struct结构体名{成员.1.......成员.2.............
  • 为什么 APISIX Ingress 是比 Emissary-ingress 更好的选择?
    本文从可扩展性和服务发现集成等多个维度对比了APISIXIngress与Emissary-ingress的性能。作者:容鑫,API7.ai云原生技术工程师,ApacheAPISIXCommitter。原文链接背景KubernetesIngress是一种API对象,用于定义集群外部流量如何路由到集群内部服务的规则。IngressCont......
  • 实验一-密码引擎-3-加密API研究
    一、任务详情密码引擎API的主要标准和规范包括:1微软的CryptoAPI2RAS公司的PKCS#11标准3中国商用密码标准:GMT0016-2012智能密码钥匙密码应用接口规范,GMT0018-2012密码设备应用接口规范等研究以上API接口,总结他们的异同,并以龙脉GM3000Key为例,写出调用不同接口的代码,提交......