首页 > 其他分享 >寒假学习日志2-spark的安装和配置

寒假学习日志2-spark的安装和配置

时间:2024-01-29 09:58:19浏览次数:20  
标签:配置 寒假 spark 安装 日志 下载

1.在官网下载spark (需要在hadoop安装配置完成后进行)

下载的是2.4.0版本的

2.将压缩文件放入到linux系统中进行解压

 

3.安装后,还需要修改Spark的配置文件spark-env.sh

 

4.验证spark的安装

 

 安装成功

5.使用spark-shell

 

标签:配置,寒假,spark,安装,日志,下载
From: https://www.cnblogs.com/sxwgzx23/p/17993852

相关文章

  • 【完整版教程】查看APP崩溃日志
    摘要本文介绍了在Android和iOS双端设备上查看APP崩溃日志的方法,包括使用adb命令获取Android崩溃日志以及通过克魔助手工具查看iOS设备的崩溃日志。同时提供了操作步骤和相关代码案例演示。引言在移动应用开发过程中,经常需要查看APP的崩溃日志以便进行调试和分析。针对Android和......
  • 2024.1.28寒假每日总结19
    算法题:365.水壶问题-力扣(LeetCode)今天,我主要尝试了对之前的几个python脚本进行整合,使得可以输入图片路径,题目,总分进行评价参考:百度文心一言的回复 #-*-coding:utf-8-*-importosimportsysimporterniebotfromPILimportImagefrompaddleocrimportPaddleO......
  • 1.28寒假每日总结19
    今天,我主要尝试了对之前的几个python脚本进行整合,使得可以输入图片路径,题目,总分进行评价 参考:百度文心一言的回复 #-*-coding:utf-8-*-importosimportsysimporterniebotfromPILimportImagefrompaddleocrimportPaddleOCR,draw_ocrdefbaidu_paddleoc......
  • xndxfz寒假集训游记(犇犇)第二周
    前言1.关于我与OI我并不是小学whk大佬过于fw(废物)所以信心很少听说xndxfz有信奥所以感觉xf很好被洗脑(bushi)数竞选拔睡得真好信竞(not电竞)几乎没有选拔学了一年感觉难度爆表其实是智商低到无脑本来whk不好拉入竞赛班莫名其妙2.写在2024第一个月的结尾1月就这......
  • 寒假生活指导20
    frompyspark.sqlimportSparkSessionfrompyspark.ml.recommendationimportALS#创建SparkSessionspark=SparkSession.builder.appName('RecommendationSystem').getOrCreate()#假设我们有用户对产品的评分数据,并且已经加载为一个DataFramedata=[(0,1,5.0......
  • 寒假训练2024/1/29
    2024/1/28ABC337(A-E)A-Scoreboard思路:水题,统计加和,最后比较。#include<bits/stdc++.h>usingnamespacestd;#defineintlonglongvoidsolve(){ intn; cin>>n; intA=0,B=0,a,b; for(inti=0;i<n;i++){ cin>>a>>......
  • 寒假生活(18)
    今天完善小程序代码,今天写剩下的修改密码和个人信息功能。修改密码没什么特殊,用户输入原密码,新密码和二次确认,我们把忘记密码放在了登录界面,防止其他人员在小程序内部修改密码。个人信息部分包含了用户头像、昵称、性别、手机号和地址等信息,用户可以自行编辑手机号和地址,并保存到......
  • 寒假训练2024/1/27
    2024/1/27uva120题意:给一个序列,给定一个序列的反转方式,要求用最少的次数把序列反转成升序思路:看到定级是个橙题,我以为就是简单的看头尾反转,因为样例给的很简单,按照猜测乱写了一个,WA了。看了一眼udebug,发现不是简单的头和尾是所需要的数字。我们需要先从大的数字开始,这是因......
  • 第一周寒假acm训练总结
    本周训练让我切身体会了算法的魅力和学习需求,还有很多的算法需要我去掌握。这是其中我印象较为深刻的一道题P1048[NOIP2005普及组]采药我的理解是,将草药一个一个放入背包中,如果放入时超过了限重,则最佳方案为不放入,即dp[i-1][j]=dp[i][j];反之则判断放入的方案和不放入的方案......
  • 寒假生活(16)
    今天继续面向对象编程的进程,因为这是学会利用python的基础,所以多学一些。构造函数和析构函数构造函数(Constructor)是在创建一个类的实例时自动调用的方法。在Python中,构造函数的名称固定为__init__,它用于初始化对象的属性。例如,下面的代码定义了一个具有两个属性的类,并在构造......