hadoop

查看启动状态

jps

重启hadoop

sbin/stop-all.sh
sbin/start-all.sh
sbin/start-dfs.sh

查看hadoop版本

./bin/hadoop version

HDFS

查看hdfs的文件夹

cd /usr/local/hadoop
./bin/hdfs dfs -ls /

hive

查看创建的数据库

show databases;

查看当前数据库的所有表名

show tables;

Spark

启动pyspark

/usr/local/sprak/bin/pyspark

标签：bin,sbin,查看,hadoop,命令,sh,Spark
From： https://www.cnblogs.com/Gimm/p/18212571

利用subprocess.run执行shell命令，并将结果日志写入文件
将标准输出和标准错误输出都写入文件importsubprocessdefexecute_shell_command(command,output_file):withopen(output_file,'w')asfile:result=subprocess.run(command,stdout=file,stderr=subprocess.STDOUT,shell=True)print("Commandre......
ctfshow-web入门-命令执行（web37-web40）
目录1、web37 2、web383、web394、web40命令执行，需要严格的过滤 1、web37 使用php伪协议：?c=php://inputpost写入我们希望执行的php代码：<?phpsystem('tacf*');?>拿到flag：ctfshow{5c555d9a-6f55-411a-a25f-d38b70240639}再看wp它用到是data://......
Curl 命令参数解析
Curl参数：详细解析与示例curl是一个功能强大的命令行工具，用于传输数据。它支持多种协议，如HTTP、HTTPS、FTP、SFTP等。curl提供了丰富的参数，以满足各种传输需求。本文将详细解析curl参数，并通过代码示例说明其用法。1.参数概述curl参数分为两大类：通用参数和协议相关......
测试开发之cli命令
cli有广义也有狭义，对于hba卡和raid卡来说，就是用户在服务器上敲，获取卡上信息、设置相关属性的命令。而uname-r这种都属于linux命令，与卡无关。每个卡要搭配自己的cli，是产品代码的一部分。也就是说用户用不同公司的卡，想获取信息敲的命令可......
深入探索Spark MLlib：大数据时代的机器学习利器
随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。ApacheSpark作为大数据处理的利器，其内置的机器学习库MLlib（MachineLearningLibrary）提供了一套高效、易用的工具，用于处理和分析海量数据。本文将深入探讨SparkMLlib，介绍其核心功能和应用场景，并通过实例展示如何......
微服务--MQ安装（+Docker命令应用）
一、下载镜像方法1：在线拉取 dockerrunrabbitmq:3-management 方法2：从本地加载（即压缩包加载）将镜像包-tar包上传到虚拟机，使用命令加载镜像即可dockerload-imq.tar 补充方法2思路：dockerimages//查看镜像//将tar包上传到tmp目录cd/tmp///进入tmp目录......
Spark读取http数据写入hive
http请求hutool,json转换数据写入到rdd，之后转换为sparksqlSparkSessionspark=SparkSession.builder().master("yarn").appName("json2hive").config("hive.exec.dynamic.partition","true").config("......
tkinter的button命令为什么要加lambda标签
续上一篇，添加一个button打印功能，很意外，怎么我明明没点击button啊，怎么command的代码就运行了呢，这个问题的答案在猿友网解决了，真是匪夷所思，偏要加上lambda:才屏蔽初始化运行。https://www.w3cschool.cn/article/32403450.html其此是打印问题，试了又试，发现通过win32print获取到handl......
Linux -- 命令执行顺序的控制
提示：制作不易，可以点个收藏和关注哦。前言提示：这里可以添加本文要记录的大概内容：通常情况下，我们每次只能在终端输入一条命令，按下回车执行，执行完成后，我们再输入第二条命令，然后再按回车执行……,当有时候我们会一次输入多条命令，这个时候的执行过程又是如何的呢？下面我......
linux命令
rpm-ivh：rpm-ivh是在Linux系统中用于安装RPM（RedHatPackageManager）软件包的命令。以下是对每个参数的解释：--i：表示安装（install）。--v：表示显示详细的安装过程信息（verbose）。--h：以水平进度条的形式显示安装进度（hash）。通过执行这个命令，可以将指定的RPM软件包安装到......

【hadoop/Spark】相关命令

hadoop

HDFS

hive

Spark

相关文章

赞助商

阅读排行