首页 > 其他分享 >2024-12-4《大数据指令汇总》

2024-12-4《大数据指令汇总》

时间:2024-12-29 14:53:30浏览次数:7  
标签:bin 12 启动 -- 汇总 2024 sh spark hbase

大数据指令汇总

 

 

目录

 

使用Finalshell作为连接机器

界面

可以将命令保存在finalshell里,这样就不用每次都输入命令,最好是将Hadoop配置到环境变量里,减少命令的长度与复杂度。

image-20230621165216800

image-20230621165332206

命令汇总

针对全部会话的命令

只有zookeeper需要针对所有的机器发送命令,包括启动、关闭、状态,点击finalshell最下方那个当前会话选择为全部会话即可,前提是三台集群都用finalshell打开并连接。

Zookeeper集群启动:

  zkServer.sh start

Zookeeper集群状态:

  zkServer.sh status

Zookeeper集群关闭:

  zkServer.sh stop

针对当前会话的命令

几乎所有的命令都在node1这台机器上发送,包括Hadoop的启动与关闭等等。

Hadoop启动:

  start-all.sh

Hadoop关闭:

  stop-all.sh

hive1启动:

  nohup hive --service metastore &

hive2启动:

  nohup hive --service hiveserver2 &

hive1以及hive2的启动由于采用的不打印日期,所以需要两下回车才算启动,启动需要一定的时间,等待一两分钟后再启动beeline。

beeline启动:

  beeline

beeline登录(账户是root,密码为空):

  ! connect jdbc:hive2://node1:10000

hbase启动:

  start-hbase.sh

habse客户端启动:

  hbase shell

phoneix启动:

  sqlline.py node1:2181

conda激活spark环境:

  conda activate pyspark

spark启动:

  /export/server/spark-3.3.2-bin-hadoop3/sbin/start-all.sh

node2启动spark:

  /export/server/spark-3.3.2-bin-hadoop3/sbin/start-master.sh

spark-Yarn启动:

  /export/server/spark-3.3.2-bin-hadoop3/bin/pyspark --master yarn

spark-Yarn-shell启动:

  /export/server/spark-3.3.2-bin-hadoop3/bin/spark-shell --master yarn

spark-Yarn-submit启动:

  /export/server/spark-3.3.2-bin-hadoop3/bin/spark-submit --master yarn

spark-Master启动:

  /export/server/spark-3.3.2-bin-hadoop3/bin/pyspark --master spark://node1:7077

spark-Master-shell启动:

  /export/server/spark-3.3.2-bin-hadoop3/bin/bin/spark-shell --master spark://node1:7077

spark-Master-submit启动:

  /export/server/spark-3.3.2-bin-hadoop3/bin/spark-submit --master spark://node1:7077

spark关闭命令:

  /export/server/spark-3.3.2-bin-hadoop3/sbin/stop-all.sh

hbase关闭命令:

  stop-hbase.sh

hive关闭:

  jps(查看端口号)
  kill -9 hive对应的端口号(一共有两个)

启动顺序:

  Hadoop-->zookeeper-->hive1-->hive2-->beeline-->hbase-->phoenix-->spark

关闭顺序:

  spark-->phoenix-->hbase-->beeline-->hive2-->hive1-->zookeeper-->Hadoop

ps:

有些是可以共存的,顺序意思是指关闭某项之前要确定前一项已经关闭,打开某项之前要确定前一项已经打开,但beeline是基于hive的,它打开与否与hbase无关等等。

标签:bin,12,启动,--,汇总,2024,sh,spark,hbase
From: https://www.cnblogs.com/dmx-03/p/18638830

相关文章

  • 2024-12-05《关于pip总是下载到基础环境不下载到虚拟环境》
    关于pip总是下载到基础环境不下载到虚拟环境 今天使用pip安装包报错了,使用piplist查询了一下发现竟然默认安装在了基础环境里,我激活了conda的虚拟环境再运行pip依然是安装在了基础环境里,百度后发现解决方法为去除掉系统环境变量里的PYTHONHOME然后使用虚拟环境变量里的虚拟......
  • 2024-12-06《WebApplication配置》
    WebApplication是用于配置HTTP管道和路由的web应用程序,接来下我将一一拆解它的组成。//////ThewebapplicationusedtoconfiguretheHTTPpipeline,androutes.///[DebuggerDisplay("{DebuggerToString(),nq}")][DebuggerTypeProxy(typeof(WebApplication.WebApplicatio......
  • 2024-11-15《继续c#学习-多态性》
    多态性静态多态性函数重载  函数重载就是一个函数可以通过传入不同的参数来进行不同的运算,例如: usingSystem; namespacePolymorphismApplication { publicclassTestData { publicintAdd(inta,intb,intc) { returna+......
  • 2024-11-14《继续c#学习》
     今天进行了C#的学习,继续了解C#的相关知识: 目录继承多态性静态多态性函数重载运算符重载动态多态性运算符重载接口 继承  继承就是基类派生出去多种类,就好比狗是哺乳动物,狗是派生类,哺乳动物是基类。  下面是一个简单的继承: usingSystem;......
  • 2024-11-18《命名与预处理指令学习》
    命名空间  命名空间在基础的C#代码里就有使用,使用关键字namespace,我们可以通过调用其后面的命名空间里的类来进行操作。using关键字  通过using关键字,我们可以将上述的namespace来进行简化,可以直接使用里面的类来进行操作。嵌套命名空间  我们可以使用嵌套命名空间,可以......
  • 2024-11-20《文件的输入与输出》
    文件的输入与输出I/O类FileStream类  下面是一个FileSteam类的操作示例: usingSystem; usingSystem.IO;   namespaceFileIOApplication { classProgram { staticvoidMain(string[]args) { FileStreamF=new......
  • 2024-11-19《学习定位点与限定符》
    定位点分组构造限定符反向引用构造备用构造替换杂项构造Regex类  示例: usingSystem; usingSystem.Text.RegularExpressions;   namespaceRegExApplication { classProgram { privatestaticvoidshowMatch(stri......
  • 2024-10-29《hadoop基本命令》
    Linux基本操作指令  目录-ls、cd、mkdir、rmmv、cp、cat、tail、管道、重定向解压缩命令时间日期、内存磁盘使用率、进程查看vim编辑器的使用vim编辑器的常用命令  因为要学习Hadoop,所以虚拟机是必不可少的,我在我的电脑上安装了Unbutu22.04以及Rehl9,总体来说......
  • 2024-10-30《Android SDK》无法下载谷歌包
    关于AndroidSDK自定义目录始终无法下载谷歌包   最近重装了一下系统,然后在配置安卓SDK自定义路径的时候突然遇到了一个小问题,就是在配置好tools之后通过调用sdkmanager--list的时候突然显示warning,并且无法显示所有包。经过我一天的不懈努力,终于找到了问题的解决方法,那就......
  • 2024-10-31《c#学习》
     今天进行了C#的初步学习,主要了解了C#的相关知识:目录基础语法数据类型值类型引用类型动态(Dynamic)类型字符串类型指针类型类型转换变量常量运算符判断循环封装 基础语法  首先是在C#里的基础语法,大致与C++还有Java类似,可以说是二者的结合体,基本的H......