首页 > 其他分享 >hadoop和hbase节点添加和单独重启

hadoop和hbase节点添加和单独重启

时间:2023-09-21 10:06:35浏览次数:35  
标签:bin daemon hadoop sh hbase 节点


有时候hadoop或hbase集群运行时间久了后,某些节点就会失效,这个时候如果不想重启整个集群(这种情况在很多情况下已经不被允许),这个时候可以单独重启失效节点。


HADOOP:

hadoop中重启单节点的方法和增加新节点其实是一样的。



1、我们先看下如何了解hadoop机器的情况,可以用命令:



hadoop dfsadmin -report 查看集群容量情况,很多情况下失效节点也可以从这里了解到(比如失效节点容量显示为0)。



也可以用web查看: http://ip:54030/jobtracker.jsp



2、重启或添加节点:



$bin/hadoop-daemon.sh start datanode 



   $bin/hadoop-daemon.sh start tasktracker



当然,添加的话需要copy配置文件到新节点。重启的话先   $bin/hadoop-daemon.sh stop datanode/  tasktracker


3、重新balancer(可选)

$bin/hadoop balancer


其实集群自己会balancer,当然也可以像上面那样手动balancer,不然在繁忙时段最好避免。




HBASE:


很多时候,节点失效是因为pid文件被删除引起(默认pid文件中/tmp下),所以最好把很多默认是/tmp的目录修改成自己的目录,比如hbase的pid配置可以在hbase-env.sh中,修改export HBASE_PID_DIR=/var/hadoop/pids就可以。hbase节点失效常对应60020端口异常。


进入hbase shell


1、查看节点情况:


status


当然,也可以通过web页面查看(如果服务开放的话):


http://serviceIp:60010/master.jsp


http://serviceIp:60030/regionserver.jsp

http://serviceIp:60010/zk.jsp


2、重启


$bin/hbase-daemon.sh stop regionserver


$bin/hbase-daemon.sh start regionserver


也可以添加新的master(默认只有一个master),$bin/hbase-daemon.sh start master

标签:bin,daemon,hadoop,sh,hbase,节点
From: https://blog.51cto.com/u_16255870/7548620

相关文章

  • 生成HFile以及入库到HBase
    一、MR生成HFile文件packageinsert.tools.hfile;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.KeyValue;importorg.a......
  • HADOOP集群、hive、derby安装部署详细说明
    一、创建用户groupaddanalyzer-fuseraddanalyzer-d/opt/analyzer-ganalyzer-psearchanalyzer二、处理/etc/hosts文件三、设置免密码登录(多台机器的id_rsa.pub,相互拷贝)生成公钥、密钥:ssh-keygen-trsa复制本地id_rsa.pub到远程服务器,使远程服务器登录本地可以免密码scp s......
  • hbase 备份及恢复
    1,hbase自带的备份恢复工具hbaseorg.apache.hadoop.hbase.mapreduce.Export'table1'/home/fred/table1hbaseorg.apache.hadoop.hbase.mapreduce.Import'table1'/home/fred/table1导入时必须先创建表结构。http://www.iteye.com/topic/1114721Java代码......
  • hbase-0.90.4的主要更新
    apache邮件列表中提到0.90.4己经准备release了,看了一下所有的patch,这个版本在性能改进上基本没有改进,主要是对很多异常下bug的修复,其中比较重要的bug有以下几个:1https://issues.apache.org/jira/browse/HBASE-3820----Splitlog()executedwhilethenamenodewasinsafemodem......
  • Hbase MapReduce例子
    HbaseMapreduce例子http://hadoop.apache.org/hbase/docs/current/api/org/apache/hadoop/hbase/mapreduce/package-summary.html#package_descriptionhttp://wiki.apache.org/hadoop/Hbase/MapReduce (Deprecated) 需要重启Hadoop的方式所有机器都有修改配置1:修改$HADOOP_HOME/......
  • hadoop hdfs的一些用法
    Example3-1.DisplayingfilesfromaHadoopfilesystemonstandardoutputusingaURLStreamHandlerJava代码//ReadingDatafromaHadoopURLpublicclassURLCat{ static{ URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory()); } p......
  • HBase 之HFileOutputFormat
     hadoopmr输出需要导入hbase的话最好先输出成HFile格式,再导入到HBase,因为HFile是HBase的内部存储格式,所以导入效率很高,下面是一个示例1.创建HBase表t11.hbase(main):157:0*create't1','f1'2.0row(s)in1.3280seconds3.4.hbase(main):158:0>5.ROW......
  • hadoop,hbase,hive安装全记录
    操作系统:CentOS5.5Hadoop:hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master,namenode的IP:10.10.102.15datanode主机名:slave1,datanode的IP:10.10.106.8datanode主机名:slave2,datanode的IP:10.10.106.9一、hadoop安装1、建立用户useraddhadooppasswdhadoop2.安装JDK*先查......
  • 把xls的数据导到Hbase
    这属于Hbase的一个例子,不过Hbase的例子有点问题,需要更改下。其实我感觉Hbase属于一个BigTable,感觉和xls真的很像,闲话不说了,上code才是王道。Java代码importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;i......
  • hadoop权威指南
    Hadoop权威指南第1部分Hadoop基础知识第2章关于MapReduceMapReduce分为两个阶段,map阶段和reduce阶段。map函数是数据准备阶段,它会准备好一个键值对的数据集合,然后交由reduce函数来处理,比如进行排序、分组、聚合等操作。MapReduce处理示例,每年全球记录的最高记录是多少?Map阶......