首页 > 其他分享 >hdfs

hdfs

时间:2022-10-01 11:55:48浏览次数:44  
标签:hdfs kubectl zookeeper hadoop ha delete

1.hdfs报大量gc超时

namenode日志出现大量GC超时相关错误,且30914端口未监听:

 GC pool 'ParNew' had collection(s): count=1 time=0ms GC pool 'ConcurrentMarkSweep' had collection(s): count=1 time=17577ms

解决办法:

修改namenode启动参数:-Xmx4G改成-Xmx8G,解决30914端口未监听的问题

2.hdfs-namenode启动报错zkfc与zookeeper断开连接

hdfs报错图片

该问题可能与dns解析有关系 ,可尝试重启各个服务器对应的localnodedns ,然后删除zookeeper中与hdfs相关的znode,最后重启hdfs就可以了

重启nodelocaldns

kubectl -n kube-system  rollout restart ds nodelocaldns && watch -n1 "kubectl -n kube-system get pod | grep nodelocal"

清理与hdfs相关的znode

kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha/hdfs-k8s/ActiveStandbyElectorLock
kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha/hdfs-k8s/ActiveBreadCrumb
kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha/hdfs-k8s
kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha

重启hdfs服务

kubectl delete -f /etc/kubernetes/hdfs/
kubectl apply -f /etc/kubernetes/hdfs/

标签:hdfs,kubectl,zookeeper,hadoop,ha,delete
From: https://www.cnblogs.com/zgjj/p/16746997.html

相关文章

  • HDFS架构设计理念以及优缺点
    Hadoop是一个由Apache基金会开发的分布式系统基础架构。可以快速实现大规模数据的分布式存储开发,以及分布式程序的快速开发,利用集群的威力进行大数据的高速存储和运算。其......
  • HDFS架构设计理念以及优缺点
    Hadoop是一个由Apache基金会开发的分布式系统基础架构。可以快速实现大规模数据的分布式存储开发,以及分布式程序的快速开发,利用集群的威力进行大数据的高速存储和运算。......
  • Flink读取Kafka数据下沉到HDFS
    1:采用BucketingSink的方式publicclassBucketingSinkDemo{publicstaticvoidmain(String[]args)throwsException{longrolloverInterval=2......
  • HDFS基本架构与副本备份
    HDFS官方架构图,清晰明了主角色,要注意的是NameNode因为它的特性使得它是HDFS的唯一访问入口主角色辅助角色,要注意的是SecondaryNameNode不是NameNode的备份,而是它的"......
  • BigData——HDFS操作
    HDFSshell操作配置hadoop环境变量vi/etc/profileexportHADOOP_HOME=/usr/local/soft/hadoop-2.6.0exportPATH=.:\$JAVA_HOME/bin:\$HADOOP_HOME/bin:$PATH然后执......
  • 我眼中的大数据(二)——HDFS
    Hadoop的第一个产品是HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop分布式文件系统H......
  • HDFS基础命令
    列出文件目录hdfsdfs-ls/user/hive/warehouse列出全部目录与文件hdfsdfs-ls-R/user/hive/warehouse查看目录文件大小hdfsdfs-du-s-h/user/hive/wa......
  • HDFS 伪分布式环境搭建
    HDFS伪分布式环境搭建作者:Grey原文地址:博客园:HDFS伪分布式环境搭建CSDN:HDFS伪分布式环境搭建相关软件版本Hadoop2.6.5CentOS7OracleJDK1.8安装步......
  • 大数据分析常用组件、框架、架构介绍(Hadoop、Spark、Storm、Flume、Kafka、Logstash、
    首先,数据传输组件:①Kafka是用Scala编写的分布式消息处理平台。②Logstash是用JRuby编写的一种分布式日志收集框架。③Flume是用Java编写的分布式实时日志收集框架。......
  • 处理不同的数据源(端口,HDFS)
    端口//地址,端口号,级别(将数据存储在所设置的级别中,这里设置级别为spark的内存)valds:DStream[String]=ssc.socketTextStream("node1",44444,StorageLevel.MEMORY_......