首页 > 其他分享 >hdfs

hdfs

时间:2022-10-31 01:22:39浏览次数:38  
标签:hdfs kubectl default zookeeper hadoop delete

1.hdfs报大量gc超时

namenode日志出现大量GC超时相关错误,且30914端口未监听:

 GC pool 'ParNew' had collection(s): count=1 time=0ms GC pool 'ConcurrentMarkSweep' had collection(s): count=1 time=17577ms

解决办法:

修改namenode启动参数:-Xmx4G改成-Xmx8G,解决30914端口未监听的问题

2.hdfs-namenode启动报错zkfc与zookeeper断开连接

hdfs报错图片

该问题可能与dns解析有关系 ,可尝试重启各个服务器对应的localnodedns ,然后删除zookeeper中与hdfs相关的znode,最后重启hdfs就可以了

重启nodelocaldns

kubectl -n kube-system  rollout restart ds nodelocaldns && watch -n1 "kubectl -n kube-system get pod | grep nodelocal"

清理与hdfs相关的znode

kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha/hdfs-k8s/ActiveStandbyElectorLock
kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha/hdfs-k8s/ActiveBreadCrumb
kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha/hdfs-k8s
kubectl -n component exec -it zookeeper-default-0 -- zkCli.sh delete /hadoop-ha

重启hdfs服务

kubectl delete -f /etc/kubernetes/components/hadoop/default/
kubectl apply -f /etc/kubernetes/components/hadoop/default/

标签:hdfs,kubectl,default,zookeeper,hadoop,delete
From: https://www.cnblogs.com/zgjj/p/16842909.html

相关文章

  • Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
    (HDFS的数据数据复制、归档机制和安全模式)1.不同集群之间的数据复制在我们实际工作当中,极有可能会遇到将测试集群的数据拷贝到生产环境集群,或者将生产环境集群的数据拷......
  • HDFS的 Shell操作-API操作
    HDFS的Shell操作(重点)2.1基本语法hadoopfs具体命令 OR hdfsdfs具体命令两个是完全相同的。2.2命令大全[[email protected]]$bin/hadoopfs[......
  • HDFS概述
    HDFS概述1.1HDFS产出背景及定义1)HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需......
  • 学习心得 HDFS读数据过程
    HDFS读数据过程   第一步:打开文件。用Fliesystem先申明一个对象,然后生成一个子类DistributedFileSystem,这个时候生成FS的实例对象,其实是分布式文件系统HDFS的实例对象......
  • 分布式文件系统HDFS
      ......
  • Hadoop - hdfs源码体系结构
    ......
  • HDFS基础学习
    HDFS简介HDFS即HadoopDistributedFileSystem,是一个分布式文件系统,用于存储海量数据。一个HDFS集群由一个NameNode和多个DataNode组成。HDFS特性主从架构分块存储......
  • hdfs hadoop
      $HADOOP_HOMEecho $HADOOP_HOME 配置文件在这个目录:$HADOOP_HOME/etc/hadoop 1、文件coer-site.xml  2、文件hdfs-site.xml(重点核心文件)   ......
  • HDFS相关问题处理
    机房搬迁后datanode启动失败,报错如下:2022-10-2110:28:40,551INFOorg.apache.hadoop.hdfs.server.common.Storage:Lockon/HDATA/1/dfs/local/in_use.lockacquired......
  • hdfs测试(文件上传,内容读取,文件删除)
    工具:idea2021配置:hadoop2.6.0项目:Maven项目 首先编辑pom.xml(Maven项目的核心文件)文件,添加如下内容,导入依赖(所需jar包)(注意hadoop版本号)<?xmlversion="1.0"encod......