遇到问题---hadoop----local-dirs are bad

时间：2023-08-08 11:33:00浏览次数：43

标签：dirs ---- hadoop --- bad 集群 disk local

遇到的问题

我们的hadoop集群在运作过程中部分节点报错local-dirs are bad

遇到问题---hadoop----local-dirs are bad_hadoop集群

原因

hadoop集群硬盘目录默认的使用阈值是90%
空间不足，目录使用率超过阈值了90%了

遇到问题---hadoop----local-dirs are bad_hadoop集群_02

解决方式

调整yarn的参数
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
把比例调高到98%

但是这种方式治标不治本，最好还是清理hadoop集群的空间，腾出硬盘空间。

https://discuss.pivotal.io/hc/en-us/articles/230700528-YARN-Alerts-NodeManager-is-unhealthy-local-dirs-are-bad

标签：dirs,----,hadoop,---,bad,集群,disk,local
From： https://blog.51cto.com/u_16218512/7006327

hadoop案例(一)--hive--2T数据动态创建分区
我们在使用hadoop集群过程中，发现网上很少有具体的数据使用分析案例，也就是说我们不知道多少个节点处理多少大小的数据量耗费多少时间是合理的哪些是需要优化的。为了增加这方面的相关经验，我们会记录一下实际的使用案例。以供大家参考。配置如图:耗费时间如图：执行语句sethive.exe......
遇到的情况---hadoop集群-- NodeManager启动不起来--java.io.FileNotFoundException
情况hadoop集群nodemanager启动不起来，查看输出的日志报错java.io.FileNotFoundException:/hadoop/dfs1/log/hadoop-yarn/hadoop-cmf-yarn-NODEMANAGER-host251.log.out(Read-onlyfilesystem)管理后台点击查看NodeManager的日志文件，角色日志文件时报错访问不到。原因目录损......
数据仓库(十一)---hive使用小技巧积累(持续更新)
我们在本章节会持续更新关于hive使用过程中的一些实用的小技巧HIVE查询显示列名及行转列显示hiveshell;sethive.cli.print.header=true;//打印列名sethive.cli.print.row.to.vertical=true;//开启行转列功能,前提必须开启打印列名功能sethive.cli.print.row.to.ve......
数据仓库(十二)---分布式SQL查询引擎---teradata版本的presto安装和使用
我们在使用presto过程中，发现facebook原版和京东原版都是解压可用，teradata版本的安装要麻烦一些。下面对teradata版本的安装过程进行记录。首要条件1、需要python2.6或者python2.7环境之所以需要python环境是因为teradata版本的presto把安装封装成了集群式安装。根据配置在安装过......
实时入库不用愁，HStore帮分忧
海量数据时代，如何实现数据实时入库与实时查询？GaussDB(DWS)HStore表为数据高效存储与查询提供了哪些助力？本期《数仓实时入库利器—HStore表原理与应用实践详解》的主题直播中，我们邀请到华为云EIDTSE技术布道师马俊松，针对GaussDB(DWS)HStore表与开发者和伙伴朋友们展开交流互动。......
ubuntu安装docker和docker-compose
ubuntu系统docker和安装，并安装docker-compose安装dockeraptinstalldocker.io设置docker为开机自启systemctlenabledocker安装docker-composeaptinstalldocker-compose修改配置,设置国内镜像仓库和本地镜像仓库vi/etc/docker/daemon.json{"registry-......
构建虚拟与现实的桥梁：数字孪生技术在建筑领域的应用
在数字化时代，科技的飞速发展正在深刻影响着建筑行业。数字孪生技术作为数字化转型的重要组成部分，正在为建筑环境带来革命性的变革。数字孪生技术通过将现实世界与虚拟模型实时同步，为建筑规划、施工、运营和维护等各个环节提供了更智能、高效的解决方案。数字孪生技术在建筑设......
2023-8-8新版本数据录入指南
人工费对应明细列入材料费对应明细列入机械费对应明细列入专业分包费用对应明细列入措施费对应明细列入间接费对应明细列入（注意其他费用不用录入这里）其他费用录入规费税金录入税金（不用录取税率）将税额填入基本信息如果含税金额差异不大（小数点后的区别）就完成了......
Java 09 函数式接口
消费者consumerimportorg.junit.Test;importjava.util.function.Consumer;publicclassconsumer{publicvoidtest02(Consumer<String>consumer){consumer.accept("abc");}@Testpublicvoidf1(){test02(s......
k8s 准入控制器介绍
准入控制概述准入控制器是一段代码，它在对象持久化之前、请求经过身份验证和授权之后拦截对KubernetesAPI服务器的请求。准入控制器可以执行验证（Validating）、变异（Mutating）或两者兼而有之。变更（mutating）控制器可以根据被其接受的请求更改相关对象；验证（validating）控制器则不行。......

遇到问题---hadoop----local-dirs are bad

遇到的问题

原因

解决方式

相关文章

赞助商

阅读排行