首页 > 其他分享 >云主机测试Flink磁盘满问题解决

云主机测试Flink磁盘满问题解决

时间:2023-09-13 23:32:10浏览次数:30  
标签:tmp multiple 主机 directories Flink directory 磁盘 目录

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录


解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录


# Override the directories for temporary files. If not specified, the

# system-specific Java temporary directory (java.io.tmpdir property) is taken.

#

# For framework setups on Yarn, Flink will automatically pick up the

# containers' temp directories without any need for configuration.

#

# Add a delimited list for multiple directories, using the system directory

# delimiter (colon ':' on unix) or a comma, e.g.:

#     /data1/tmp:/data2/tmp:/data3/tmp

#

# Note: Each directory entry is read from and written to by a different I/O

# thread. You can include the same directory multiple times in order to create

# multiple I/O threads against that directory. This is for example relevant for

# high-throughput RAIDs.

#

io.tmp.dirs: /dev/shm/tmp


标签:tmp,multiple,主机,directories,Flink,directory,磁盘,目录
From: https://blog.51cto.com/u_14256460/7465668

相关文章

  • 网络规划设计师真题解析--独立磁盘冗余阵列RAID(一)
    RAID1中数据冗余是通过什么技术实现的()。A.OXR运算    B.海明码校验    C.P+Q双校验    D.镜像答案:D解析:RAID1,磁盘镜像,可并行读数据,由于在不同的两块磁盘写入相同数据,写入数据比RAID0慢一些。安全性最好,但空间利用率最低。实现RAID1至少需要2块硬盘。《网络规划设......
  • 19C RAC更换OCR磁盘组后,ASM密码认证导致集群CRSD服务无法启动
    前言一套19.19的RAC,OCR所在的ASM磁盘组从+GRID更换为+DG_GRID,然后强制删除了原来的+GRID磁盘组,最终导致该集群无法启动。 过程1、启动过程中,CSS服务正常启动,但CRS服务无法启动。此时,节点2的alertasm2.log日志中提示如下错误。2023-06-23T17:44:33.667188+08:00Errorsi......
  • Ansible学习笔记04:ansible命令选项 主机组参数
    Ansible命令选项在之前的笔记中,使用了这样的一条命令ansibletest-mping,使用ping模块对主机组test中的受控机进行测试。ansibile使用ssh在这条命令中没有指定ssh的端口密码用户名,因为在之前配置中,做了ssh互信,端口与用户名写在了ansible配置文件中。如果需要使用其他账号、密码......
  • linux查看磁盘挂载的三种方法
    linux查看磁盘挂载的三种方法第一种方法:使用df命令,这个命令比较常用,大家都很熟悉。问题是这种方法,有时候挂载点和挂载的卷不在同一行,使用脚本分析需要一点技巧的。例如:orientalson:/home#dfFilesystem          1K-blocks     UsedAvailableUse%Mountedon/d......
  • 磁盘管理和分区
    DiskPart是Windows中的一个命令行实用程序,用于管理磁盘驱动器、分区和卷。diskpart:启动DiskPart命令行工具的命令。listdisk:列出计算机上所有可用的磁盘驱动器。selectdiskn:选择要操作的磁盘驱动器,其中"n"应该替换为您要选择的磁盘的编号。attributesdisk......
  • 【Flink系列十八】HDFS_DELEGATION_TOKEN过期的问题解决汇总
    问题类别Spark框架自身的问题Hadoop全家桶的问题开发者通过Hive,HDFS,HBASE访问HDFS的问题排查已知Hadoop-common-2.6.0的UGI存在bug,代码为HADOOP-10786,该问题在CDH发行版中已经修复,但Apache版本存在问题。已知HDFS也存在一个HDFS_DELEGATION_TOKEN过期的bug,代码为HDFS-9......
  • aws磁盘扩容和aliyun磁盘扩容
    1.在aws网站控制面板上找到需要扩充的实例,打开实例的卷并扩充到指定值一般在线升级磁盘需要一定的时间,等网站上显示ok之后就可以执行第二部2.生效后到服务器上执行命令命令1:[root@ip-xxxx-xx-xx-xx/]#lsblknvme0n1259:0080G0disk└─nvme0n1p......
  • Flink CDC 原理、实践和优化
    本文转载自:https://zhuanlan.zhihu.com/p/430182083 CDC变更数据捕获技术可以将源数据库的增量变动记录,同步到一个或多个数据目的。本文基于腾讯云Oceanus提供的FlinkCDC引擎,着重介绍Flink在变更数据捕获技术中的应用。一、CDC是什么?CDC是变更数据捕获(ChangeData......
  • vm - centos7 - 解决centos-home 比 centos-root 磁盘多的问题,将home的磁盘划分到root
    `此刻的磁盘信息如下[root@localhost/]#df-h文件系统容量已用可用已用%挂载点devtmpfs475M0475M0%/devtmpfs487M0487M0%/dev/shmtmpfs487M7.7M479M2......
  • Ansible学习笔记03:主机组
    主机组在Ansible中,主机组(HostGroup)是一个概念,用于将具有相似特性或需求的多个主机归为一组,以便进行集中管理和操作。例如,你可能希望将所有的Web服务器归为一个主机组,以便可以统一应用配置和管理。在Ansible中,可以通过在Inventory文件中指定主机组,来方便地管理和组织主机。Inventor......