首页 > 其他分享 >flink

flink

时间:2023-04-17 21:56:39浏览次数:27  
标签:flink Flink taskmanager 内存 JVM memory

指定TM内存模型的方式

整个TM内存模型可以通过三种方式来指定

    通过指定 taskmanager.memory.task.heap.size 和 taskmanager.memory.managed.size来确定
    通过指定 taskmanager.memory.flink.size 也就是 Total Flink Memory大小
    通过指定 * taskmanager.memory.process.size* 也就是 Total Process Memory大小

 

在生产环境中,如果作业并行度非常大(例如大于 500 甚至 1000),则需要调大 taskmanager.network.memory.floating-buffers-per-gate(例如从 8 调整到 1000)和 taskmanager.network.memory.buffers-per-channel(例如从 2 调整到 500),避免 Network Buffer 不足导致作业报错。

 

 JVM 运行时开销(JVM Overhead)

    除了上述描述的内存区域外,JVM 自己还有一小块 “自留地”,用来存放线程栈、编译的代码缓存、JNI 调用的库所分配的内存等等,Flink 配置参数是 taskmanager.memory.jvm-overhead.fraction,默认是 JVM 总内存的 10%。
    对于旧版本(1.9 及之前)的 Flink,RocksDB 通过 malloc 分配的内存也属于 Overhead 部分,而新版 Flink 把这部分归类到托管 内存(Managed),但由于 FLINK-15532 Enable strict capacity limit for memory usage for RocksDB [9] 问题仍未解决,RocksDB 仍然会少量超用一部分内存。
    因此在生产环境下,如果 RocksDB 频繁造成内存超用,除了调大 Managed 托管内存外,也可以考虑调大 Overhead 区空间,以留出更多的安全余量。
原文链接:https://blog.csdn.net/Direction_Wind/article/details/123178756

 

flink内存管理,设置思路,oom问题,一文全

https://blog.csdn.net/Direction_Wind/article/details/123178756

flink network buffer

https://blog.csdn.net/jiuweiC/article/details/119731455

Flink之Flink中内存模型全详解

https://blog.csdn.net/luoyepiaoxue2014/article/details/128080283

标签:flink,Flink,taskmanager,内存,JVM,memory
From: https://www.cnblogs.com/tonggc1668/p/17327649.html

相关文章

  • Flink零基础学习笔记(一):基础概念
    一、ApacheFlink的定义、架构和原理ApacheFlink是一个分布式大数据处理引擎,可以对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据以内存速度进行快速计算。接下来我们介绍一下这些关键词的意义。处理无界和有界数据任何数据都......
  • 记一次Flink遇到性能瓶颈
    前言这周的主要时间花在Flink上面,做了一个简单的从文本文件中读取数据,然后存入数据库的例子,能够正常的实现功能,但是遇到个问题,我有四台机器,自己搭建了一个standalone的集群,不论我把并行度设置多少,跑起来的耗时都非常接近,实在是百思不得其解。机器多似乎并不能帮助它。把过程记录......
  • 分布式计算技术(下):Impala、Apache Flink、星环Slipstream
    实时计算的发展历史只有十几年,它与基于数据库的计算模型有本质区别,实时计算是固定的计算任务加上流动的数据,而数据库大多是固定的数据和流动的计算任务,因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同,面向实时计算的数据架构也就发展起来。本篇我......
  • chatpgt-flinkcdc从mysql到kafka再到mysql
    flinkcdcmysql到kafkaimportorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;importorg.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;importorg.apach......
  • 基于TiDB+Flink实现的滑动窗口实时累计指标算法
    作者:Jellybean前言在不少的支付分析场景里,大部分累计值指标可以通过T+n的方式计算得到。随着行业大环境由增量市场转为存量市场,产品的运营要求更加精细化、更快速反应,这对各项数据指标的实时性要求已经越来越高。产品如果能实时把握应用的整体运行情况或特征用户的状态,就可......
  • Flink 生成ParquetFile
    前言这周主要是学习使用Flink,其中有一部分学习的内容就是生成parquet。Flink自身提供的文档写了个大概,但是真要自己动手去生成pqrquet文件,发现还是有些小坑,本文就是记录这些坑。开始官方文档总是最好的开始的地方,下面是官方文档上面的内容https://nightlies.apache.org/......
  • 详解 Flink Catalog 在 ChunJun 中的实践之路
    我们知道Flink有Table(表)、View(视图)、Function(函数/算子)、Database(数据库)的概念,相对于这些耳熟能详的概念,Flink里还有一个Catalog(目录)的概念。本文将为大家带来FlinkCatalog的介绍以及FlinkCatalog在ChunJun中的实践之路。FlinkCatalog简介Catalog提供元数据,如数据......
  • 详解 Flink Catalog 在 ChunJun 中的实践之路
    我们知道Flink有Table(表)、View(视图)、Function(函数/算子)、Database(数据库)的概念,相对于这些耳熟能详的概念,Flink里还有一个Catalog(目录)的概念。本文将为大家带来FlinkCatalog的介绍以及FlinkCatalog在ChunJun中的实践之路。FlinkCatalog简介Catalog提供元数据,如......
  • flink中配置kafka
    Flink提供了 ApacheKafka 连接器,用于从 Kafka topic中读取或者向其中写入数据,可提供精确一次的处理语义。一:简单使用1.pom<!--FlinkConnectorKAFKA--><dependency><groupId>org.apache.flink</groupId><artifactId>f......
  • Flink与mysql结合
    在流式计算中,不是有时候需要和mysql进行结合做一些处理。 1.调用其他方法进行  2.更快的处理使用guava本地缓存对msql的操作是new对象过来privatefinalstaticRuleServiceruleService=newRuleService();finalstaticCache<Long,Ma......