一、内存布局
1、直观图
2、树状图
二、内存解释
1、Flink使用的内存
(1)JVM堆上内存
说明:堆上内存管理序列化之后的数据,如果需要处理的数据超出了内存限制,则会将部分数据存储到硬盘上。堆上内存在写磁盘或网络传输时至少需要一次内存复制。
a.框架堆上内存Framework Heap Memory
Flink框架本身所使用的内存,即TaskManager本身所占用的堆上内存,不计入Slot资源中
配置参数:taskmanager.memory.framework.heap.size=128MB,默认值128MB
b.Task堆上内存Task Heap Memory
Task执行用户代码时所使用的堆上内存
配置参数:taskmanager.memory.task.heap.size
(2)JVM堆外内存
说明:使用堆外内存,可以将大量的数据保存在堆外,极大地减小堆内存,避免GC和内存溢出的问题。堆外内存在写磁盘或网络传输时是零拷贝。堆外内存是进程间共享的。即使JVM进程奔溃也不会丢失数据。堆上内存的使用、监控、调式简单,堆外内存出现问题后的诊断则较为复杂
a.框架堆外内存Framework Off-Heap Memory
Flink框架本身所使用的内存,即TaskManager本身所占用的堆外内存,不计入Slot资源。
配置参数:taskmanager.memory.framework.off-heap.size=128MB,默认值128MB
b.Task堆外内存Task Off-heap Memory
Task执行用户代码时所使用的堆外内存
配置参数:taskmanager.memory.task.off-heap.size=0,默认值为0
c.网络缓冲内存Network Memory
网络数据交换所使用的堆外内存大小,如网络数据交换缓冲区(Network Buffter)
配置参数:taskmanager.memory.network.[64/1024/0.1](min/max/fraction),默认min=64MB,max=1GB,fraction=0.1
d.堆外托管内存Managed Memory
Flink管理的堆外内存
配置参数:taskmanager.memory.managed.[size|fraction],默认值fraction=0.4
2、JVM本身使用的内存
(1)JVM元空间
JVM元空间所使用的内存
配置参数:taskmanager.memory.jvm-metaspace=96m,默认值96MB
(2)JVM执行开销
JVM在执行时自身所需要的内容,包括线程堆栈、IO、编译缓存等所使用的内存。
配置参数:taskmanager.memory.jvm-overhead=[min/max/fraction],默认min=192MB,max=1GB,fraction=01
3、总体内存
(1)Flink使用内存
Flink使用的内存包括Flink使用的堆上、堆外内存。
配置参数:taskmanager.memory.flink.size
(2)进程使用内存
整个进程所使用的内存,包括Flink使用的内存和JVM使用的内存。
配置参数:taskmanager.memory.process.size
JVM内存控制参数:
JVM堆上内存,使用-Xmx和-Xms控制
JVM直接内存,使用-XX:MaxDirectMemory控制。对于托管内存的,使用Unsafe.allocateMemory()申请,不受该参数控制
JVM Metaspace使用-XX:MaxMetaspaceSize控制
标签:堆外,模型,Flink,taskmanager,内存,JVM,memory From: https://www.cnblogs.com/qq1035807396/p/16793599.html