首页 > 系统相关 >内存资源控制器实现备忘 【ChatGPT】

内存资源控制器实现备忘 【ChatGPT】

时间:2023-12-09 22:23:56浏览次数:39  
标签:opt memcg cpuset echo 内存 cgroup 计费 ChatGPT 备忘

Memory Resource Controller(Memcg) Implementation Memo

最后更新时间:2010/2

基础内核版本:基于2.6.33-rc7-mm(34版本的候选版本)。

由于虚拟内存变得复杂(其中一个原因是memcg...),memcg的行为也变得复杂。这是一份关于memcg内部行为的文档。请注意,实现细节可能会发生变化。

  • API主题应在内存资源控制器中

0. 如何记录使用情况?

使用了2个对象。

  • page_cgroup ....每页一个对象。
    在启动时分配或内存热插拔。在内存热移除时释放。

  • swap_cgroup ...每个swp_entry一个条目。
    在swapon()时分配。在swapoff()时释放。

    page_cgroup有USED位,并且不会发生对page_cgroup的双重计数。swap_cgroup仅在对已计费页进行交换时使用。

1. 计费

在mem_cgroup_try_charge()中,可以对一页/swp_entry进行计费(usage += PAGE_SIZE)。

2. 取消计费

通过下面的接口对一页/swp_entry进行取消计费(usage -= PAGE_SIZE)

  • mem_cgroup_uncharge()
    当页的引用计数下降到0时调用。

  • mem_cgroup_uncharge_swap()
    当swp_entry的引用计数下降到0时调用。对交换的计费消失。

3. 计费-提交-取消

Memcg页面分两步计费:

  • mem_cgroup_try_charge()

  • mem_cgroup_commit_charge() 或 mem_cgroup_cancel_charge()

在try_charge()时,没有标志表示“此页已计费”。此时,usage += PAGE_SIZE。

在commit()时,页面与memcg相关联。

在cancel()时,简单地usage -= PAGE_SIZE。

在下面的解释中,我们假设CONFIG_SWAP=y。

4. 匿名页

匿名页是在下面的位置新分配的:

  • 通过缺页映射给在MAP_ANONYMOUS映射
  • 写时复制

4.1 交换入。在交换入时,页面从交换缓存中取出。有两种情况。

a. 如果SwapCache是新分配并读取,则没有计费。

b. 如果SwapCache已被进程映射,则已经计费。

4.2 交换出。在交换出时,典型的状态转换如下。

a. 添加到交换缓存(标记为SwapCache)swp_entry的引用计数 += 1。

b. 完全取消映射。swp_entry的引用计数 += ptes的数量。

c. 写回到交换。

d. 从交换缓存中删除(从SwapCache中移除)swp_entry的引用计数 -= 1。

最后,在任务退出时,(e)zap_pte()被调用,swp_entry的引用计数 -=1 -> 0。

5. 页面缓存

页面缓存在filemap_add_folio()中计费。

逻辑非常清晰。(有关迁移,请参见下文)

注意:
__remove_from_page_cache()由remove_from_page_cache()和__remove_mapping()调用。

6. Shmem(tmpfs)页面缓存

理解shmem的页面状态转换最好的方法是阅读mm/shmem.c。

但是,简要解释围绕shmem的memcg行为将有助于理解逻辑。

Shmem的页面(仅为叶页,而不是直接/间接块)可以位于

  • shmem的索引树。

  • SwapCache。

  • 既在索引树上又在SwapCache上。这发生在交换入和交换出时,

当...

  • 向shmem的索引树添加新页面时。

  • 读取swp页面。(从swap_cgroup移动计费到page_cgroup)

7. 页面迁移

mem_cgroup_migrate()

8. LRU

每个memcg都有其自己的LRU向量(非活动匿名、活动匿名、非活动文件、活动文件、不可驱逐)来自每个节点的页面,每个LRU在该memcg和节点的单个lru_lock下处理。

9. 典型测试。

对竞争情况的测试。

9.1 对memcg设置小限制。

当您进行竞争情况的测试时,将memcg的限制设置得非常小而不是以GB为好。在xKB或xxMB限制下进行的测试中发现了许多竞争情况。

(GB下的内存行为和MB下的内存行为显示出非常不同的情况。)

9.2 Shmem

从历史上看,memcg对shmem的处理很差,我们在这里看到了一些麻烦。这是因为shmem是页面缓存,但也可以是SwapCache。始终对shmem/tmpfs进行测试是一个好主意。

9.3 迁移

对于NUMA,迁移是另一个特殊情况。要进行简单测试,cpuset是有用的。以下是一个执行迁移的示例脚本:

    mount -t cgroup -o cpuset none /opt/cpuset

    mkdir /opt/cpuset/01
    echo 1 > /opt/cpuset/01/cpuset.cpus
    echo 0 > /opt/cpuset/01/cpuset.mems
    echo 1 > /opt/cpuset/01/cpuset.memory_migrate
    mkdir /opt/cpuset/02
    echo 1 > /opt/cpuset/02/cpuset.cpus
    echo 1 > /opt/cpuset/02/cpuset.mems
    echo 1 > /opt/cpuset/02/cpuset.memory_migrate

在上述设置中,当您将一个任务从01移动到02时,将会发生从节点0到节点1的页面迁移。以下是一个迁移所有任务到cpuset下的脚本:

    --
    move_task()
    {
    for pid in $1
    do
            /bin/echo $pid >$2/tasks 2>/dev/null
            echo -n $pid
            echo -n " "
    done
    echo END
    }

    G1_TASK=`cat ${G1}/tasks`
    G2_TASK=`cat ${G2}/tasks`
    move_task "${G1_TASK}" ${G2} &
    --

9.4 内存热插拔

内存热插拔测试是一个很好的测试。

要离线内存,请执行以下操作:

    # echo offline > /sys/devices/system/memory/memoryXXX/state
    (XXX是内存的位置)

这也是测试页面迁移的简单方法。

9.5 嵌套cgroups

使用类似以下的测试来测试嵌套cgroups:

    mkdir /opt/cgroup/01/child_a
    mkdir /opt/cgroup/01/child_b

    将限制添加到01。
    在01/child_b中添加限制
    在child_a和child_b下运行作业

在作业运行时随机创建/删除以下组:

    /opt/cgroup/01/child_a/child_aa
    /opt/cgroup/01/child_b/child_bb
    /opt/cgroup/01/child_c

在新组中运行新作业也是一个好主意。

9.6 与其他子系统一起挂载

与其他子系统一起挂载是一个很好的测试,因为与其他cgroup子系统存在竞争和锁依赖关系。

例如:

    # mount -t cgroup none /cgroup -o cpuset,memory,cpu,devices

然后在此下进行任务移动、mkdir、rmdir等操作。

9.7 swapoff

除了memcg的管理是memcg的一个复杂部分之外,swapoff的调用路径与通常的swap-in路径不同。值得明确测试。

例如,像下面这样的测试是不错的:

(Shell-A):

    # mount -t cgroup none /cgroup -o memory
    # mkdir /cgroup/test
    # echo 40M > /cgroup/test/memory.limit_in_bytes
    # echo 0 > /cgroup/test/tasks

在此下运行malloc(100M)程序。您将看到60M的交换。

(Shell-B):

    # 将/cgroup/test中的所有任务移动到/cgroup
    # /sbin/swapoff -a
    # rmdir /cgroup/test
    # kill malloc任务。

当然,也应该测试tmpfs与swapoff的情况。

9.8 OOM-Killer

由于memcg的限制导致的内存不足将杀死memcg下的任务。当使用层次结构时,内核将杀死层次结构下的任务。

在这种情况下,不应调用panic_on_oom,并且不应杀死其他组中的任务。

引起OOM在memcg下并不困难。

情况A)当您可以swapoff时:

    #swapoff -a
    #echo 50M > /memory.limit_in_bytes

运行51M的malloc

情况B)当您使用mem+swap限制时:

    #echo 50M > memory.limit_in_bytes
    #echo 50M > memory.memsw.limit_in_bytes

运行51M的malloc

9.9 在任务迁移时移动计费

与任务关联的计费可以随着任务迁移而移动。

(Shell-A):

    #mkdir /cgroup/A
    #echo $$ >/cgroup/A/tasks
在/cgroup/A中运行一些使用一定量内存的程序。

(Shell-B):

    #mkdir /cgroup/B
    #echo 1 >/cgroup/B/memory.move_charge_at_immigrate
    #echo "运行在A组中的程序的pid" >/cgroup/B/tasks

通过读取A和B的*.usage_in_bytes或memory.stat,您可以看到计费已经被移动。

请参阅Memory Resource Controller的8.2,了解应写入move_charge_at_immigrate的值。

9.10 内存阈值

内存控制器使用cgroups通知API实现内存阈值。您可以使用tools/cgroup/cgroup_event_listener.c来测试它。

(Shell-A)创建cgroup并运行事件监听器:

    # mkdir /cgroup/A
    # ./cgroup_event_listener /cgroup/A/memory.usage_in_bytes 5M

(Shell-B)将任务添加到cgroup并尝试分配和释放内存:

    # echo $$ >/cgroup/A/tasks
    # a="$(dd if=/dev/zero bs=1M count=10)"
    # a=

每次您越过阈值时,您将从cgroup_event_listener看到消息。

使用/cgroup/A/memory.memsw.usage_in_bytes来测试memsw阈值。

也可以测试根cgroup。

标签:opt,memcg,cpuset,echo,内存,cgroup,计费,ChatGPT,备忘
From: https://www.cnblogs.com/pengdonglin137/p/17891908.html

相关文章

  • 网络分类器 cgroup 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/net_cls.html网络分类器cgroup网络分类器cgroup提供了一个接口,用于给网络数据包打上一个类别标识符(classid)。流量控制器(tc)可以用来为来自不同cgroup的数据包分配不同的优先级。此外,Netfilter(iptables)也可以......
  • 网络优先级cgroup 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/net_prio.html网络优先级cgroup网络优先级cgroup提供了一个接口,允许管理员动态设置由各种应用程序生成的网络流量的优先级。通常情况下,应用程序会通过SO_PRIORITY套接字选项设置其流量的优先级。然而,这并不总是......
  • 进程数量控制器 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/pids.html进程数量控制器摘要进程数量控制器用于允许cgroup层次结构在达到一定限制后阻止任何新任务进行fork()或clone()。由于很容易达到任务限制而不触及任何已设置的kmemcg限制,PID是一种基本资源。......
  • HugeTLB 控制器 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/hugetlb.htmlHugeTLB控制器HugeTLB控制器可以通过首先挂载cgroup文件系统来创建。#mount-tcgroup-ohugetlbnone/sys/fs/cgroup通过上述步骤,初始或父HugeTLB组将在/sys/fs/cgroup中可见。在启动......
  • 设备白名单控制器 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/devices.html设备白名单控制器1.描述实现一个cgroup来跟踪和强制设备文件的打开和mknod限制。设备cgroup将设备访问白名单与每个cgroup关联起来。白名单条目有4个字段。'type'是(all)、c(字符)或......
  • Cgroup Freezer 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/freezer-subsystem.htmlCgroupFreezercgroup冷冻器对于批处理作业管理系统非常有用,该系统可以启动和停止一组任务,以便根据系统管理员的需求安排机器的资源。这种程序通常用于HPC集群,以安排对整个集群的访问。cgr......
  • CPUSETS 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/cpusets.htmlCPUSETS1.Cpusets1.1什么是cpusets?Cpusets提供了一种机制,用于将一组CPU和内存节点分配给一组任务。在本文档中,“内存节点”指的是包含内存的在线节点。Cpusets限制了任务的CPU和内存放置......
  • 控制组 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/cgroups.html控制组由[email protected]编写,基于CPUSETS来自CPUSETS的原始版权声明:部分版权所有(C)2004BULLSA。部分版权所有(c)2004-2006SiliconGraphics,Inc.由[email protected]修改......
  • Block IO 控制器 【ChatGPT】
    https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/blkio-controller.htmlBlockIO控制器概述cgroup子系统"blkio"实现了块IO控制器。在存储层次结构中,似乎需要各种类型的IO控制策略(如比例带宽、最大带宽),无论是在叶节点还是在中间节点都需要。计划是使用......
  • CPU核算控制器 【ChatGPT】
    原文:https://www.kernel.org/doc/html/v6.6/admin-guide/cgroup-v1/cpuacct.htmlCPU核算控制器CPU核算控制器用于使用cgroups对任务进行分组,并核算这些任务组的CPU使用情况。CPU核算控制器支持多层级分组。一个核算组累积其所有子组和直接存在于其组中的任务的CPU使用情况。可......