首页 > 其他分享 >Docker的资源限制

Docker的资源限制

时间：2024-06-08 12:11:05浏览次数：28  
标签：容器 限制 -- 0.0 内存 Docker docker 资源

目录

一、什么是资源限制

1、Docker的资源限制

默认情况下，容器是没有资源限制的，它会尽可能地使用宿主机能够分配给它的资源。Docker提供了一种控制分配多少量的内存、CPU或阻塞I/O给一个容器的方式，即通过在docker run或docker create命令时设置运行时配置的标志。

2、内核支持Linux功能

docker info

其中许多功能都要求您的内核支持Linux功能，可以通过docker info命令来检查是否支持，如果内核中禁用了某项功能，那你可能会在下边收到一条Warning。

3、OOM异常

对于Linux主机，如果没有足够的内容来执行其他重要的系统任务，将会抛出OOM异常（内存溢出、内存泄漏、内存异常），随后系统会开始杀死进程以释放内存，凡是运行在宿主机的进程都有可能被kill，包括docker daemon和其他重要的应用程序。如果重要的系统进程被kill，会导致和该进程相关的服务全部宕机。

产生OOM异常时，Docker尝试通过调整docker守护程序上的OOM优先级来减轻这些风险，以便它比系统上的其他进程更不可能被杀死，但是容器的OOM优先级未调整时单个容器被杀死的可能性更大（不推荐调整容器的优先级这种方式）。

4、调整/设置进程OOM评分和优先级

Linux会每个进程算一个分数，最终他会将分数最高的进程kill掉

4.1、/proc/PID/oom_score_adj

  • 这个文件控制着一个进程在发生内存不足（OOM）时被内核选中杀死的倾向性。

  • 值的范围是-1000到1000。默认情况下，大多数进程的值为0。正值增加进程被选中杀掉的可能性，负值则减少这种可能性。

  • 如果设置为-1000，则表示进程永远不会被宿主机kernel kill，即便在极端的内存压力下也是如此。这个值允许用户或系统管理员根据进程的重要性来调整其在内存压力下的生存优先级。

4.2、/proc/PID/oom_adj

  • 这个文件在较老的Linux内核版本中用于类似的目的，控制进程在OOM时被杀死的优先级。

  • 它的取值范围是-17到15，作用和oom_score_adj相似，该设置参数的存在是为了和旧版本的Linux内核兼容。值越低，进程越不容易被杀死。

  • -17表示进程不会被killer终止。

4.3、/proc/PID/oom_score

  • 这个文件显示了一个经过计算的分数，反映了在内存不足情况下，内核选择终止该进程的倾向性。

  • 这个分数是基于多个因素动态计算出来的，包括oom_score_adj（或oom_adj）的值、进程当前的内存使用量、进程的CPU使用时间（user time + system time）、进程的存活时间（uptime - start time）等因素。

  • 系统在决定哪个进程应该被OOM killer终结时，会参考这个分数，分数越高，表示该进程在内存压力下被选中杀死的概率越大。通过观察这个值，管理员可以了解内核是如何评估各个进程的内存压力状况的。

二、容器的内存限制

容器可以使用的内存为：物理内存和交换空间（Swap）

1、实现原理

Docker实际上是使用Linux Cgroups中的Memory Subsystem来实现的对内存资源的限制。

对于每个容器创建后，Docker都会在Linux Cgroups的Memory Subsystem中建立一个Control Group，并将容器中的所有进程都加入到这个cgroup中。之后Docker就可以通过对该cgroup的Memory Subsystem相关参数进行调整来实现对容器进行内存资源的限制了。

对于内存限制，Docker通过memory.limit_in_bytes属性来设置容器可用的最大内存容量，一旦容器达到这个限制，根据设置的不同，可能被终止或受到其他类型的约束。

2、命令格式及指令参数

2.1、命令格式

dcoker run [options]
#运行容器时设置
docker update [options]
#容器运行后修改

2.2、指令参数

参数 描述
-m 或 -memory= 容器可以使用的最大内存量。单位可以是b, k, m, g。允许的最小值为4m（4MB）。
--memory-swap 容器可以使用的交换分区和物理内存大小总和，必须要在设置了物理内存限制的前提才能设置交换分区的限制。如果该参数设置未-1，则容器可以使用主机上swap的最大空间
--memory-swappiness 设置容器使用交换分区的倾向性，值越高表示越倾向于使用swap分区，范围为0-100，0为能不用就不用，100为能用就用。
--kernel-memory 容器可以使用的最大内核内存量，最小为4m，由于内核内存与用户空间内存隔离，因此无法与用户空间内存直接交换，因此内核内存不足的容器可能会阻塞宿主机主机资源，这会对主机和其他容器或者其他服务进程产生影响，因此不要设置内核内存大小
--memory-reservation 允许指定小于--memory的软限制当Docker检测到主机上的争用或内存不足时会激活该限制，如果使用--memory-reservation，则必须将其设置为低于--memory才能使其优先。因为它是软限制，所以不能保证容器不超过限制。
--oom-kill-disable 默认情况下，发生OOM时kernel会杀死容器内进程，但是可以使用该参数可以禁止oom发生在指定的容器上，仅在已设置-m选项的容器上禁用oom，如果-m参数未配置，产生oom时主机为了释放内存还会杀死进程

3、案例

如果一个容器未作内存使用限制，则该容器可以利用到系统内存最大空间，默认创建的容器没有做内存资源限制

3.1、拉取容器压测工具镜像

docker pull lorel/docker-stress-ng

docker run -it --rm lorel/docker-stress-ng -help
#查看docker-stress-ng的用法

3.2、文档的Example选项说明

stress-ng --cpu 8 --io 4 --vm 2 --vm-bytes 128M --fork 4 --timeout 10s
  • -c N, --cpu N 启动 N 个子进程（ cpu ）
  • --vm N 启动 N 个进程对内存进行压测
  • --vm-bytes 128M 每个子进程使用多少内存（默认 256M ）

3.3、测试内存使用限制

docker run --name stress -it --rm -m 256m lorel/docker-stress-ng:latest stress --vm 2
#限制内存最多使用256M

限制内存使用最多256M

开启压测启动两个进程，每个进程使用256M

3.4、验证

docker stats stress

可以看到，无论启动多少个使用256M的进程做压测（这里启动了2个进程，按理会使用512MB内存），stress容器的最大内存使用量始终维持在256MB。

3.5、内存软限制

内存软限制不会真正限制到内存的使用

docker run -it --rm -m 256m --memory-reservation 128m --name test1 lorel/docker-stress-ng --vm 2 --vm-bytes 256m
docker stats
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT   MEM %     NET I/O     BLOCK I/O         PIDS
0ffb4b8fdbde   test1     174.52%   255.9MiB / 256MiB   99.95%    648B / 0B   5.33GB / 18.1GB   5
  • -m 256m：这是内存的硬限制（hard limit），容器使用的内存不能超过这个值。
  • --memory-reservation 128m：这是内存的软限制（soft limit），尝试保证至少有这么多内存可用给容器，但实际上容器可以使用超过这个值直到达到硬限制，前提是系统中有足够的空闲内存。

3.6、交换分区限制

docker run -it --rm -m 256m --memory-swap 512m --name test1 lorel/docker-stress-ng --vm 2 --vm-bytes 256m

容器可以使用的交换分区和物理内存大小总和

必须要在设置了物理内存限制的前提才能设置交换分区的限制。

4、扩大内存限制

cat /sys/fs/cgroup/memory/memory.limit_in_bytes
9223372036854771712
#通过修改cgroup文件扩大内存限制，缩小会报错

三、容器的CPU限制

1、实现原理

Docker实际上是使用Linux Cgroups中的CPU Subsystem来实现的对CPU资源的限制。

Docker 会为每个容器在CPU Subsystem中建立一个Control Group,并且将该容器中的所有进程都加入到该cgroup中。之后Docker就可以通过对该cgroup的CPU Subsystem相关参数进行调整来实现对容器进行 CPU 资源的限制了。限制命令中的–cpu-shares参数，实际上就是在配置CPU Subsystem中某个容器所对应的Control Group中参数cpu.shares的值。

2、命令格式及指令参数

2.1、命令格式

dcoker run [options]
#运行容器时设置
docker update [options]
#容器运行后修改

2.2、指令参数

参数 描述
--cpus 指定容器可以使用的CPU资源比例。例如，在双核CPU主机上设置--cpus=1.5，容器理论上可使用相当于1.5个CPU的资源。若为4核，可跨核心分配，总使用量不超过1.5核心。
--cpu-period 设置CPU调度周期（单位微秒），通常与--cpu-quota搭配使用，以限制容器在每个周期内的CPU使用量。
--cpu-quota 在给定的--cpu-period内，设置容器可以使用的CPU时间（单位微秒）。与--cpu-period配合，实现CPU使用量的绝对控制。
--cpuset-cpus 允许指定容器可运行在哪些CPU核心上，实现CPU绑定（“绑核”），提高CPU访问效率或满足特定隔离需求。
--cpuset-mems 仅对具有非统一内存访问（NUMA）架构的系统有效，用于指定容器可使用的内存节点，优化内存访问速度。
--cpu-shares 设置容器的CPU份额权重，与其他容器共享CPU资源时，权重高的容器将获得更多的CPU时间。默认值为1024，最大值为262144。

3、案例

3.1、启动一个进程，占用8核CPU

docker run -it --rm --name test1 lorel/docker-stress-ng --vm 1 --cpu 8 

docker stats

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O        PIDS
7eb5882b9379   test1     812.96%   1.387GiB / 1.781GiB   77.88%    648B / 0B   4.02GB / 412MB   25

3.2、限制容器CPU

docker run -it --rm  --cpus 4 --name test1 lorel/docker-stress-ng --vm 1 --cpu 8 

docker stats

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O        PIDS
0a1c3805e5c9   test1     398.99%   1.414GiB / 1.781GiB   79.40%    648B / 0B   1.14GB / 127MB   25

top

top - 21:19:53 up  2:33,  2 users,  load average: 12.50, 9.48, 4.62
Tasks: 175 total,  17 running, 158 sleeping,   0 stopped,   0 zombie
%Cpu0  : 52.1 us,  0.3 sy,  0.0 ni, 45.5 id,  1.7 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu1  : 49.8 us,  1.4 sy,  0.0 ni, 15.2 id, 32.5 wa,  0.0 hi,  1.0 si,  0.0 st
%Cpu2  : 48.6 us,  1.7 sy,  0.0 ni,  6.2 id, 41.4 wa,  0.0 hi,  2.1 si,  0.0 st
%Cpu3  : 49.1 us,  2.1 sy,  0.0 ni,  8.0 id, 39.4 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu4  : 51.6 us,  0.7 sy,  0.0 ni, 46.0 id,  1.4 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu5  : 48.4 us,  2.4 sy,  0.0 ni,  1.4 id, 46.3 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu6  : 50.2 us,  1.0 sy,  0.0 ni, 23.9 id, 24.2 wa,  0.0 hi,  0.7 si,  0.0 st
%Cpu7  : 45.3 us,  5.9 sy,  0.0 ni, 21.1 id, 26.6 wa,  0.0 hi,  1.0 si,  0.0 st

3.3、将容器运行到指定的cpu上

docker run -it --rm  --cpus 2 --cpuset-cpus 1,3 --name test1 lorel/docker-stress-ng --vm 1 --cpu 8 

docker stats

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O         PIDS
ee11d834dde5   test1     186.68%   1.488GiB / 1.781GiB   83.60%    648B / 0B   44.8GB / 95.7MB   25

top

top - 21:27:31 up  2:41,  2 users,  load average: 14.97, 9.00, 5.77
Tasks: 176 total,  19 running, 157 sleeping,   0 stopped,   0 zombie
%Cpu0  :  0.0 us,  0.3 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.7 si,  0.0 st
%Cpu1  : 87.5 us, 10.9 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  1.7 si,  0.0 st
%Cpu2  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  : 32.9 us, 46.1 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi, 21.1 si,  0.0 st
%Cpu4  :  0.0 us, 17.3 sy,  0.0 ni, 82.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu5  :  0.0 us, 12.7 sy,  0.0 ni, 79.2 id,  0.0 wa,  0.0 hi,  8.2 si,  0.0 st
%Cpu6  :  0.0 us,  0.0 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu7  :  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

3.4、基于cpu-shares对cpu进行切分

docker run -it --rm  -d --cpu-shares 1000 --name test1 lorel/docker-stress-ng --vm 1 --cpu 4 

docker run -it --rm  -d --cpu-shares 500 --name test2 lorel/docker-stress-ng --vm 1 --cpu 4 

docker stats

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O       PIDS
d6dd34edb722   test1     543.41%   819.6MiB / 1.781GiB   44.95%    648B / 0B   102MB / 154MB   13
154b07a94e2f   test2     241.15%   711.1MiB / 1.781GiB   39.00%    648B / 0B   406MB / 145MB

四、容器的块I/O带宽限制

块I/O带宽(Block I/O Bandwidth，Blkio)用于管理容器在读写磁盘时的吞吐量，Docker可通过设置权重、限制每秒字节数(B/s)和每秒I/O次数(IO/s)的方式控制容器读写盘的带宽。确保各容器之间以及与宿主机的资源使用保持合理平衡

1、实现原理

Docker利用cgroups的blkio子系统，通过修改特定cgroup目录下的控制文件来实施这些限制。这些文件通常位于/sys/fs/cgroup/blkio/目录下，具体路径会包含容器的唯一cgroup路径，如/sys/fs/cgroup/blkio/docker/<container-id>/...。

  • 权重分配：通过修改blkio.weight文件。值范围为10到1000，值越大，优先级越高。
  • 每秒字节数限制:
    • 读限制：blkio.throttle.read_bps_device，格式为<major>:<minor> <bytes_per_second>。
    • 写限制：blkio.throttle.write_bps_device，格式相同。
  • 每秒I/O操作限制：
    • 读IOPS限制：blkio.throttle.read_iops_device，格式同上。
    • 写IOPS限制：blkio.throttle.write_iops_device，格式相同。

2、指令格式及指令参数

2.1、指令格式

dcoker run [options]
#运行容器时设置
docker update [options]
#容器运行后修改

2.2、指令参数

指令参数 描述
--blkio-weight 设置容器块I/O带宽权重，影响容器相对于其他容器的I/O调度优先级。默认值为500。
--device-read-bps 限制容器对指定设备的读取速率，单位可以是kbps, mbps, gbps等。
--device-write-bps 限制容器对指定设备的写入速率，用法同上。
--device-read-iops 限制容器对指定设备的每秒读取I/O次数。
--device-write-iops 限制容器对指定设备的每秒写入I/O次数。

3、案例

3.1、创建两个不同块I/O带宽权重的容器

docker run -itd --name io1 --blkio-weight 200 centos:7
docker run -itd --name io2 --blkio-weight 600 centos:7

3.2、限制读取速率

docker run -it --device-read-bps /dev/sda:1mb centos:7

限制对/dev/sda设备的读取速率为每秒1MB

3.3、限制写入速率

docker run -it --device-write-bps /dev/sda:2mb centos:7

限制对/dev/sda设备的写入速率为每秒2MB

3.4、限制读取IOPS（每秒I/O操作次数）

docker run -it --device-read-iops /dev/sda:1000 centos:7

限制对/dev/sda设备的读取每秒不能超过1000次读I/O操作

3.5、限制写入IOPS

docker run -it --device-write-iops /dev/sda:500 centos:7

限制对/dev/sda设备的读取每秒不能超过500次写I/O操作

标签：容器,限制,--,0.0,内存,Docker,docker,资源
From： https://www.cnblogs.com/misakivv/p/18238511

相关文章

  • docker拉取镜像报错Bad Request
    问题现象docker拉取镜像报错BadRequest。问题分析cat/etc/systemd/system/docker.service.d/http-proxy.conf1.1.1.1:80模拟错误的docker代理配置，错误的代理导致镜像拉取失败。解决问题注释代理配置。vim/etc/systemd/system/docker.service.d/http-proxy.conf重启d......
  • Docker大学生看了都会系列（7、Dokcerfile详解）
    系列文章目录第一章Docker介绍第二章2.1Mac通过Homebrew安装Docker第二章2.2CentOS安装Docker第三章Docker常用命令第四章常用命令实战第五章Docker镜像详解第六章Docker容器数据卷第七章Dockerfile详解文章目录一、Dockerfile基本介绍1.1什么是Dock......
  • 基于cloudflare workers自建docker镜像
    缘由因为近期国内镜像站点的变动，自建docker镜像也提上了日程。顺便发现了Hammal这个优秀的项目。Hammal是运行于cloudflareworkers上的Docker镜像加速工具，用于解决获取Docker官方镜像速度缓慢以及完全无法获取k8s.gcr.io上镜像的问题。在这里感谢如下两个项目tomwei......
  • 走走停停迅雷BT下载[DB-1280P/3.25GBMKV中字]4k高清百度云资源分享
    电影《走走停停》：探寻人生的迷茫与自我救赎电影《走走停停》是一部由李安执导，由乔·阿尔文主演的心灵探索之旅。这部电影以一个中年男子的迷失和自我救赎为线索，通过对人生中的停顿和挫折的描绘，引发观众对生活意义的思考。故事的主线由两个不同的时间线交......
  • 我才不要和你做朋友呢下载/迅雷BT下载[HD-720P/2.65GB]百度云资源
    电影《我才不要和你做朋友呢》是一部由导演张华执导的青春成长电影。该片以逗趣的方式，讲述了一个关于友谊和成长的故事。影片中的角色经历了许多挑战和困难，通过彼此之间的支持和理解，他们在成长的路上逐渐成为了真正的朋友。本文将会从影片的剧情、人物塑造以及核心主题等方面......
  • C# 注册表法-限制软件使用次数
    功能简介：在注册表HKEY_CURRENT_USER\SOFTWARE下，如果没有则新建MyRegDataApp项，在MyRegDataApp项下面，如果没有则新建array值，并设置参数为intUseCount次，当软件执行一次程序，注册表次数减一，当参数为0时，每次启动都会提示并自动退出软件，代码如下：一、包含命名空间usingMicrosoft.W......
  • 解决Docker遇到error NU1301: Unable to load the service index for source https://
    解决Docker容器内无法通过HTTPS访问外部网络的问题在使用Docker构建.NET项目时，有时会遇到无法通过HTTPS访问外部网络的问题，导致dotnetrestore命令无法从NuGet源下载依赖项。本文将介绍一种通过修改Docker配置文件config.json来解决该问题的方法。问题描述在......
  • 微信群发助手全选怎么弄？微信群发助手限制200人怎么办？微信群发消息怎么发所有人？微信群
      今天给大家推荐一款我们目前在使用的电脑群发工具掘金小蜜，不仅可以无限多开，方便你同时管理多个账号，群发功能更是十分强大，轻松释放你的双手。掘金小蜜（只支持Win7及以上操作系统，没有推Mac版和手机客户端。软件下载地址>>点击此处群发功能下载打开登录，这是账号登录进去后......
  • 基于 ESP8266 的模块的引脚资源
    参考资料：0.ESP8266、ESP32引脚图https://blog.csdn.net/qq_45355603/article/details/1256062071.【NodeMcu-ESP8266】引脚使用参考指南——推荐收藏：https://blog.csdn.net/qq_15776011/article/details/137050657 ESP-01S 2.ESP12......
  • Mysql 8.4.0 结合 Docker 搭建GTID主从复制，以及传统主从复制
    注意：本教程不适用旧版本，Mysql8.4.0和旧版本，主从复制相关命令有所变化，具体区别请看文末参考软件版本Docker：26.1.3Mysql：8.4.0 GTID主从复制1.准备主从两台服务器2.两台服务器分别创建DockerCompose文件services:mysql:image:mysql:8.4.0ports:-"3......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99