写在前面
- 嗯,报了考试,整理课堂笔记记忆
- 学习的原因:
- 虽然考了
CKA
,了解了一些K8s
相关的知识 - 但是对
云原生
整个体系一直都很模糊 - 希望对云原生有一个基本的认识
- 通过学习实现云原生相关入门
- 博文主要内容涉及:
- 关于Docker知识体系的简述,适合温习
- 讲的很浅,都是理论,没有实战
傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波
云原生基础设施之容器技术
容器发展背景
企业IT业务云化路径
传统业务云化
业务云化创新
容器是什么?
容器
是一种轻量级
、可移植
、自包含
的软件打包
技术,使应用程序可以在几乎任何地方以相同的方式运行。
开发人员在自己开发环境创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行
容器核心思想
将集装箱
的思想应用到了软件的打包和部署
上,为各类不同的代码提供了一个基于容器的标准化运输系统。
容器与虚拟机
容器和虚拟机 之间的主要区别
在于虚拟化层的位置
和操作系统资源的使用方式
。
用户运行在容器里的应用进程
,跟宿主机
上的其他进程
一样,都由宿主机操作系统统一管理,只不过这些被隔离的进程
拥有额外设置过的Namespace参数。而Docker
项目在这里扮演的角色,更,多的是旁路式的辅助和管理工作
Docker项目介绍
2013年, dotCloud
公司将Docker
项目开源。
Docker
项目:GitHub上开发的Moby开源项目的一部分,遵循Apache License 2.0
许可证协议,Go
语言编写Docker
是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。
Docker
公司目前推出两个版本:
- Docker CE (社区版),
- Docker EE (企业版)
容器关键技术介绍
容器规范
容器不光是Docker
,还有其他容器,比如CoreOS
的rkt
,红帽的podman
,以及之后的K8s之后的containerd
。为了保证容器生态的健康发展,保证不同容器之间能够兼容,包含Docker-CoreOS-Google
在内的若干公司共同成立了一个叫Open Container Initiative(OCI)
的组织,其目是制定开放的容器规范
。
容器runtime
runtime与操作系统kernel
紧密协作,为容器提供运行环境。常见的容器runtime
:
-
runC
是Docker公司2015年发布的容器runtime工具,符合OCI规范。 runC Libcontainer演变而来。 -
rkt
,是CoreOS公司开发的Docker/runc的一个流行替代方案,符合OCI规范。 -
Kata
, 2017年整合Clear ContainerNrunV项目,基于虚拟化技术的容器实现,符合OCI规范。 -
gVisor
,2018 年Google公司发布 gVisor的项目,基于虚拟化技术的容器实现,符合OCI规范
Docker 引擎
Docker
主要指容器引擎,即Docker engine
。Docker Engine是-个Client/Server
应用程序。Docker engine主要组件有3部分:
-
服务器
:是一个长期运行的程序,称为daemon进程
:Docker daemon用于创建和管理docker对象,如容器镜像、容器、网络、卷。 -
命令行界面客户端(docker CLI)
:CLI使用Docker REST API通过脚本或直接的CLI命令与Docker daemon交互。 -
一个REST API
:Client可以用它来与daemon进程通信交互。
Docker 架构
-
Docker Client
: Docker是个采用的C/S架构的应用程序。Docker Client一般通过Docker command
来发起请求。在用户界面,支持用户与Docker Daemon
之间通信 -
Docker daemon
:简单地说, Docker daemon实现的功能就是接收客户端发来的请求,并实现请求所要求的功能,同时针对请求返回相应的结果。Docker daemon是驱动整个Docker功能的核心引擎
。在功能的实现上,Docker daemon涉及了容器、镜像、存储等多方面的内容,涉及多个模块的实现和交互。 -
Containers
:容器以镜像为基础
,同时又为镜像提供了一个标准和隔离的运行环境
。Docker的容器就是“软件界的集装箱
”,可以安装任意的软件和库文件,做任意的运行环境配置。开发及运维人员在转移和部署应用的时候,不需关心容器里装了什么软件,也不需了解它们是如何配置的。 -
Docker Image
:与容器相对应,如果说容器提供了一个完整的、隔离的运行环境,那么镜像
则是这个运行环境的静态体现
-
Registry
: Registry
是一个存放镜像的仓库。Registry
本身也是一个单独的开源项目企业可使用Registry
镜像搭建私有仓库。
Docker容器实现原理
Docker
容器通过namespace
技术实现进程隔离
,通过cgroup
技术实现容器进程可用资源的限制
。Docker
启动一个容器时,实际是创建了包含多个namespace
参数的进程。
Namespace
Namespace
:命名空间作用:资源隔离。 namespace将内核的全局资源进行封装,使得每个namespace
都有一份独立的资源。因此不同进程在各自namespace
内对同一种资源的使用不会相互干扰。
Namespace实际上是Linux系统上创建新进程时的一个可选参数
。实际上在创建Docker容器时,指定了这个进程所需要启用的一组namespace参数
。通过namespace机制的隔离
,容器只能见到当前Namespace中所限定的资源、文件、设备、状态或配置。以此实现应用运行环境的隔离。
PID namespace隔离示例
以交互模式启动一个centos
容器,并在其中运行/bin/bash
程序。执行ps
命令查看到"/bin/bash
"是PID=1
的进程,即Docker将其隔离于宿主机中的其他进程之外。
Cgroups
Cgroups
: Linux Control Groups作用:限制一个进程组对系统资源的使用上限
,包括CPU
、内存
、Block I/O
等。
┌──[[email protected]]-[~]
└─$cd /sys/fs/cgroup
┌──[[email protected]]-[/sys/fs/cgroup]
└─$ls
blkio cpuacct cpuset freezer memory net_cls,net_prio perf_event systemd
cpu cpu,cpuacct devices hugetlb net_cls net_prio pids
┌──[[email protected]]-[/sys/fs/cgroup]
└─$
Cgroups
还可以设置进程优先级,对进程进行挂起和恢复等操作。
原理 :将一组进程放在一个Cgroup中,通过给这个Cgroup分配指定的可用资源,达到控制这一组进程可用资源的目的
实现 :在Linux中,Cgroups以文件和目录的方式组织在操作系统的/sys/fs/cgroup路径下。该路径中所有的资源种类均可被Cgroup限制。
┌──[[email protected]]-[/sys/fs/cgroup]
└─$mount -t cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
┌──[[email protected]]-[/sys/fs/cgroup]
└─$
容器镜像
对软件开发而言,容器镜像打通了“开发 - 测试 - 部署”的流程。
镜像
是容器
的模板,容器是镜像的运行实例
,runtime
根据镜像创建容器
容器镜像挂载在容器根目录下,为容器中的应用提供执行环境的文件系:容器镜像打包了整个操作系统的文件和目录(rootfs),也包括应用本身,即应用及其运行所需的所有依赖都被封装在容器镜像中。
容器镜像采用分层结构:所有容器共享宿主机Kernel,并且不能修改宿主机Kernel ·即容器运行过程中使用容器镜像中的文件,使用宿主机OS上的Kermel
- Build any Application:根据image format spec标准,任何应用都可以被制作成容器镜像,
- Ship any Anywhere:根据runtime spec标准,容器镜像可以传送到任何环境中运行。
容器镜像只是提供了一套镜像文件系统中的各种文件,而各种内核相关的模块或者特性支持,完全依赖于宿主机。
UnionFS联合文件系统
Docker镜像分层结构的实现,借助于UnionFS联合文件系统的能力.
Union File System
联合文件系统,是实现Docker
镜像的技术基础。它是一种轻量级的高性能分层文件系统,支持将文件系统中的修改进行提交和层层叠加。这个特性使得镜像可通过分层实现和继承。同时支持将不同目录挂载到同一个虚拟文件系统下。
以Overlay2为例: Overlay2是一种堆叠文件系统,它依赖并建立在其它的文件系统之上(如ext4fs、xfs等)
,并不直接参与磁盘空间结构的划分,仅将原来底层文件系统
中不同的目录进行“合并”
,然后向用户呈现
,这也就是联合挂载技术
。
嗯,这里不太理解,感觉整理类似是linux中的LVM,局部类似写时复制技术,基础的镜像文件不会被修改,只是对修改进行记录,在写入的时候,对镜像文件写入部分进行复制,然后修改后记录。看到的是基础镜像文件 + 写时复制的记录的叠加。
容器数据卷
卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统
,因此能够绕过Union File System
提供一些用于持续存储
或共享数据
的特性。
将运用与运行的环境打包形成容器运行,对数据的要求希望是持久化
的。
容器之间希望有可能共享数据
。
卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷
。
- 启动容器的时候直接使用
-v命令
就可以进行数据卷的挂载。 - 还可以在
Dockerfile
中使用VOLUME
指令来给镜像添加一个或多个数据卷,
容器copy-on-write特性
对容器的增删改查:
-
创建文件
:新文件只能被添加在容器层
中。 -
删除文件
:依据容器分层结构由上往下依次查找。找到后,在容器层中记录该删除操作
。具体删除文件实现
是:UnionFS
会在容器层创建一个"whiteout"
文件,将被删除的文件“遮挡”起来
。 -
修改文件
:依据容器分层结构由上往下依次查找。找到后,将镜像层
中的数据复制
到容器层
进行修改,修改后的数据保存在容器层中(copy-on-write)
。 -
读取文件
:依据容器分层结构由上往下依次查找,
所有storage driver
都支持镜像分层结构
和写时复制(CoW)
策略。
Registry
Registry是存放容器镜像的仓库,用户可进行镜像下载和访问,分为公有和私有两类Registry。
公有镜像仓库:
-
Docker Hub
是Docker公司为公众提供的托管Registry。 -
Quay.io
现为Red Hat下的公共托管Registryo
私有镜像仓库:
- 企业可以用
Docker Registry
构建私有的Registry
。Registry
本身是一个开源项目,可以用于搭建私有Registry
Docker Hub中可查看到Registry镜像的Dockerfile
。
Docker Hub
Docker Hub
是目前世界上最大的容器镜像仓库,由Docker
公司维护,并提供官方镜像及大量用户上传的镜像。
如何使用Dockerfile构建镜像
Dockerfile
是一个文本文件,其内包含了一条条的指令,每一条指令构建一层
,因此每一条指令的内容,就是描述该层应当如何构建。所以为了减少存储占用,一般尽可能把run指令
写到一行。
Docker
提供了两种构建镜像的方法:docker commit
命令与dockerfile
构建文件。
Dockerfile
Dockerfile
:文件指令集,描述如何自动创建Docker镜像。
- Dockerfile是包含若干指令的文本文件,可以通过这些指令创建出docker image。
- Dockerfile文件中的指令执行后,会创建一个个新的镜像层。
- Dockerfile文件中的注释以"#"开始。
- Dockerfile一般由4部分组成:
- 基础镜像信息.
- 维护者信息
- 镜像操作指令
- 容器启动指令
- build context :为镜像构建提供所需的文件或目录。
描述 | 指令 |
指定base镜像 | FROM |
注明镜像的作者 | MAINTAINED |
运行指定的命令 | RUN |
将文件从build context复制到镜像中 | ADD |
将文件从build context复制到镜像中(自动解压) | COPY |
设置环境变量 | ENV |
指定容器中的应用监听的端口 | EXPOSE |
设置后动容器的用户 | USER |
设置在容器启动时运行指定的脚本或命令 | CMD |
指定的是一个可执行的脚本或者程序的路径 | ENTRYPONT |
将文件或目录声明为volume,挂载到容器中 | VOLUME |
设置镜像的当前工作目录 | WORKDIR |
Dockerfile
的指令根据作用可以分为两种:
-
构建指令
:构建指令用于构建image
,其指定的操作不会
在运行image的容器上
执行。 -
设置指令
:设置指令用于设置image的属性
,其指定的操作将在
运行image的容器中执行。
Dockerfile
指令使用注意事项:
- RUN等指令后运行的必须是基础image支持的命令。如基础image选择了centos,那么软件管理部分只能使用centos的命令。
- ADD指令与COPY指令的不同在于,在
ADD
指令中,若src是压缩文件,则会自动解压到dest。 - Dockerfile中若有多条
CMD
命令,则只执行最后一条。 - Dockerfile中若有多条
ENTRYPOINT
命令,则只执行最后一条。 -
CMD与ENTRYPOINT
的不同在于:当Docker run command
的命令匹配到CMD command
时,会替换CMD
执行的命令。ENTRYPOINT
指令提供的命令则不容易在启动容器时被覆盖。实际上, docker run
命令行中指定的任何参数都会被当做参数再次传递给ENTRYPOINT
指令中指定的命令。
使用ENTYRPOINT
#ENTRYPOINT [ "/usr/sbin/nginx", "-g" , "daemon off;" ]
ENTRYPOINT [ "usr/sbin/nginx" ]
sudo docker run -it nginx -g "daemon off;"
同时使用ENTRYPOINT和CMD
ENTRYPOINT [ "/usr/sbin/nginx" ]
CMD [ "-h" ]
# /usr/sbin/nginx -h 显示帮助信息
如果确实需要,用户也可以在运行时通过docker run
的--entrypoint
标志覆盖ENTRYPOINT
指令
一个简单的Dockerfile
#基于centos镜像
FROM centos
#维护人的信息
MAINTAINER docker_user [email protected]
#安装httpd软件包
RUN yum-y update && RUN yum-y install httpd
#开后80端口
EXPOSE 80
#复制网站首页文件至镜像中web站点下
ADD index.html /var/www/html/index.html
#复制该脚本至镜像中·并修改其权限
ADD run.sh /run.sh
RUN chmod 775 /run.sh
#当后动容器时执行的脚本文件
CMD[/run.sh"]
容器生命周期管理
查看Docker服务状态
┌──[[email protected]]-[/]
└─$systemctl status docker
● docker.service - Docker Application Container Engine
Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
Active: active (running) since 日 2022-04-03 18:43:45 CST; 18h ago
Docs: https://docs.docker.com
Main PID: 1120 (dockerd)
Memory: 157.7M
CGroup: /system.slice/docker.service
└─1120 /usr/bin/dockerd --insecure-registry 192.168.26.56 -H fd:// --containerd=/run/containerd/containerd...
4月 03 18:44:51 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-03T18:44:51.153876648+08:00" level=info ...ete"
4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.336006734+08:00" level=error...ifo"
4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.396998780+08:00" level=error...ifo"
4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.406139699+08:00" level=error...own"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.332774038+08:00" level=info ...ete"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.336614138+08:00" level=error...ifo"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.353399388+08:00" level=error...ifo"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.384605677+08:00" level=info ...rce"
4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.600509732+08:00" level=error...own"
4月 04 08:07:07 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:07.067233807+08:00" level=info ...ete"
Hint: Some lines were ellipsized, use -l to show in full.
┌──[[email protected]]-[/]
└─$
容器生命周期管理
容器生命周期管理命令:
- docker create:创建一个容器;
- docker start:启动一个容器;
- docker run:创建并运行一个容器;
- docker pause:暂停一个容器;
- docker unpause:恢复一个容器;
- docker restart:重启一个容器;
- docker stop:停止一个运行的容器;
- docker rm:删除一个处于终止状态的容器;
- docker kill:杀死容器进程
进入一个容器
docker attach命令:
- docker attach命令直接进入已启动容器的命令终端,不会启动新的进程。
- Usage:docker attach [OPTIONS] CONTAINER
docker exec命令:
- docker exec命令是在容器中打开新的终端。
- Usage:docker exec [OPTIONS] CONTAINER COMMAND [ARG…]
其他常见命令
- 使用
docker inspect
获取容器/镜像元数据。 - 使用
docker tovp
命令查看容器中运行的进程信息。 - 使用
docker events
从服务器获取实时事件。 - 使用
docker port
列出指定的容器的端口映射。