手把手教你在虚拟机中部署K8S集群二

我们在：  手把手教你在虚拟机中部署Kubernetes集群（K8S）_ZeroMaster的博客

知道基本的部署方式，但是上面还是有一些问题，比如一些服务启动有问题。下面有一个更详细的方式。实测可用。

一、环境规划

Kubernetes 集群大致分为两类：一主多从和多主多从。
（1）一主多从（单 master ）：一个 Master 节点，多台 Node 节点，搭建简单，但是有单机故障风险，适合用于测试环境。
（2）多主多从（高可用）：多台 Master 节点和多台 Node 节点，搭建麻烦但安全性高，适合用于生产环境。

kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包三种。简介如下：
（1）minikube：一个用于快速搭建单节点的kubernetes工具。
（2）kubeadm：一个用于快速搭建kubernetes集群的工具。
（3）二进制包：从官网上下载每个组件的二进制包依次安装，此方式对于理解kubernetes组件更加有效。
1.集群类型：一主多从
2.安装方式：使用kubeadm工具快速搭建kubernetes集群。
3.主机规划：

角色    IP地址    实验环境
Master    192.168.171.7    Centos7.8 虚拟机
Node1    192.168.171.6    Centos7.8 虚拟机
Node2    192.168.171.4    Centos7.8 虚拟机

二、环境准备

2.1 搭建流程概述：

准备3台机器，要求网络互通（云服务器私网互通，虚拟机网络互通），同时可联网，因为要拉取镜像。
关闭防火墙、selinux、swap分区等，这些是可能会导致k8s集群出问题的地方，需要提前配置好。
安装Docker容器化环境，同时安装三个核心组件：kubeadm、kubelet、kubectl。
下载k8s所需镜像，创建一个Master节点，将Node节点加入到当前集群。
在k8s集群安装相关服务进行验证，登录k8s的WEB的用户界面dashboard。

2.2 安装环境准备

其实简单来说通过两条指令就能部署一个kubernetes集群：
1.创建一个master节点：kubeadm init
2.将node节点加入当前集群：kubeadm join <Master 节点的IP和端口>
在执行kubeadm init 指令后，kubeadm首先会做一系列检查工作，确保机器能够安装kubernetes：

linux系统内核的版本是否必须3.10以上？
linux cgroups模块是否可用？
机器的hostname是否标准？
安装的kubeadm和kubelet是否匹配？
docker是否已经安装？
…

2.2.1 查看系统内核

uname -r

3.10.0-957.el7.x86_64

如果内核太低，需要升级。

2.2.2 设置主机名和hosts本地解析

这一步的作用是方便识别，如主节点所在的虚拟机命名为k8s-master，从节点所在的虚拟机命名为k8s-node1、k8s-node2（重启或者新开窗口可验证）。

Linux 的 /etc/hosts 文件是配置ip地址及其对应主机名的文件，这里可以记录本机的或其他主机的ip及其对应主机名，方便后面集群节点间的直接调用，因此在每个节点（三台机器）上都配置一下主机名解析。

#根据集群规划，各节点设置对应的主机名
hostnamectl set-hostname master    #192.168.171.7
hostnamectl set-hostname node1     #192.168.171.6
hostnamectl set-hostname node2     #192.168.171.4

vi /etc/hosts 
#所有节点编辑/etc/hosts文件，添加：
127.0.0.1   $(hostname)
192.168.171.7 master
192.168.171.6 node1
192.168.171.4 node2

2.2.3 关闭防火墙和SELinux

在每个节点（三台机器）上都关闭防火墙，并设置开机禁用。

在实际生产环境中，通常会采用防火墙和SELinux来增强系统的安全性，但在学习和测试环境中，这些安全措施可能会造成麻烦。因此，只用于学习环境建议关闭所有节点的防火墙和SELinux，以方便学习和测试。三台机器（所有节点）均需要在部署前配置好环境。

参考：手把手教你在虚拟机中部署Kubernetes集群（K8S）_ZeroMaster的博客

中关闭防火墙和SELinux

2.2.4时间同步

参考：手把手教你在虚拟机中部署Kubernetes集群（K8S）_ZeroMaster的博客

中时间同步

2.2.5 关闭 swap 分区

参考：手把手教你在虚拟机中部署Kubernetes集群（K8S）_ZeroMaster的博客

中关闭swap分区

2.2.6 将桥接的IPv4流量传递到iptables链

• 1：netfilter/iptables（简称为iptables）组成Linux平台下的包过滤防火墙，与大多数的Linux软件一样，这个包过滤防火墙是免费的，它可以代替昂贵的商业防火墙解决方案，完成封包过滤、封包重定向和网络地址转换（NAT）等功能。

2：规则（rules）其实就是网络管理员预定义的条件，规则一般的定义为“如果数据包头符合这样的条件，就这样处理这个数据包”。规则存储在内核空间的信息包过滤表中，这些规则分别指定了源地址、目的地址、传输协议（如TCP、UDP、ICMP）和服务类型（如HTTP、FTP和SMTP）等。当数据包与规则匹配时，iptables就根据规则所定义的方法来处理这些数据包，如放行（accept）、拒绝（reject）和丢弃（drop）等。配置防火墙的主要工作就是添加、修改和删除这些规则。
3：在每个节点（三台机器）上都将桥接的IPv4流量传递到iptables的链：

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

#加载br_netfilter模块
modprobe br_netfilter

#查看是否加载
lsmod | grep br_netfilter

#使生效
sysctl --system

#拓展：持久化修改（保留配置包本地文件，重启系统或服务进程仍然有效）
sysctl -p

2.2.7 开启 ipvs

1：ipvs (IP Virtual Server) 实现了传输层负载均衡，也就是4层LAN交换，作为Linux内核的一部分。ipvs运行在主机上，在真实服务器集群前充当负载均衡器。
2：k8s 默认情况下有三种网络负载均衡模式:userspace 代理模式、iptables代理模式、ipvs代理模式。这三种代理模式的负载能力是依次递增的。
3：在 Kubernetes 中 service 有两种代理模型，一种是基于 iptables ，另一种是基于 ipvs 。ipvs 的性能要高于 iptables 的，但是如果要使用它，需要手动载入 ipvs 模块。

#在三台机器安装 ipset 和 ipvsadm ：
yum -y install ipset ipvsadm

#在三台机器执行如下脚本：
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

#授权、运行、检查是否加载：
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

2.2.8 重启机器

此时三台机器都基本上完成了安装前准备，因为有些配置是重启后生效，因此建议在每个节点（三台机器）上都重启一下机器（reboot）。

2.3 容器化环境和组件安装

2.3.1 Docker 安装

1：因为安装kubernetes需要docker容器化环境，因此先安装docker，但是注意kubernetes版本和docker的版本对应问题。按本博客的版本即可，如果是安装其他版本，需参考官方文档。
2：Kubernetes 和 Docker之间有版本的对应关系（如 Docker 版本v20.10对应 Kubernetes 的版本是 v1.21），版本对应不上可能会提示docker版本不兼容，可参考Kubernetes各版本对应支持的docker版本列表。
3：在每个节点（3台机器）上都安装docker
 

#卸载旧版本docker（如有）
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

# yum安装 gcc 相关软件，安装yum工具包
yum -y install gcc gcc-c++
yum -y install yum-utils

#设置阿里云的stable 镜像仓库
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#更新 yum 软件包索引
yum makecache fast

#安装指定版本的 Docker（v20.10.8）:
yum -y install docker-ce-3:20.10.8-3.el7.x86_64 docker-ce-cli-1:20.10.8-3.el7.x86_64 containerd.io

#启动docker并设置开机自启
systemctl start docker
systemctl enable docker

#验证 Docker 是否安装成功：
systemctl status docker
docker -v

2.3.2 设置Docker镜像加速器：

为了下载各组件时从国内镜像源下载，在每个节点（3台机器）上都需要配置镜像加速器。

mkdir -p /etc/docker

#配置阿里云镜像加速：
tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"],	
  "registry-mirrors": [
    "https://du3ia00u.mirror.aliyuncs.com",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://registry.docker-cn.com"
  ],
  "live-restore": true,
  "log-driver":"json-file",
  "log-opts": {"max-size":"500m", "max-file":"3"},
  "max-concurrent-downloads": 10,
  "max-concurrent-uploads": 5,
  "storage-driver": "overlay2"
}
EOF

#使之生效并重启docker
systemctl daemon-reload
systemctl restart docker

2.3.3 添加阿里云的YUM软件源

由于kubernetes的镜像源在国外，下载软件包较慢或者下载失败，这里在每个节点（3台机器）上都切换成国内的阿里云镜像源。

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#清除缓存并更新软件包列表
yum clean all
yum makecache
yum list

2.3.4 安装kubeadm、kubelet和kubectl

在每个节点（3台机器）上都需要安装kubeadm、kubelet和kubectl，安装时指定版本为1.21.10。

     kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
     Kubelet：运行在cluster（集群）所有节点上,负责启动POD和容器。
     kubectl是Kubernetes集群的命令行工具，通过kubectl可以部署和管理应用，查看各种资源，创建，删除和更新组件

1.安装三大组件：

yum install -y kubelet-1.21.10 kubeadm-1.21.10 kubectl-1.21.10

#查看安装版本：
kubelet --version

2.为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，修改"/etc/sysconfig/kubelet"文件为以下内容：

vi /etc/sysconfig/kubelet

# 修改为
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

3.设置为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动：

systemctl enable kubelet

三、kubernetes集群部署

3.1 下载k8s所需镜像

在每个节点（3台机器）上都安装好k8s集群所需的镜像。

1.查看 Kubernetes 安装所需镜像

kubeadm config images list

2.下载 Kubernetes 安装所需镜像

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.4.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.8.0

3.查看镜像下载情况

docker images

3.2 部署 Kubernetes 的 Master 节点

1.在 192.168.171.7 机器上部署 Kubernetes 的 Master 节点：

kubeadm init --kubernetes-version=v1.17.4 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --apiserver-advertise-address=192.168.171.7

说明：

• apiserver-advertise-address =Master节点的 IP 地址。
• image-repository=容器镜像的仓库地址。
• kubernetes-version= 安装的kubernetes版本号。
• service-cidr 和 apiserver-advertise-address 、pod-network-cidr 不能在同一个网络范围内。
• 不要使用 172.17.0.1/16 网段范围，因为这是 Docker 默认使用的。

2.拷贝kubectl使用的连接k8s认证文件到默认路径，根据日志提示，想要开始使用集群，需要在 master节点机器上（192.168.79.101 ）执行如下命令：

#创建目录存放 Kubernetes 的配置文件并配置 Kubernetes 客户端工具 kubectl
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

#将 $HOME/.kube/config 文件的权限修改为当前用户
chown $(id -u):$(id -g) $HOME/.kube/config

# 如果是 root 用户，可以执行如下命令，在使用 kubectl 命令时就不需要每次都指定配置文件的路径
export KUBECONFIG=/etc/kubernetes/admin.conf

3.默认的 token 有效期为 2 小时，当过期之后，该 token 就不能用了，另外也可以生成一个永不过期的token，命令如下 ：

#生成token，有效期2小时
kubeadm token create --print-join-command

# 生成一个永不过期的token
kubeadm token create --ttl 0 --print-join-command

#此时系统自动生成了一个kubeadm join命令,这个命令是用来将一个新的节点加入到 Kubernetes 集群中的。说明：
kubeadm join 192.168.79.101:6443    ----集群的 API Server 地址
  --token y1aqpl.ktwweub0h338qh46   ----用来认证新节点的凭证
  --discovery-token-ca-cert-hash sha256:dca999e4b0fdd14b7e92a6ed3cd1fbfedad273ba409e0bc5a76ebc947bd1f3b2

3.3 部署 Kubernetes 的 Node节点

通过上面自动生成的kubeadm join命令，将两个node节点加入到kubernetes集群中

此时集群已经有了一个节点（master）了，此时是NotReady状态。同样的在192.168.171.6 和 192.168.171.4两台机器上都执行生成的命令把这两个工作节点加入到当前集群：

3.4 部署网络插件

Kubernetes本身并没有自己实现容器网络，而是借助CNI标准，通过插件化的方式来集成各种网络插件，实现集群内部网络相互通信。

Kubernetes集群设计了Cluster IP、Node IP、Pod IP三种类型的通信IP：

（1）Cluster IP是Service对象的IP地址，实现Pod服务的负载均衡，外部网络无法ping通，只在集群内部可以访问使用，是一个虚拟的IP。
（2）Node IP是集群节点Node的IP地址，可以是物理机的IP（也可能是虚拟机IP）。
（3）Pod IP是容器组Pod的IP地址，是在容器组初始化过程由Pause容器申请的IP地址。其中Pod IP是容器网络接口CNI与具体的网络插件来实现IP的申请及数据包的转发。
 

1.Kubernetes 支持多种网络插件，比如 flannel、calico、canal 等，任选一种安装即可，这里选择 calico。在 master节点（192.168.171.7）上执行：

kubectl apply -f https://projectcalico.docs.tigera.io/v3.19/manifests/calico.yaml

2.查看部署 CNI 网络插件进度：

kubectl get pods -n kube-system
#或者
watch kubectl get pods -n kube-system

3.在Master节点使用kubectl工具查看节点状态,此时节点状态应该都是Ready，pod全部running。

kubectl get nodes

到这里一个一主两从的k8s集群已经搭建好了。

3.5 设置 kube-proxy 的 ipvs 模式

1.在 Master节点（192.168.65.101）上设置 kube-proxy 的 ipvs 模式：

kubectl edit cm kube-proxy -n kube-system

找到ipvs模块，将 mode: " " 双引号里面加上ipvs。

2.删除 kube-proxy ，让 Kubernetes 集群自动创建新的 kube-proxy ：

kubectl delete pod -l k8s-app=kube-proxy -n kube-system

3.6 配置Node节点也能使用 kubectl 命令

默认情况下，只有 Master 节点才有 kubectl 命令，但是有些时候我们也希望在 Node 节点上执行 kubectl 命令

1.在两个node节点（192.168.171.6 和 192.168.171.4）上都创建config文件，执行命令：

mkdir -pv ~/.kube
touch ~/.kube/config

2.在node节点已经创建好了config文件，接下来将master节点的admin.conf文件远程拷贝复制到需要安装的机器（注意你配置的机器名是什么？如root@k8s-node1）。在master节点（192.168.171.7）上执行：

scp /etc/kubernetes/admin.conf root@node1:~/.kube/config
scp /etc/kubernetes/admin.conf root@node2:~/.kube/config

3.此时在两个node节点验证，已经可以使用kubectl命令了：

拓展：scp命令的应用

• 机器名一般为root@localhost,把localhost换成机器IP
• 复制的是目录的话就要加-r参数
• 复制过程输入yes同意，再输入对应机器密码即可

3.7 服务部署

kubernetes集群已经部署完毕，接下来可以部署服务使用了

在Kubernetes集群中部署nginx1.14，测试下集群是否正常工作。
1.部署Nginx：

kubectl create deployment nginx --image=nginx:1.14-alpine

2.暴露端口：

kubectl expose deployment nginx --port=80 --type=NodePort

3.查看服务状态：

kubectl get pods,svc

3.8 自动补全

启动 kubectl 自动补全功能，参考kubernetes官网：Linux 系统中的 Bash 自动补全功能

# 安装bash
yum -y install bash-completion

# 自动补全 
echo 'source <(kubectl completion bash)' >>~/.bashrc 
kubectl completion bash >/etc/bash_completion.d/kubectl
# 全局
kubectl completion bash | sudo tee /etc/bash_completion.d/kubectl > /dev/null
source /usr/share/bash-completion/bash_completion