https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/ https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
在master和worker节点上安装containerd、kubelet、kubeadm、kubectl
lsmod | grep br_netfilter lsmod | grep overlay # 以上两个命令应该有输出，否则需要做如下设置： # cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf # overlay # br_netfilter # EOF # sudo modprobe overlay # sudo modprobe br_netfilter sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward # 以上命令输出三个值都是1，否则做如下设置 # cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf # net.bridge.bridge-nf-call-iptables = 1 # net.bridge.bridge-nf-call-ip6tables = 1 # net.ipv4.ip_forward = 1 # EOF # sudo sysctl --system
# 安装containerd并且使用systemd yum install -y containerd containerd config default > /etc/containerd/config.toml sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml sed -iE 's/sandbox_image.*/sandbox_image = "registry.k8s.io\/pause:3.9"/g' /etc/containerd/config.toml systemctl daemon-reload systemctl enable containerd systemctl restart containerd
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
#安装kubelet,kubeadm,kubectl
[kubernetes] name=Kubernetes baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch enabled=1 gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg exclude=kubelet kubeadm kubectl EOF # 将 SELinux 设置为 permissive 模式（相当于将其禁用） sudo setenforce 0 sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config sudo yum install -y kubelet-1.27.3 kubeadm-1.27.3 kubectl-1.27.3 --disableexcludes=kubernetes sudo systemctl enable --now kubelet
在master节点里使用kubeadm创建集群：
https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
echo "export POD_SUBNET=10.100.0.1/16">>/etc/profile source /etc/profile kubeadm config images pull --kubernetes-version=v1.27.3
# 执行完以上命令之后，使用crictl images可以看到下载的镜像
kubeadm init --kubernetes-version=v1.27.3 --pod-network-cidr=$POD_SUBNET --control-plane-endpoint=${dns/master_ip}
# 配置 kubectl
rm -rf /root/.kube/
mkdir /root/.kube/
cp -i /etc/kubernetes/admin.conf /root/.kube/config
echo "export KUBECONFIG=/etc/kubernetes/admin.conf">>/etc/profile
source /etc/profile
# 允许master节点运行pod：kubectl taint nodes --all node-role.kubernetes.io/control-plane-
# kubeadm init完了之后，还需要安装一个CNI
# https://kubernetes.io/docs/concepts/cluster-administration/networking/#how-to-implement-the-kubernetes-networking-model
# https://github.com/containernetworking/cni
# https://github.com/projectcalico/calico
# https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yaml
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yaml
sed -i "s#192.168.0.0/16#${POD_SUBNET}#" custom-resources.yaml
kubectl apply -f custom-resources.yaml
# 等待一段时间口即可看到所有pods都处于running状态：
在master节点里创建完成之后，就可以让worker节点加入到master里，在master里执行：kubeadm token create --print-join-command 输出的内容在worker节点里运行，输出如下：
在master节点里运行kubectl get nodes即可看到当前的所有节点
安装图形化管理工具
官方推荐的dashboard：
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml kubectl proxy --address='0.0.0.0' --port=8080 --accept-hosts='.*' 安全性限制的很严格，只支持localhost或者是https登录，这种情况需要将master节点挂到一个域名后面并且添加CA证书 然后访问：https://your_domain/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login 另一个比较好用的：https://github.com/eip-work/kuboard-presssudo docker run -d \ --restart=unless-stopped \ --name=kuboard \ -p 8080:80/tcp \ -p 10081:10081/tcp \ -e KUBOARD_ENDPOINT="http://内网IP:8080" \ -e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \ -v /root/kuboard-data:/data \ eipwork/kuboard:v3创建完成后在浏览器端用masterip:8080即可打开，按照引导步骤将集群导入到UI里面之后就可以看到dashboard
从界面也可以看到所有的namespace：
在k8s里面部署一个服务
可以在界面手动创建一个namespace：test，然后在test里面创建deployment，测试将我们stage里用的airflow的worker部署到k8s里面，需要配置工作容器的信息，挂在efs到容器。
由于我们使用aws里的ecr，拉取镜像的时候需要登录，所以需要在这个新建的namespace里先创建拉取镜像需要的docker-registry类型的secret，可以使用kubectl创建一个secret，名字是ecrsecret：kubectl create secret docker-registry ecrsecret -n test --docker-server=https://${your_accountId}.dkr.ecr.${your_region}.amazonaws.com --docker-username=AWS --docker-password=$(aws ecr get-login --no-include-email --region ${your_region} --registry-ids ${your_account_id}|awk '{print $6}')，输出：secret/ecrsecret created，表示创建成功，创建deployment的时候就可以使用这个secret
全部设置好之后点击保存即可创建deployment，查看pod和airflow的flower，发现成功添加到airflow集群，并且已经开始运行task：
使用Velero备份k8s集群数据到aws的S3
wget https://github.com/vmware-tanzu/velero/releases/download/v1.10.3/velero-v1.10.3-linux-amd64.tar.gz
tar zxvf velero-v1.10.3-linux-amd64.tar.gz
cd velero-v1.10.3-linux-amd64/
cp velero /usr/bin/velero
# 执行完后要等待十几秒才能看到可用备份
velero install \
--provider aws \
--image velero/velero:v1.10.3 \
--plugins velero/velero-plugin-for-aws:v1.6.0 \
--bucket ${your_store_bucket_name} \
--prefix ${prefix} \
--use-volume-snapshots=false \
--backup-location-config region=us-east-1 \
--no-secret
#备份
velero backup create backup$(date "+%Y%m%d%H%M%S")
aws s3 ls s3://${your_store_bucket_name}/${prefix}
#查看可用的备份
velero backup get
#如果更改了备份文件的地址，可以使用如下命令添加location
velero backup-location create location2 \
--provider aws \
--bucket ${your_store_bucket_name} \
--prefix ${backups_prefix} \
--config region=${your_region}
velero backup-location get
# 然后再次查看可用备份
velero backup get
#恢复
velero restore create --from-backup backupname
标签：velero,kubernetes,记录,--,https,kubectl,kubeadm,K8S,安装 From： https://www.cnblogs.com/huizit1/p/17500109.html