首页 > 其他分享 >以二进制文件安装K8S之部署etcd高可用集群

以二进制文件安装K8S之部署etcd高可用集群

时间：2023-08-19 22:47:00浏览次数：49  
标签：pki etcd 二进制 192.168 etc ETCD https K8S

概述

前提条件：已经准备好CA根证书（etcd在制作CA证书时需要CA根证书），并且把CA根证书文件ca.key和ca.crt拷贝到3个etcd节点的/etc/kubernetes/pki目录下。
3台主机的IP地址分别为192.168.3.135、192.168.3.136、192.168.3.137。
要安装的etcd版本：v3.4.13-linux-amd64。

安装etcd

下载etcd二进制文件，配置systemd服务。

从GitHub官网下载etcd二进制文件，例如etcd-v3.4.13-linux-amd64.tar.gz。

解压缩后得到etcd和etcdctl文件，将它们复制到/usr/bin目录下。

然后将其部署为一个systemd的服务，创建systemd服务配置文件/usr/lib/systemd/system/etcd.service，内容示例如下：

[Unit]
Description=etcd key-value store
Documentation=https://github.com/etcd-io/etcd
After=network.target

[Service]
EnvironmentFile=/etc/etcd/etcd.conf
ExecStart=/usr/bin/etcd
Restart=always

[Install]
WantedBy=multi-user.target

其中，EnvironmentFile指定配置文件的全路径，例如/etc/etcd/etcd.conf，其中的参数以环境变量的格式进行配置，配置内容如下所示。

如上添加systemd服务需要在所有etcd节点都执行相同的操作。

创建etcd的CA证书

先创建一个x509 v3配置文件etcd_ssl.cnf，其中subjectAltName参数（alt_names）包括所有etcd主机的IP地址，例如：

[ req ]
req_extensions = v3_req
distinguished_name = req_distinguished_name

[ req_distinguished_name ]

[ v3_req ] 
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
subjectAltName = @alt_names

[ alt_names ]
IP.1 = 192.168.3.135
IP.2 = 192.168.3.136
IP.3 = 192.168.3.137

然后使用openssl命令创建etcd的服务端CA证书，包括etcd_server.key和etcd_server.crt文件，将其保存到/etc/etcd/pki目录下。

openssl genrsa -out etcd_server.key 2048
openssl req -new -key etcd_server.key -config etcd_ssl.cnf -subj "/CN=etcd-server" -out etcd_server.csr
openssl x509 -req -in etcd_server.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -days 36500 -extensions v3_req -extfile etcd_ssl.cnf -out etcd_server.crt

再创建客户端使用的CA证书，包括etcd_client.key和etcd_client.crt文件，也将其保存到/etc/etcd/pki目录下，后续供kube-apiserver连接etcd时使用。

openssl genrsa -out etcd_client.key 2048
openssl req -new -key etcd_client.key -config etcd_ssl.cnf -subj "/CN=etcd-client" -out etcd_client.csr
openssl x509 -req -in etcd_client.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -days 36500 -extensions v3_req -extfile etcd_ssl.cnf -out etcd_client.crt

最后在/etc/etcd/pki/目录下将会看到4个文件，分别是：etcd_client.crt，etcd_client.key，etcd_server.crt和etcd_server.key。

[root@m1 ~]# ll /etc/etcd/pki/
total 16
-rw-r--r--. 1 root root 1086 Aug 17 06:25 etcd_client.crt
-rw-------. 1 root root 1679 Aug 17 06:25 etcd_client.key
-rw-r--r--. 1 root root 1086 Aug 17 06:20 etcd_server.crt
-rw-------. 1 root root 1675 Aug 17 06:20 etcd_server.key

需要将这四个文件都拷贝到到所有ectd节点上。

etcd参数配置

接下来对3个etcd节点进行配置。
etcd节点的配置方式包括启动参数、环境变量、配置文件等，本例使用环境变量方式将其配置到/etc/etcd/etcd.conf文件中，供systemd服务读取。

# 节点1的配置
ETCD_NAME=etcd1
ETCD_DATA_DIR=/etc/etcd/data

ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt
ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key
ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt
ETCD_CLIENT_CERT_AUTH=true
ETCD_LISTEN_CLIENT_URLS=https://192.168.3.135:2379
ETCD_ADVERTISE_CLIENT_URLS=https://192.168.3.135:2379

ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt
ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key
ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt
ETCD_LISTEN_PEER_URLS=https://192.168.3.135:2380
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.3.135:2380

ETCD_INITIAL_CLUSTER_TOKEN=etcd-c1uster
ETCD_INITIAL_CLUSTER="etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"
ETCD_INITIAL_CLUSTER_STATE=new

# 节点2的配置
ETCD_NAME=etcd2
ETCD_DATA_DIR=/etc/etcd/data

ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt
ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key
ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt
ETCD_CLIENT_CERT_AUTH=true
ETCD_LISTEN_CLIENT_URLS=https://192.168.3.136:2379
ETCD_ADVERTISE_CLIENT_URLS=https://192.168.3.136:2379

ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt
ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key
ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt
ETCD_LISTEN_PEER_URLS=https://192.168.3.136:2380
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.3.136:2380

ETCD_INITIAL_CLUSTER_TOKEN=etcd-c1uster
ETCD_INITIAL_CLUSTER="etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"
ETCD_INITIAL_CLUSTER_STATE=new

# 节点3的配置
ETCD_NAME=etcd3
ETCD_DATA_DIR=/etc/etcd/data

ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt
ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key
ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt
ETCD_CLIENT_CERT_AUTH=true
ETCD_LISTEN_CLIENT_URLS=https://192.168.3.137:2379
ETCD_ADVERTISE_CLIENT_URLS=https://192.168.3.137:2379

ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt
ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key
ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt
ETCD_LISTEN_PEER_URLS=https://192.168.3.137:2380
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.3.137:2380

ETCD_INITIAL_CLUSTER_TOKEN=etcd-c1uster
ETCD_INITIAL_CLUSTER="etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"
ETCD_INITIAL_CLUSTER_STATE=new

主要配置参数包括为客户端和集群其他节点配置的各监听URL地址（均为HTTPS URL地址），并配置相应的CA证书参数。
etcd服务相关的参数如下。

  • ETCD_NAME：etcd节点名称，每个节点都应不同，例如etcd1、etcd2、etcd3。
  • ETCD_DATA_DIR：etcd数据存储目录，例如/etc/etcd/data/etcd1。
  • ETCD_LISTEN_CLIENT_URLS和ETCD_ADVERTISE_CLIENT_URLS：为客户端提供的服务监听URL地址，例如https：//192.168.3.135:2379。
  • ETCD_LISTEN_PEER_URLS和ETCD_INITIAL_ADVERTISE_PEER_URLS：为本集群其他节点提供的服务监听URL地址，例如https：//192.168.3.135:2380。
  • ETCD_INITIAL_CLUSTER_TOKEN：集群名称，例如etcd-cluster。
  • ETCD_INITIAL_CLUSTER：集群各节点的endpoint列表，例如"etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"。
  • ETCD_INITIAL_CLUSTER_STATE：初始集群状态，新建集群时设置为“new”，集群已存在时设置为“existing”。

CA证书相关的配置参数如下。

  • ETCD_CERT_FILE：etcd服务端CA证书-crt文件全路径，例如/etc/etcd/pki/etcd_server.crt。
  • ETCD_KEY_FILE：etcd服务端CA证书-key文件全路径，例如/etc/etcd/pki/etcd_server.key。
  • ETCD_TRUSTED_CA_FILE：CA根证书文件全路径，例如/etc/kubernetes/pki/ca.crt。
  • ETCD_CLIENT_CERT_AUTH：是否启用客户端证书认证。
  • ETCD_PEER_CERT_FILE：集群各节点相互认证使用的CA证书-crt文件全路径，例如/etc/etcd/pki/etcd_server.crt。
  • ETCD_PEER_KEY_FILE：集群各节点相互认证使用的CA证书-key文件全路径，例如/etc/etcd/pki/etcd_server.key。
  • ETCD_PEER_TRUSTED_CA_FILE：CA根证书文件全路径，例如/etc/kubernetes/pki/ca.crt。

启动etcd集群

基于systemd的配置，在3台主机上分别启动etcd服务，并设置为开机自启动：

systemctl restart etcd && systemctl enable etcd

然后用etcdctl客户端命令行工具携带客户端CA证书，运行etcdctl endpoint health命令访问etcd集群，验证集群状态是否正常，命令如下。

etcdctl --cacert=/etc/kubernetes/pki/ca.crt --cert=/etc/etcd/pki/etcd_client.crt --key=/etc/etcd/pki/etcd_client.key --endpoints=https://192.168.3.135:2379,https://192.168.3.136:2379,https://192.168.3.137:2379 endpoint health
https://192.168.3.135:2379 is healthy: successfully committed proposal: took = 10.227801ms
https://192.168.3.136:2379 is healthy: successfully committed proposal: took = 10.880941ms
https://192.168.3.137:2379 is healthy: successfully committed proposal: took = 12.226104ms

结果显示各节点状态均为“healthy”，说明集群正常运行。至此，一个启用了HTTPS的3节点etcd集群就部署完成了。

标签：pki,etcd,二进制,192.168,etc,ETCD,https,K8S
From： https://www.cnblogs.com/nuccch/p/17643288.html

相关文章

  • 以二进制文件安装K8S之部署Master高可用集群
    如下以二进制文件方式部署安全的KubernetesMaster高可用集群，具体步骤如下：1.下载Kubernetes服务的二进制文件2.部署kube-apiserver服务3.创建客户端CA证书4.创建客户端连接kube-apiserver服务所需的kubeconfig配置文件5.部署kube-controller-manager服务6.部署kube-schedule......
  • 详解二进制，八进制，十进制，十六进制的原理与转换
    首先了解一下数字系统的由来数字系统是人类为了表示数量和进行计数而创造的一种工具。数字系统的发展可以追溯到古代文明，不同的文化和社会在不同的时间和地点创造了各种数字系统。以下是数字系统的一些关键发展阶段： 早期计数：最早的人类社会使用自然物体如石块、棍子、贝壳等......
  • Python练习：输入一个整数，输出该数二进制表示中1的个数。
      Python3整数对象存储为无符号数加上符号位标志，所以不存在“负数”补码形式，因此，计算“1”的数量需要按去符号后的无符号数：cnt=bin(n).count('1')另外，Python3无长整，整数长度原则上不限，所以不能以假定的32位处理。    补码+原码=2**321#-*-coding:ut......
  • k8s推送代码至gitlab报错error: RPC failed; result=22, HTTP code = 413 fatal: The
    #gitpush-uoriginmainUsernamefor'http://gitlab.wjl.net':rootPasswordfor'http://[email protected]':Countingobjects:1032,done.Deltacompressionusingupto8threads.Compressingobjects:100%(871/871),done.error:R......
  • 部署k8s-1.28.0
    ===============================================================#centos8及其以上不用操作！！！#所有节点上关闭swap分区swapoff-a;sed-i'/fstab/d'/etc/fstab#升级系统内核#导入elrepogpgkeyrpm--importhttps://www.elrepo.org/RPM-GPG-KEY-elrepo.org#安......
  • k8s help
    [root@localhost~]#kubectlcreatedeploymentweb01--image=httpd--port=80-r100-ndefault--dry-run=client-oyaml[root@localhost~]#kubectlcreatedeploymentweb01--image=httpd--port=80-r100-ndefault--dry-run=none-oyaml[root@localhost~]#......
  • K8s 部署Django项目
    K8s部署Django项目K8s作为目前主流互联网使用技术栈，本次介绍如何将Django项目部署到Kubernetes中。项目代码使用前面几章节定义的Django文件上传代码，使用上一章打包好的镜像，接下来就是部署到K8s中,请往下看：DeploymentyamlapiVersion:apps/v1kind:Deploymentmetadata:......
  • gitlab+jenkins+harbor+k8s部署微服务环境
    一、gitlab1.gitlb部署version:'3'services:gitlab:image:'gitlab/gitlab-ce:latest'container_name:'gitlab'restart:alwayshostname:'192.168.1.188'#部署机器的ip,非容器ip(因为是本地不是线上所以用ip，线上的话可以用域名)......
  • K8S集群管理：用名字空间分隔系统资源
    Kubernetes的名字空间并不是一个实体对象，只是一个逻辑上的概念。它可以把集群切分成一个个彼此独立的区域，然后我们把对象放到这些区域里，就实现了类似容器技术里namespace的隔离效果，应用只能在自己的名字空间里分配资源和运行，不会干扰到其他名字空间里的应用。 Kubernetes面对大......
  • 打印二进制的奇数位和偶数位
    voidprint(inta){ inti=0; printf("奇数位："); for(i=30;i>=0;i-=2) { printf("%d",(a>>i)&1); } printf("\n"); printf("偶数位："); for(i=31;i>=1;i-=2) { printf("%d",(a>>i)&......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99