首页 > 其他分享 >5个维度对Kubernetes集群优化

5个维度对Kubernetes集群优化

时间:2024-11-06 21:42:15浏览次数:1  
标签:Kubernetes -- max 配置 集群 etcd 维度 默认值

5个维度对Kubernetes集群优化

一、节点配额和内核参数调整

对于公有云上的 Kubernetes 集群,规模大了之后很容器碰到配额问题,需要提前在云平台上增大配额。这些需要增大的配额包括:

  • 虚拟机个数
  • vCPU 个数
  • 内网 IP 地址个数
  • 公网 IP 地址个数
  • 安全组条数
  • 路由表条数
  • 持久化存储大小

参考gce随着node节点的增加master节点的配置:

  • 1-5 nodes: n1-standard-1
  • 6-10 nodes: n1-standard-2
  • 11-100 nodes: n1-standard-4
  • 101-250 nodes: n1-standard-8
  • 251-500 nodes: n1-standard-16
  • more than 500 nodes: n1-standard-32

参考阿里云配置:

节点规模 Master规格
1-5个节点 4C8G(不建议2C4G)
6-20个节点 4C16G
21-100个节点 8C32G
100-200个节点 16C64G

增大内核选项配置 /etc/sysctl.conf

# max-file 表示系统级别的能够打开的文件句柄的数量, 一般如果遇到文件句柄达到上限时,会碰到"Too many open files"或者Socket/File: Can’t open so many files等错误。
fs.file-max=1000000

# 配置arp cache 大小
net.ipv4.neigh.default.gc_thresh1=1024
# 存在于ARP高速缓存中的最少层数,如果少于这个数,垃圾收集器将不会运行。缺省值是128。

# 保存在 ARP 高速缓存中的最多的记录软限制。垃圾收集器在开始收集前,允许记录数超过这个数字 5 秒。缺省值是 512。
net.ipv4.neigh.default.gc_thresh2=4096

# 保存在 ARP 高速缓存中的最多记录的硬限制,一旦高速缓存中的数目高于此,垃圾收集器将马上运行。缺省值是1024。
net.ipv4.neigh.default.gc_thresh3=8192

# 以上三个参数,当内核维护的arp表过于庞大时候,可以考虑优化


# 允许的最大跟踪连接条目,是在内核内存中netfilter可以同时处理的“任务”(连接跟踪条目)
net.netfilter.nf_conntrack_max=10485760

# 哈希表大小(只读)(64位系统、8G内存默认 65536,16G翻倍,如此类推)
net.core.netdev_max_backlog=10000
# 每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。
net.netfilter.nf_conntrack_tcp_timeout_established=300
net.netfilter.nf_conntrack_buckets=655360

# 关于conntrack的详细说明:https://testerhome.com/topics/7509

# 默认值: 128 指定了每一个real user ID可创建的inotify instatnces的数量上限
fs.inotify.max_user_instances=524288


# 默认值: 8192 指定了每个inotify instance相关联的watches的上限
fs.inotify.max_user_watches=524288

二、Etcd 数据库

1、搭建高可用的etcd集群, 集群规模增大时可以自动增加etcd节点;

目前的解决方案是使用etcd operator来搭建etcd 集群,operator是CoreOS推出的旨在简化复杂有状态应用管理的框架,它是一个感知应用状态的控制器,通过扩展Kubernetes API来自动创建、管理和配置应用实例。

etcd operator 有如下特性:

  • ceate/destroy: 自动部署和删除 etcd 集群,不需要人额外干预配置。
  • resize:可以动态实现 etcd 集群的扩缩容。
  • backup:支持etcd集群的数据备份和集群恢复重建
  • upgrade:可以实现在升级etcd集群时不中断服务。

2、配置etcd使用ssd固态盘存储;

3、设置 --quota-backend-bytes 增大etcd的存储限制。默认值是 2G;

4、需要配置单独的 Etcd 集群存储 kube-apiserver 的 event。

三、镜像拉取相关配置

1、Docker 配置

  • 设置 max-concurrent-downloads=10
  • 配置每个pull操作的最大并行下载数,提高镜像拉取效率,默认值是3。
  • 使用 SSD 存储。
  • 预加载 pause 镜像,比如 docker image save -o /opt/preloaded_docker_images.tar 和docker image load -i /opt/preloaded_docker_images.tar 启动pod时都会拉取pause镜像,为了减小拉取pause镜像网络带宽,可以每个node预加载pause镜像。

2、Kubelet配置

  • 设置 --serialize-image-pulls=false
    该选项配置串行拉取镜像,默认值时true,配置为false可以增加并发度。但是如果docker daemon 版本小于 1.9,且使用 aufs 存储则不能改动该选项。
  • 设置 --image-pull-progress-deadline=30
    配置镜像拉取超时。默认值时1分,对于大镜像拉取需要适量增大超时时间。
  • Kubelet 单节点允许运行的最大 Pod 数:--max-pods=110(默认是 110,可以根据实际需要设置)。

3、镜像registry p2p分发

四、Kube APIServer 配置

node节点数量 >= 3000, 推荐设置如下配置:

--max-requests-inflight=3000
--max-mutating-requests-inflight=1000

node节点数量在 1000 -- 3000, 推荐设置如下配置:

--max-requests-inflight=1500
--max-mutating-requests-inflight=500

内存配置选项和node数量的关系,单位是MB:

--target-ram-mb=node_nums * 60

五、Pod 配置

在运行 Pod 的时候也需要注意遵循一些最佳实践,比如:

1、为容器设置资源请求和限制,尤其是一些基础插件服务

spec.containers[].resources.limits.cpu
spec.containers[].resources.limits.memory
spec.containers[].resources.requests.cpu
spec.containers[].resources.requests.memory
spec.containers[].resources.limits.ephemeral-storage
spec.containers[].resources.requests.ephemeral-storage

在k8s中,会根据pod不同的limit 和 requests的配置将pod划分为不同的qos类别:

  • Guaranteed
  • Burstable
  • BestEffort

当机器可用资源不够时,kubelet会根据qos级别划分迁移驱逐pod。被驱逐的优先级:BestEffort > Burstable > Guaranteed

2、对关键应用使用 nodeAffinitypodAffinitypodAntiAffinity 等保护,使其调度分散到不同的node上。比如kube-dns 配置:

affinity:
 podAntiAffinity:
   requiredDuringSchedulingIgnoredDuringExecution:
   - weight: 100
     labelSelector:
       matchExpressions:
       - key: k8s-app
         operator: In
         values:
         - kube-dns
     topologyKey: kubernetes.io/hostname

3、尽量使用控制器来管理容器(如 Deployment、StatefulSet、DaemonSet、Job 等)

Kube-scheduler 配置

  • 设置 --kube-api-qps=100 默认值是 50

Kube-controller-manager 配置

  • 设置 --kube-api-qps=100 默认值是20
  • 设置 --kube-api-burst=100 默认值是30

标签:Kubernetes,--,max,配置,集群,etcd,维度,默认值
From: https://www.cnblogs.com/qinzhi1209/p/18531116/5-dimensions-optimize-to-kubernetes-cluster-

相关文章

  • 3分钟部署生产级k8s集群
    3分钟部署生产级k8s集群什么是sealos?sealos:sealos是一个kubernetes高可用安装工具,一条命令,离线安装,包含所有依赖,内核负载不依赖haproxykeepalived,纯golang开发,99年证书,支持v1.14.9v1.15.6v1.16.3v1.17.0。概览图​​前提条件安装并启动docker,高版本离线包自......
  • Spark on YARN:Spark集群模式之Yarn模式的原理、搭建与实践
    Spark的介绍与搭建:从理论到实践-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交:本地与集群模式全解析-CSDN博客目录一、SparkonYARN的优势(一)统一化资源管理(二)YARN调度机制的优势二、Spark......
  • 基于Centos7.X部署MinIO分布式集群
    1、规划4台虚拟机说明:一个N节点的分布式MinIO集群中,只要有N/2节点在线,数据就是安全的,同时,为了确保能够创建新的对象,需要至少有N/2+1个节点,因此对于一个4节点集群,即使有两个节点宕机,集群仍然是可以读的,但需要有3个节点才能写数据。所以,至少需要四台节点构建集群。2、为每台虚......
  • Docker搭建kafka集群
    Docker搭建kafka集群kafka中的基本概念broker:消息中间件处理节点,一个broker就是一个kafka节点,一个或者多个broker就组成了一个kafka集群topic:kafka根据topic对消息进行归类,发布到kafka集群的每个消息,都要指定一个topicproducer:消息生产者,向broker发送消息的客户端consumer:消......
  • Redis集群高可用实战部署(Redis Cluster High Availability Practical Deployment)
     ......
  • 强化学习如何解决输入状态维度增加的问题
    相关:AIInventsNewBowlingTechniquesITorturedthisAIDoginanEscapeChamberfor1000SimulatedYears强化学习问题很多时候是解决比较复杂的游戏环境的,比如控制机器人打保龄球,在这个游戏中我们需要既能控制机器人保持站立及运行动作的平衡,同时还需要保证机器人可以......
  • 二十三、Mysql8.0高可用集群架构实战
    文章目录一、MySQLInnoDBCluster1、基本概述2、集群架构3、搭建一主两从InnoDB集群3.1、安装3个数据库实例3.2、安装mysqlrouter和安装mysqlshell3.2.1、安装mysql-router3.2.2、安装mysql-shell3.3、InnoDBCluster初始化3.3.1、参数及权限配置预需求检测3.3.2、初......
  • Kubernetes架构及核心组件
    一、基本架构Kubernetes集群可以被看作是一个工厂,而各个组件则是这个工厂里的不同部门:KubernetesAPI服务器:就像是这个工厂的总经理,负责接收所有的请求并将它们分配给相应的部门进行处理。etcd:就像是这个工厂的记事本,负责记录所有的配置信息和状态信息,以便其他组件可......
  • 5分钟上手 Kubernetes:精简实用的 Kubectl 命令速查宝典!
    对于刚开始学习Kubernetes的人来说,理解和掌握kubectl命令是入门的第一步。kubectl是Kubernetes的命令行工具,用于管理Kubernetes集群中的资源。在这篇文章中,我们将总结一些最常用的kubectl命令,通过简明的介绍和示例,让你在5分钟内快速上手Kubernetes,优雅地开始使用K8......
  • pg 流复制集群部署和介绍
    一、流复制集群介绍postgresql在9.x以前是基于wal日志传送的方式进行复制的,当一个wal写完进行切换之后才会把该wal日志文件传送到备库进行应用,这样延迟比较大。9.x以后支持流复制,所谓流复制就是主服务器在WAL记录产生时即将它们以流式传送给备服务器而不必等到WAL文件被......