架构
简单说一下 Calico 架构,Calico 是一个基于三层的数据中心网络方案,可作为 CNI 插件为运行于 Kubernetes 中的容器提供基于 TCP/IP 三层的网络通信方案,也可与 OpenStack 这种 IaaS 云架构集成,利用 BGP,IPIP 等协议为工作负载提供网络联通功能,能够提供高效可控的 VM、容器、物理机之间的通信。
Calico的核心组件包括:
- Felix,Calico Agent,运行在每个容器宿主节点上,主要负责配置路由、ACL等信息来确保容器的联通状态;
- Etcd ,分布式的 Key/Value 存储,负责网络元数据一致性,确保 Calico 网络状态的准确性;
- BGP Client(Bird) ,主要把 Felix 写入 Kernel 的路由信息分发到 Calico 网络,保证容器间的通信有效性;
- BGP Route Reflector (简称:RR ),路由反射器,默认 Calico 工作在 node-mesh 模式,所有节点互相连接, node-mesh 模式在小规模部署时工作是没有问题的,当大规模部署时,连接数会非常大,消耗过多资源,利用 BGP RR ,可以避免这种情况的发生,通过一个或者多个 BGP RR 来完成集中式的路由分发,减少对网络资源的消耗以及提高 Calico 工作效率、稳定性。
其中名词概念:
- Endpoint :接入到Calico网络中的网卡称为Endpoint (这里即POD)
- AS :网络自治系统,通过BGP协议与其它的AS交换路由信息 (自治网络拥有独立交换机、路由器等,可独立运转)
- IBGP:AS内部的BGP_Speaker,与相同AS的ibgp、ebgp交换路由信息
- EBGP:AS边界的BGP_Speaker,与相同AS的ibgp、以及不同AS的ebgp交换路由信息
- BGP:端口 179,BIRD 建立TCP/179的连接
网络模式
vxlan
略,不走bgp
IPIP
也走 bgp
IPIP 需要内核模块 ipip.ko 使用命令查看内核是否加载IPIP模块lsmod | grep ipip ;使用命令modprobe ipip 加载
BGP
安装配置
选择与k8s 兼容的最新版本
1)下载 yaml 文件
curl https://docs.projectcalico.org/archive/v3.18/manifests/calico.yaml -O
2)修改 yaml 文件
-
修改镜像地址为 内部仓库地址
sed -i 's/docker.io/xxx.xxx.xxx/g' calico.yaml
-
CALICO_IPV4POOL_CIDR 参数 为 实际 POD 的CIDR
-
在 value: "autodetect 后新增以下两行参数
- name: IP_AUTODETECTION_METHOD value: "interface=bond4,eth0"
3)apply yaml 文件进行安装
kubectl apply -f calico.yaml
4)生产 yaml 文件
bgpconfig.yaml
, 关闭 fullmesh,LOCAL_AS、service cidr 根据实际情况修改
apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
name: default
spec:
logSeverityScreen: Info
nodeToNodeMeshEnabled: false
asNumber: {{ LOCAL_AS }}
serviceClusterIPs:
- cidr: xx.xx.xx.xx/xx
peer.yaml
,建立全局 bgppeer,和交互机建联,tor模式,PEER_IP,AS_NUMBER 根据实际情况修改
apiVersion: projectcalico.org/v3
kind: BGPPeer
metadata:
name: peer
spec:
peerIP: {{ PEER_IP }}
asNumber: {{ AS_NUMBER }}
calico-nat
,指定 ippool,kube_pods_subnet 为 pod 的 CIDR
apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
name: default-ipv4-ippool
spec:
cidr: {{ kube_pods_subnet }}
natOutgoing: false
5) 下载 calicoctl 二进制文件
curl -L https://github.com/projectcalico/calicoctl/releases/download/v3.18.6/calicoctl -o /usr/bin/calicoctl
chmod +x /usr/bin/calicoctl
6) 生成 calicoclt 的配置文件
mkdir -p /etc/calico/
vim /etc/calico/calicoctl.cfg
apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:
datastoreType: "kubernetes"
kubeconfig: "/root/.kube/config"
7)calicoctl apply 一些规则
calicoctl apply -f bgpconfig.yaml && calicoctl apply -f peer.yaml && calicoctl apply -f calico-nat.yaml
版本升级
升级官方文档:Upgrade Calico on k8sopen in new window
总共分三步,备份,下载新的yaml文件和calicoctl 二进制文件,按原来的安装方式进行修改,最后 apply 进行升级
tips:calico-node 可能会缺少权限,根据报错添加权限即可
监控
开启监控
calicoctl patch felixconfiguration default --patch '{"spec":{"prometheusMetricsEnabled": true}}'
calicoctl get felixConfiguration default -o yaml
新增 service 和 servicemonitor 用于 监控发现 servicemonitor.yaml
apiVersion: v1
kind: Service
metadata:
name: felix-metrics-svc
namespace: kube-system
labels:
k8s-app: calico
spec:
clusterIP: None
selector:
k8s-app: calico-node
ports:
- name: calico-metrics
port: 9091
targetPort: 9091
protocol: TCP
---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: calico-prometheus-servicemonitor
namespace: kube-system
labels:
name: calico-prometheus-servicemonitor
release: monitoring
spec:
selector:
matchLabels:
k8s-app: calico
namespaceSelector:
matchNames:
- kube-system
endpoints:
- port: calico-metrics
apply
kubectl apply -f servicemonitor.yaml
最后 grafana dashboard 进行导入即可
TOR 模式 改为 RR 路由反射模式
减少交换机压力
删除旧的 BGPPeer ,建立新的 bgppeer 即可,拿一台 node 节点 和所有其他 node 建联,然后 这台 node 再和交互机建联即可
Node 跨网段时,调整 IPIP 封装策略为 CrossSubnet
, 设置后发现 跨网段的node 中pod 到master 不通,ipip又改为 Never了
⚠️ 同一组 rr 设置相同的 routeReflectorClusterID,要手动修改
tips: nat 和 ipip mode 的改变,最终生效 再 calicoctl get ippools 、可以kubectl edit ippools.crd.projectcalico.org
参考:https://rainwu.cn/archives/calico-rr-guide
注意事项
路由黑洞问题
要解决路由黑洞问题问题,首先,除了对整个Calico 的IP Pool总量进行监控外,还需要对可用的IP Block进行监控,确保不会出现IP Block不够分的情况,或者或者IP地址Block借用的情况;
ToDo 高级功能:带宽限制、固定IP、+ 插件固定IP组
标签:calicoctl,配置,calico,BGP,yaml,安装,Calico,路由 From: https://www.cnblogs.com/david-cloud/p/18291673