Calico 网络配置概述
通常,我们建议在没有网络覆盖/封装的情况下运行Calico。这为您提供了最高性能和最简单的网络;离开工作负载的数据包就是传输到网络上的数据包。
然而,当在无法轻松了解工作负载IP的底层网络上运行时,选择性地使用覆盖/封装可能会很有用。一个常见的例子是,如果您在AWS中跨多个VPC/子网使用Calico网络。在这种情况下,Calico可以选择性地只封装在VPC/子网之间路由的流量,并在每个VPC/个子网内不封装地运行。您还可以决定将整个Calico网络封装为覆盖网络来运行,这是一种快速入门的方法,无需在底层网络中设置BGP对等或其他路由信息。
Calico 网络概念
路由工作负载 IP 地址
网络通过静态路由或 BGP 路由分配等第 3 层路由技术或第 2 层地址学习来了解工作负载 IP 地址。因此,它们可以将未封装的流量路由到最终目的地端点的正确主机。但是,并非所有网络都能够路由工作负载 IP 地址。例如,您不拥有硬件的公共云环境、跨 VPC 子网边界的 AWS 以及您无法通过 BGP 对等 Calico 与底层网络或轻松配置静态路由的其他场景。这就是 Calico 支持封装的原因,因此您可以在工作负载之间发送流量,而无需底层网络了解工作负载 IP 地址。
封装类型
Calico 支持两种类型的封装:VXLAN 和 IP in IP。在某些不支持 IP in IP 的环境中(例如 Azure)支持 VXLAN。VXLAN 的每个数据包开销稍高,因为标头较大,但除非您运行网络密集型工作负载,否则您通常不会注意到差异。两种封装类型之间的另一个小区别是 Calico 的 VXLAN 实现不使用 BGP,而 Calico 的 IP in IP 实现在 Calico 节点之间使用 BGP。
跨子网
通常,仅当流量经过无法自行路由工作负载 IP 地址的路由器时,才需要对工作负载流量进行封装。Calico 可以对以下内容执行封装:所有流量、无流量或仅对跨越子网边界的流量执行封装。
Calico 网络最佳实践
Calico有一个选项,可以选择性地只封装跨越子网边界的流量。我们建议将跨子网选项与IP-in-IP或VXLAN一起使用,以最大限度地减少封装开销。跨子网模式在AWS多AZ部署、Azure VNET以及使用路由器连接具有L2连接的节点池的网络中提供了更好的性能。
请注意,切换封装模式可能会导致正在进行的连接中断。应制定相应的计划。
Calico 网络资源自定义
1. DaemonSet/calico-node 容器。
2. Calico CNI二进制文件和网络配置。
3. deployment/calico-kube-controllers 控制器。
4. secret/calico-etcd-secrets
5. ConfigMap/calico-config 配置安装的参数。
IP Pool
IP 池资源清单
apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
name: <string> # 此 IPPool 资源的名称
spec:
cidr: <string> # 用于此池的 IP 范围,有效的 IPv4 或 IPv6 CIDR。子网长度必须至少足够大以容纳单个块(默认情况下对于 IPv4 的掩码为/26,IPv6 的掩码为/122 )
blockSize:<int> # 此池使用的分配块的CIDR大小。块按需分配给主机,并用于聚合路由。只有在创建池时才能设置该值。IPv4为20至32(含),IPv6为116至128(含),默认情况下对于 IPv4 的掩码为/26,IPv6 的掩码为/122
ipipMode: <string> # 定义使用IPIP的模式。不能与vxlanMode同时设置。 可选值:Always, CrossSubnet, Never
vxlanMode: <string> # 定义使用vxlan的模式。不能与ipipMode同时设置。 可选值:Always, CrossSubnet, Never
natOutgoing: <boolean> # 启用后,从该池中的Calico网络容器发送到任何Calico IP池之外的目的地的数据包将被伪装。可选值:true, false
disabled: <boolean> # 如果设置为true,Calico IPAM将不会分配此池中的地址。可选值:true, false
disableBGPExport: <boolean> # 禁用导出通过BGP从此IP池的CIDR路由。可选值:true, false
nodeSelector: <selector> # 选择Calico IPAM应将此池中的地址分配给的节点。
allowedUses: <list of strings> # 控制池是否用于某些类型的自动分配。可选值:Workload, Tunnel, 默认为["Workload", "Tunnel"]
- Workload
- Tunnel
示例
apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
name: my.ippool-1
spec:
cidr: 10.1.0.0/16
ipipMode: CrossSubnet
natOutgoing: true
disabled: false
nodeSelector: all()
allowedUses:
- Workload
- Tunnel
配置默认 IP 池
默认 IP 池由 Calico 在安装时自动配置。您可以根据安装方法配置这些默认 IP 池。
operator 部署
对于运营商管理的集群,您可以在默认安装的IP池部分配置封装。例如,以下安装片段将跨子网启用VXLAN。
kind: Installation
apiVersion: operator.tigera.io/v1
metadata:
name: default
spec:
calicoNetwork:
ipPools:
- cidr: 192.168.0.0/16
encapsulation: VXLANCrossSubnet
manifests 部署
对于Calico的清单安装,您可以在Calico节点守护程序集的环境中使用CALICO_IPV4POOL_VXLAN和CALICO_IPV4POOL_IPIP(以及用于IPv6的CALICO_Ipv6POOL_VXLAN)环境变量来控制默认的IP池封装模式。使用CALICO_IPV4POOL_CIDR环境变量来控制默认 IP 范围
# Enable IPIP
- name: CALICO_IPV4POOL_IPIP
value: "Always"
# Enable or Disable VXLAN on the default IP pool.
- name: CALICO_IPV4POOL_VXLAN
value: "Never"
# Enable or Disable VXLAN on the default IPv6 IP pool.
- name: CALICO_IPV6POOL_VXLAN
value: "Never"
# IPV4地址池的定义,value值需要与kube-controller-manager的--cluster-network选项的值保持一致
- name: CALICO_IPV4POOL_CIDR
value: "192.168.0.0/16"
查看IP池
# calicoctl get ipPool default-ipv4-ippool -o yaml
apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
name: default-ipv4-ippool
spec:
blockSize: 24
cidr: 10.244.0.0/16
ipipMode: Always
natOutgoing: true
nodeSelector: all()
vxlanMode: Neve
IPAM
在地址分配方面,Calico在JSON格式的CNI插件配置文件中使用专有的calico-ipam插件,该插件并不会使用Node.podCIDR 中定义的子网作为节点本地为Pod分配地址的地址池,而是根据Calico插件为各节点配置的地址池进行地址分配。
使用 host-local IPAM
operator 部署
kind: Installation
apiVersion: operator.tigera.io/v1
metadata:
name: default
spec:
calicoNetwork:
ipPools:
- cidr: 192.168.0.0/16
- cidr: 2001:db8::/64
cni:
type: Calico
ipam:
type: HostLocal
manifests 部署
需要在部署清单中DaemonSet/calico-node资源的Pod模板的calico-node容器添加USE_POD_CIDR环境变量值设置为true,并修改ConfigMap/calico-config资源中cni_network_config键的plugins.ipam.type值为host-local,且使用podCIDR为子网
使用CNI主机本地IPAM插件时,subnet字段允许使用两个特殊值usePodCidr和usePodCirIPv6。这告诉插件根据Node.Spec.PodCIDR字段从Kubernetes API中确定要使用的子网。Calico不使用范围的网关字段,因此该字段不是必需的,如果存在,则会被忽略。
DaemonSet/calico-node资源的Pod模板的calico-node容器添加USE_POD_CIDR环境变量值设置为true
# Calico默认并不会从Node.Spec.PodCIDR中分配地址,但可通过将如下变量设置为true并结合host-local这一IPAM插件来强制从PodCIDR中分配地址
- name: USE_POD_CIDR
value: "true"
ConfigMap/calico-config资源中cni_network_config键的plugins.ipam.type值为host-local,且使用podCIDR为子网
{
"name": "any_name",
"cniVersion": "0.1.0",
"type": "calico",
"kubernetes": {
"kubeconfig": "/path/to/kubeconfig",
"node_name": "node-name-in-k8s"
},
"ipam": {
"type": "host-local",
"ranges": [[{ "subnet": "usePodCidr" }], [{ "subnet": "usePodCidrIPv6" }]],
"routes": [{ "dst": "0.0.0.0/0" }, { "dst": "2001:db8::/96" }]
}
}
在Kubernetes API数据存储中使用host-local IPAM时,配置在calico/node和Typha deployemt中的node.podCIDR字段设置环境变量USE_POD_CIDR=true。
查看IP分配情况
# calicoctl ipam show --show-blocks
+----------+-------------------------------------------+------------+------------+-------------------+
| GROUPING | CIDR | IPS TOTAL | IPS IN USE | IPS FREE |
+----------+-------------------------------------------+------------+------------+-------------------+
| IP Pool | 10.65.0.0/16 | 65536 | 5 (0%) | 65531 (100%) |
| Block | 10.65.79.0/26 | 64 | 5 (8%) | 59 (92%) |
| IP Pool | fd5f:abcd:64::/48 | 1.2089e+24 | 7 (0%) | 1.2089e+24 (100%) |
| Block | fd5f:abcd:64:4f2c:ec1b:27b9:1989:77c0/122 | 64 | 7 (11%) | 57 (89%) |
+----------+-------------------------------------------+------------+------------+-------------------+
IP-in-IP网络
默认起用的网络。
从 IP-in-IP 切换到 VXLAN
将环境变量名称CALICO_IPV4POOL_IPIP替换为CALICO_IPV 4POOL_VXLAN。将新变量的值保留为“Always”。
完全禁用Calico IP-in-IP基于BGP的网络:
将ConfigMap/calico-node 中 calicobackend:“bird”替换为calicobackend:“vxlan”。这将禁用BIRD。
在DaemonSet/calico-node资源的Pod模型中禁用calico-node容器的存活探针和就绪探针对bird的检测
禁用IP-in-IP
# 设置在IPv4类型的地址池上启用的IP-IP及其类型,支持3种可用值 Always(全局流量)、Cross-SubNet(跨子网流量)和Never
- name: CALICO_IPV4POOL_IPIP
value: "Never"
# 是否在IPV4地址池上启用VXLAN隧道协议,取值及意义与Flannel的VXLAN后端相同,但在全局流量启用VXLAN时将完全不再需要BGP网络,建议将相关的组件禁用
- name: CALICO_IPV4POOL_VXLAN
value: "Always"
禁用BGP
将ConfigMap/calico-node 中 calicobackend:“bird”替换为calicobackend:“vxlan”。这将禁用BIRD。
kind: ConfigMap
apiVersion: v1
metadata:
name: calico-config
namespace: kube-system
data:
# Typha is disabled.
typha_service_name: "none"
# Configure the backend to use.
calico_backend: "vxlan"
...
在DaemonSet/calico-node资源的Pod模型中禁用calico-node容器的存活探针和就绪探针对bird的检测
livenessProbe:
exec:
command:
- /bin/calico-node
- -felix-live
# - -bird-live
readinessProbe:
exec:
command:
- /bin/calico-node
# - -bird-ready
- -felix-ready
参考文档
https://docs.tigera.io/calico/latest/networking/configuring/vxlan-ipip
标签:node,name,IP,配置,网络,calico,Calico,VXLAN From: https://www.cnblogs.com/wangguishe/p/17651504.html