一、问题产生
1. k8s集群部署后发现calico的pod未通过健康检查,如下所示:
kubectl get pods -A -o wide
可以看到 k8s-mater节点未Ready,会导致主节点访问node显示拒接连接。即: curl 10.0.169.144 显示为拒绝连接
2. 通过命令kubectl describe pods calico-node-7cnct -n kube-system,查看其中一个pod信息,如下所示:
kubectl describe pods calico-node-8lb6j -n kube-system
二、解决方法
解决方案:调整calicao网络插件的网卡发现机制,修改IP_AUTODETECTION_METHOD对应的value值。官方提供的yaml文件中,ip识别策略(IPDETECTMETHOD)没有配置,即默认为first-found,这会导致一个网络异常的ip作为nodeIP被注册,从而影响node-to-node mesh。我们可以修改成can-reach或者interface的策略,尝试连接某一个Ready的node的IP,以此选择出正确的IP。
操作如下:
2.1 查看本机网卡信息
2.2 修改 calico.yaml文件
# 修改calico的yaml文件,添加配置项
vim calico.yaml
# Cluster type to identify the deployment type
- name: IP_AUTODETECTION_METHOD #增加内容
value: "interface=ens.*" 或者 value: "interface=ens33" #增加内容
# 下面内容是calico.yaml里默认的不修改
- name: CLUSTER_TYPE
value: "k8s,bgp"
# Auto-detect the BGP IP address.
- name: IP
value: "autodetect"
# Enable IPIP
- name: CALICO_IPV4POOL_IPIP
value: "Always"
2.3 重新在master节点上部署
kubectl apply -f calico.yaml
2.4 查看结果
kubectl get pods -n kube-system
curl 10.0.169.144