标签：VTEP IP flannel.1 模式 10.244 MAC k8s vxlan flannel

环境介绍

两Pod的ip和mac信息

两节点物理网卡和flannel.1的ip和mac信息

原理解析

我们使用k8s-1上的pod cni-w4q8t 去ping k8s-2上的pod cni-m9l94 对于pod cni-w4q8t 要去的目的地址10.244.1.5 和自己10.244.0.3并不是同一个网段： 我们需要进行路由查询

需要查询Gateway 10.244.0.1所对应的MAC地址

此时数据包送到ROOT NS中，那么就开始走ROOT NS的逻辑。 查询宿主机路由表可得

需要注意的是：多条路由条目时候，除了网关很重要以外，出接口也非常的重要，每一个出接口都有对应的MAC地址。如要发送请求需要知道 由上述路由信息，我们可以得到两条重要信息： 1: 网关是10.244.1.0 该地址是k8s-2节点上的flannel.1（VTEP）的地址。 2. 数据的出接口为flannel.1。也就是说数据包要从此接口发出。 这里的转发：需要查询到地址10.244.1.0对应的MAC地址（flannel网络中，为避免地址冲突，将VTEP设备中flannel.1网卡IP都设为.0地址，正常情况下IP是从1开始，所以不会有任何IP跟flannel.1冲突）。 根据路由表信息我们知道了目的VTEP设备的IP地址，而根据三层IP地址查询二层MAC地址正是ARP表的功能。 而这里用ARP表的记录，也就是flanneld进程在k8s-2节点启动时，自动添加到API-server和k8s各节点上的，所以此时ARP就自动在k8s-1的节点上缓存下来了，也就意味着此时k8s-1不再需要查询ARP了。 #################### 所以此时的数据报文形式为： S_IP: 10.244.0.3 S_MAC: $k8s-1_flannel.1_MAC # [06:85:e5:d3:67:f1] D_IP: 10.244.1.5 D_MAC: $k8s-2_flannel.1_MAC # [e2:49:6e:06:0d:d0] 在flannel.1网卡抓包显示

注意：源MAC地址是当前网卡的MAC(当前节点VTEP网卡flannel.1)，目的MAC为下一跳MAC(对端节点flannel.1的MAC)，但源IP与目的IP不变，仍是pod对应IP   2.3：由于flannel.1在此环境中同时还扮演VxLAN VTEP的角色，所以需要对应的方式去封装VxLAN的数据报文。 此时涉及到Inner和Outer的IP和MAC信息问题：[注意：此时的封装数据包是在flannel.1这个VTEP设备的指导下做数据报文的封装----非常重要] 那么对于k8s-1上的这个VTEP flannel.1它现在知道它所在宿主机上的Outer的S_IP和S_MAC。也知道Inner的S_IP和S_MAC 和 D_IP和D_MAC。 但是唯独不知道的是Outer的D_IP。也就是说不知道10.244.1.0这个地址下的flannel.1在哪一个节点上。 在Linux内核里面，网桥设备进行二层转发的依据来自FDB表的转发数据库。这个flannel网桥对应的FDB信息，就是flanneld进程维护的。   所以我们查询： bridge fdb show | grep $10.244.1.0's_MAC [root@k8s-1 ~]# bridge fdb show | grep e2:49:6e:06:0d:d0 e2:49:6e:06:0d:d0 dev flannel.1 dst 172.12.1.12 self permanent [root@k8s-1 ~]# 由fdb转发信息，我们可以得出10.244.1.0此vtep所在node是172.12.1.12 到此k8s-1上的VTEP flannel.1获得了所有的封装包信息： 然后此时外部的IP信息为：S_IP：172.12.1.11 D_IP：172.12.1.12 封包后需要再次查询路由表信息：

在ens33网卡抓包显示

标签：VTEP,IP,flannel.1,模式,10.244,MAC,k8s,vxlan,flannel
From： https://www.cnblogs.com/lijin543/p/17352684.html