首页 > 其他分享 >calico的两种网络模式BGP和IP-IP性能分析 iperf3

calico的两种网络模式BGP和IP-IP性能分析 iperf3

时间:2023-03-10 09:23:25浏览次数:42  
标签:iperf3 sender IP sum BGP receiver print pod

转载自:https://www.cnblogs.com/dgp-zjz/p/13212416.html

========

 

原文链接:https://mp.weixin.qq.com/s/688PEOWBhXxDz0eQpd1ydw

目前使用较多的网络插件有flannel,calico,canel等,但是如果对比以上几种网络插件的性能,还是calico最受欢迎

一、calico概述

1.calico介绍

Calico是一个纯三层的网络插件,calico的bgp模式类似于flannel的host-gw

calico方便集成 OpenStack这种 IaaS云架构,为openstack虚拟机、容器、裸机提供多主机间通信。

2.calico原理

calico是一个纯三层的虚拟网络,它没有复用docker的docker0网桥,而是自己实现的, calico网络不对数据包进行额外封装,不需要NAT和端口映射,扩展性和性能都很好。Calico网络提供了DockerDNS服务, 容器之间可以通过hostname访问,Calico在每一个计算节点利用LinuxKernel实现了一个高效的vRouter(虚拟路由)来负责数据转发,它会为每个容器分配一个ip,每个节点都是路由,把不同host的容器连接起来,从而实现跨主机间容器通信。而每个vRouter通过BGP协议(边界网关协议)负责把自己节点的路由信息向整个Calico网络内传播——小规模部署可以直接互联,大规模下可通过指定的BGProute reflector来完成;Calico基于iptables还提供了丰富而灵活的网络策略,保证通过各个节点上的ACLs来提供多租户隔离、安全组以及其他可达性限制等功能。

3.calico网络模式

1)IPIP

把一个IP数据包又套在一个IP包里,即把IP层封装到IP层的一个 tunnel,它的作用其实基本上就相当于一个基于IP层的网桥,一般来说,普通的网桥是基于mac层的,根本不需要IP,而这个ipip则是通过两端的路由做一个tunnel,把两个本来不通的网络通过点对点连接起来;

calico以ipip模式部署完毕后,node上会有一个tunl0的网卡设备,这是ipip做隧道封装用的,也是一种overlay模式的网络。当我们把节点下线,calico容器都停止后,这个设备依然还在,执行 rmmodipip命令可以将它删除。

2)BGP

边界网关协议(BorderGateway Protocol, BGP)是互联网上一个核心的去中心化的自治路由协议。它通过维护IP路由表或‘前缀’表来实现自治系统(AS)之间的可达性,属于矢量路由协议。BGP不使用传统的内部网关协议(IGP)的指标,而是基于路径、网络策略或规则集来决定路由。因此,它更适合被称为矢量性协议,而不是路由协议,通俗的说就是将接入到机房的多条线路(如电信、联通、移动等)融合为一体,实现多线单IP;

BGP 机房的优点:服务器只需要设置一个IP地址,最佳访问路由是由网络上的骨干路由器根据路由跳数与其它技术指标来确定的,不会占用服务器的任何系统;

官方提供的calico.yaml模板里,默认打开了ip-ip功能,该功能会在node上创建一个设备tunl0,容器的网络数据会经过该设备被封装一个ip头再转发。这里,calico.yaml中通过修改calico-node的环境变量:CALICO_IPV4POOL_IPIP来实现ipip功能的开关:默认是Always,表示开启;Off表示关闭ipip。

二、性能评测指标

1.ping延迟: 用ping测试hosts之间和pods之间的延迟

2.带宽测试: 用iperf测试hosts之间和pods之间的带宽

3.HTTP性能测试: 部署单进程nginx server并使用apache benchmark(ab)测试

三、物理机性能评测

1.ping延迟:

登录到master1节点,运行ping master2 测试延迟

通过下面的脚本例子计算ping延迟的平均值

1 ping master2 | head -n 20 | gawk'/time/ {split($8, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'

 结论:相互之间多次ping测试。延迟一般在60-64ms

2.iperf带宽:

(1)查看物理机带宽

登录到master1节点

ethtool ens160

上面可以看到物理机带宽为万兆

(2)用iperf开始测试带宽

登陆到master1和master2节点,安装iperf,yum install iperf -y

在master2上启动iperf服务

iperf server:iperf -s           显示如下:

在master1上启动客户端命令:

iperf -c master2 -i 1

 

iperf -c master2 -u -t 60 -b 1000M

iperf -c master2 -u -t 60 -b 2000M

结论:物理机iperf带宽4.51 Gbits/sec

3.nginx benchmark

在master1节点运行一个nginx的pod

docker run --name nginx-test -p 8050:80 nginx

在master2节点通过ab进行压测

1 ab -n 90000 -c 50 http://172.16.0.1:8050/

 四、物理机到pod之间的性能测评

1.带宽

测试master1到node3节点上的pod之间的带宽

运行一个iperf3的pod

kubectl run iperf3 --image=networkstatic/iperf3 --replicas=3 -- iperf3 -s

kubectl  get  pods  -o wide  

iperf3 -c 10.244.5.149 -i 1

结论:master1和node3上的pod之间的带宽是4.06Gbits/s

五、pod到pod之间的性能测评

1.带宽

测试node3上的pod到node2上的pod的带宽

登录到node3上的pod

kubectl exec -it iperf3-57d88c87b4-89kxw -- /bin/sh

iperf3 -c 10.244.4.213 -i 1

结论:node3上的pod和node2上的pod之间的带宽是5.40Gbits/s

六、calico使用ipip网络模式

1.测试带宽,测试10次取平均值:

(1) 物理机到物理机/master1------>master2

在master2上  iperf3 -s

在master1上执行测试脚本:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 cat iperftest.sh   #!/bin/bash   for i in {1..10}; do if ["$i" -eq"1" ] then iperf3 -c master2  > iperf3data else iperf3 -c master2  >> iperf3data fi done cat iperf3data | grep sender | awk'{print $7}' > sender cat iperf3data | grep receiver | awk'{print $7}' > receiver awk'{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk'{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver

结论:

sender Avg=  5.07

receiver Avg=  5.068

(2)物理机到pod/master1------>node3上的pod(pod:iperf3-57d88c87b4-89kxw   ip:10.244.5.149)

在master1上执行测试脚本:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 cat iperftest.sh   #!/bin/bash for i in {1..10}; do if ["$i" -eq"1" ] then iperf3 -c 10.244.5.149  > iperf3data else iperf3 -c 10.244.5.149  >> iperf3data fi done cat iperf3data | grep sender | awk'{print $7}' > sender cat iperf3data | grep receiver | awk'{print $7}' > receiver awk'{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk'{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver

结论:

sender Avg=  4.436

receiver Avg=  4.435

(3).pod到pod/node3节点pod((pod:iperf3-57d88c87b4-89kxw   ip:10.244.5.149))------>node2上的pod(pod:iperf3-57d88c87b4-fmkcj   ip:10.244.4.213 )

在node3的pod上执行测试脚本:

kubectl  exec  -it iperf3-57d88c87b4-89kxw  -- /bin/sh

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 cat iperftest.sh   #!/bin/bash for i in {1..10}; do if ["$i" -eq"1" ] then iperf3 -c 10.244.4.213  > iperf3data else iperf3 -c 10.244.4.213  >> iperf3data fi done cat iperf3data | grep sender | awk'{print $7}' > sender cat iperf3data | grep receiver | awk'{print $7}' > receiver awk'{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk'{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver

结论:

sender Avg=  4.76

receiver Avg=  4.75889

2.测试ping延时,测试20次取平均值:

(1).物理机到物理机/master1------>master2

登录到master1节点,运行ping master2 测试延时

通过下面的脚本例子计算ping延迟的平均值

ping master2 | head -n 20 | gawk '/time/ {split($8, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'

结论:多次ping取平均值,延迟一般在0.189158ms

(2).物理机到pod/master1------>node3上的pod(pod:iperf3-57d88c87b4-89kxw   ip:10.244.5.149)

ping 10.244.5.149 | head -n 20 | gawk '/time/ {split($7, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'

结论:多次ping取平均值,延迟一般在0.297368ms

(3).pod到pod/node3节点pod((pod:iperf3-57d88c87b4-89kxw   ip:10.244.5.149))------>node2上的pod(pod:iperf3-57d88c87b4-fmkcj   ip:10.244.4.213 )

kubectl exec -it iperf3-57d88c87b4-89kxw -- /bin/bash

ping 10.244.4.213 | head -n 20 | awk '/time/ {split($7, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'

结论:多次ping取平均值,延迟一般在0.312ms

七、calico使用bgp网络模式

1.测试带宽,测试10次取平均值:

(1).物理机到物理机/master1------>master2

在master2上  iperf3 -s

在master1上执行测试脚本:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 cat iperftest.sh   #!/bin/bash for i in {1..10}; do if ["$i" -eq"1" ] then iperf3 -c master2  > iperf3data else iperf3 -c master2  >> iperf3data fi done cat iperf3data | grep sender | awk'{print $7}' > sender cat iperf3data | grep receiver | awk'{print $7}' > receiver awk'{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk'{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver

结论:

sender Avg=  5.081

receiver Avg=  5.079

(2).物理机到pod/master1------>node3上的pod(pod:iperf3-57d88c87b4-wbpqn   ip:10.244.5.156)

在master1上执行测试脚本:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 cat iperftest.sh   #!/bin/bash for i in {1..10}; do if ["$i" -eq"1" ] then iperf3 -c 10.244.5.156  > iperf3data else iperf3 -c 10.244.5.156  >> iperf3data fi done cat iperf3data | grep sender | awk'{print $7}' > sender cat iperf3data | grep receiver | awk'{print $7}' > receiver awk'{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk'{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver

结论:

sender Avg=  4.679

receiver Avg=  4.679

(3).pod--->pod

结论:跨节点pod之间不能通信

2.测试ping延时,测试20次取平均值:

(1).物理机到物理机/master1------>master2

登录到master1节点,运行ping master2 测试延时

通过下面的脚本例子计算ping延迟的平均值

ping master2 | head -n 20 | gawk '/time/ {split($8, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'

结论:多次ping取平均值,延迟一般在0.188842ms

(2).物理机到pod/master1------>node3上的pod(pod:iperf3-57d88c87b4-wbpqn   ip:10.244.5.156)

ping 10.244.5.156 | head -n 20 | gawk '/time/ {split($7, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'

结论:多次ping取平均值,延迟一般在0.268053ms

(3).pod到pod节点

结论:跨节点pod之间不能通信

 上述两种网络模式网络性能总结表

结论:

calico使用BGP网络模式通信网络传输速率较好,但是跨节点后pod不能通信。

标签:iperf3,sender,IP,sum,BGP,receiver,print,pod
From: https://www.cnblogs.com/hd92/p/17202240.html

相关文章

  • Zip Slip漏洞审计实战
    前言最近看到许少的推有说到ZipSlip这个漏洞导致的RCE,其实我在代码审计的时候确实发现有不少功能模块都是使用ZIP来解压,其实还是在真实系统中经常见到的。于是想着好久......
  • vue获取公网ip
    <template><div><div>YourPublicIP:{{publicIP}}</div></div></template><script>exportdefault{data(){return{publicIP:''......
  • CentOS7 配置动态ip
    [root@FortA]#vim/etc/sysconfig/network-scripts/ifcfg-ens32 #修改网卡配置信息TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="dhcp"DEFROU......
  • CentOS7 配置静态ip
    修改启动协议BOOTPROTO=static根据大家自己的环境,ip地址可能略有不同。接下来重启网络服务systemctlrestartnetwork重启之后xshell可能无响应,这是因为ip变了,公网DN......
  • ipcs命令 – 多进程间通信常用的工具
    ipcs命令–多进程间通信常用的工具–Linux命令大全(手册)(linuxcool.com)语法格式:ipcs[参数]常用参数:参数解释-m打印出使用共享内存进行进程间通讯的......
  • IDEA中使用JDBC连接MySQL数据库报错:No appropriate protocol (protocol is disabled o
    在IDEA中使用JDBC连接MySQL,程序运行之后报错:  定位到第16行:  根据上面报错提示,在url参数字段最前面添加参数 useSSL=false :  再次运行程序,成功连接到......
  • 在教学中常被问到的几个vue3.x与typescript的问题,统一解答
    在教学当中,学生在学习vue3.x时,常常会问到typescript和vue3.x之间的关系,感觉这两个技术总是绑在一起的,下面老赵来统一解答一下: 那学vue3.x,为什么要求也要掌握typescrip......
  • ip2region 在nodejs中的使用
    ip2region在nodejs中的使用ip2regionv2.0-是一个离线IP地址定位库和IP定位数据管理框架,10微秒级别的查询效率,提供了众多主流编程语言的xdb数据生成和查询客户端实......
  • linux 配置IP地址的三种方法
    方法1:图形化界面打开网络,直接配置:IP:172.16.129.108子网掩码:255.255.255.0网关:172.16.129.254方法2:ifconfig命令使用ifconfig命令配置ip地址,通常用来临时测试用,重启后ip地址......
  • javascript | 刷新页面的方式
    方式序号方法1history.go()2location.reload()3location=location4location.assign(location.href)5location.replace(location.href)6l......