工作中的网络知识之四_时延

时延的巨大影响

高性能最大的杀手是时延. 
不管是CPU取指还是取操作数.
还是内存读取和写入
还是磁盘的读写.
以及网络的收发包. 

高性能最大的屏障其实是时延. 
本机的很多时延可以通过增加cache, 增加索引, 
利用程序的时间和空间局限性进行优化. 

网络层一般采用的是 RDMA的模式进行优化. 
AIGC时代需要极低时延的网络设备, 所以英伟达收购了迈洛斯

Oracle的一体机最开始也是使用40GB的IB交换机. 
虽然最新的Oracle exadata X9M已经更换成了100GB的 RoCE的网卡
但是都是采取RDMA的方式减少网络时延

很多资料说明
IP在内核层有 50us 的时延. 
RoCE可以做到 5us 的时延. 
IB可以做到   2us 的时延. 

所以在很多场景下, 不要低估低于1ms和等于1ms的时延差异导致的性能差距. 

时延的几个数据

同一个虚拟机:            延迟: 12us       带宽: 6GB/S
同一个物理机上面的虚拟机: 延迟: 50us-100us 带宽: 1.2GB/S
同一个交换机上面的虚拟机: 延迟: 60us       带宽: 120MB/S
不同园区的虚拟机:        延迟: 460us      带宽:  80MB/S

测试用的命令为:
qperf -vvs -t 60  10.24.21.30 tcp_lat
qperf -vvs -t 60  10.24.21.30 tcp_bw

当时测试的结论:
1. 在本机的情况下 127.0.0.1和实际IP地址其实都是一样的.
   不轮是带宽和时延. 都是一致的. 
   不需要认为输入本机IP地址不如127.0.0.1的性能好了. 
2. 本机的性能是最好的 延迟只有12us. 
   跨越机房的速度最慢,我这边20km左右距离的机房就产生了 400多微秒的时延.
   同一个交换机上面的机器的时延大概是本机的5到10倍. 
   同一个物理机上面不通虚拟机的时延也是本机的5到十倍
   虚拟交换机的效率虽然没有物理网线, 但是与实际交换机效果差不多.

关于时延与TCP/IP的关系

TCP/IP是一个非常庞大的协议簇
里面的内容非常复杂, 自己计算机网络部分学习的不是很深入.

时延会在很多协议层的算法加持下产生巨大的影响.
最大的影响因子是 冲突算法 

CSMA/CD（Carrier Sense Multiple Access/collision detection)
带有冲突检测的载波侦听多路存取

以太网上面的机器为了避免流量拥堵, 会使用冲突检测的方式进行包的发送. 
他的方式是慢慢的增加发送包的效率, 直到发送的包无法获取成功返回的response
然后再降低一定发包频率, 来实现最终的最大带宽使用率

跟一开始说的一样, 一个TCP链接,最差的一个设备来决定整个链路的性能. 
所以这个时候导致 带宽的使用率不高. 
如果是小文件, 可能冲突检测还没到最高带宽, 已经传输完毕了. 
所以系统永远也用不上最高带宽

时延对数据库性能的影响

如果应用链接数据库一个功能串行执行了1000条SQL.
时延是1ms的情况下可能 1秒钟左右可以完成所有的传输. 

如果时延是10ms, 同样的一个功能, 使用的时间就是10秒钟
性能差异就会很大. 

如果在加上客户端渲染, 客户端与网络的网络下载时间. 
可能会导致客户反馈很慢. 

所以很多时候不要低估毫秒级别的时延. 
他可能会对应用产生极大的影响.