首页 > 编程语言 >网络拥塞控制算法总结-Chameleon自动调参工具

网络拥塞控制算法总结-Chameleon自动调参工具

时间:2023-09-23 17:58:32浏览次数:35  
标签:Chameleon 调参 控制算法 DCQCN 网元 自动 参数

快手联合东南大学、清华大学在SIGCOMM'23提交了一篇poster:《Chameleon: Automatic and Adaptive Tuning for DCQCN Parameters in RDMA Networks》,描述了一种可自动调节DCQCN流控参数的工具,企图将复杂、枯燥而又漫长(据文章所属,调参过程可能需要数周)的RDMA调参过程自动化。

具体实现方法为:

1、在网络拓扑中的合适位置布置一个控制器,用于收集服务器-网卡和交换机上报的监控指标(metric)。文章特别描述了控制器在网络拓扑中的位置是比较重要的,需要做到到各个网元的距离基本均衡,已保证监控指标上送的延迟基本公平。此处文章还提到服务器和交换机具备一定的运算能力,可以在这些网元上做一些监控数据的预处理(例如计算平均值等),因此可以以较高频率(10ms级)在网元上收集监控指标,然后经过简单的预处理后,以较低频率(100ms级)送至控制器。控制器与各个网元使用TCP协议通信,并且与RDMA使用不同的优先级队列以避免互相影响。

2、具体的调参方法大致思想为:如果调整某个参数p可以使得监控项m变好,那么证明调参方向(指增大p或减小p)正确,可以继续向相同的方向调整p;如果调整p后使得m变差了,则说明调参方向错误,需要纠正;如果调整p后m的变化不明显,则考虑停止调节p。

文章给出了实验结果。实验使用了NS3仿真平台模拟了两层CLOS交换网络,使用100G链路连接。网络中有20个节点,进行all 2 all的通信。文章对两个参数进行了调参验证。对比实验的对象是:a、Mellanox的默认参数,b、一套专家经验参数。

实验表明:在FCT方面,自动调参工具Chameleon比Mellanox的默认参数低19.7%,比专家经验参数低13.2%;在平均吞吐方面,Chameleon比Mellanox的默认参数高40.5%,比专家经验参数高25.1%。如下图:

妄评:

  • 自动调参是一种很容易想到的DCQCN调参方式,对比手动调参,可以节省测试人员的时间,提高工作效率。
  • DCQCN的参数众多,而且更关键的是,其各个参数之间是会互相影响的,因此通过简单的参数遍历+调参方向遍历很难能得到最优解。
  • 对于测试流量,自动调参有可能可以胜任,但是对于实际的业务流量模型,由于业务流量并非稳定且一成不变,所以自动调参在真实生产环境能否落地尚存在理论上的不确定性。
  • 文章的实验中只介绍了对两个参数进行了自动调节,但并未详细描述是哪两个参数,可能处于保密和篇幅所限,只能表示可以理解。

标签:Chameleon,调参,控制算法,DCQCN,网元,自动,参数
From: https://www.cnblogs.com/shijianyujingshen/p/17724805.html

相关文章

  • 网络拥塞控制算法总结-PolyCC
    字节跳动在SIGCOMM'23以Poster形式提交了一篇论文《PolyCC:Poly-AlgorithmicCongestionControl》,试图将各种拥塞控制算法整合到一个统一的框架里。其理由是近40年来各种渠道发布的各种拥塞控制算法,没有一种算法能解决所有网络场景(不同的应用,不同的流量模型等)。 如上图,PolyCC......
  • Chameleon算法的C语言实现及代码解析
    Chameleon算法的C语言实现及代码解析在计算机科学领域中,算法的设计和实现是非常重要的。而在大量的算法中,Chameleon算法以其独特的特点和应用广泛受到了研究者们的关注。本文将围绕Chameleon算法的C语言实现及其代码解析展开,通过具体的示例来解释其原理和应用。Chameleon算法的C......
  • pid调参
    Serial.print("elapsedTime2:");Serial.println(elapsedTime2,3);Serial.print("error2:");Serial.println(error2,3);Serial.print("cumError2:");Serial.println(cumError2,3);Serial.print("rateError2:&qu......
  • 轨迹跟踪控制算法 模糊+滑膜轨迹跟踪控制算法 模糊+滑
    轨迹跟踪控制算法模糊+滑膜轨迹跟踪控制算法模糊+滑膜路径跟踪控制算法仅供学习入门算法!推荐使用版本,csrsim8.02,matlab2016b算法可实现功能:跟踪双移线,单移线,多项式曲线等多种轨迹,稳定性和较好也可以跟踪你想要的轨迹车辆横向控制算法ID:9698622786737118......
  • AtCoder Grand Contest 021 E Ball Eat Chameleons
    洛谷传送门AtCoder传送门容易发现一个变色龙是红色当且仅当,设\(R\)为红球数量,\(B\)为蓝球数量,那么\(R\geB\)或\(R=B\)且最后一个球是蓝球。考虑如何判定一个颜色序列是否可行。考虑贪心。若\(R<B\)显然不行。若\(R\geB+n\),每个变色龙都可以分到比蓝球......
  • 【无人机控制】基于几何自适应控制算法解耦姿态动力学的四旋翼无人机附matlab代码
    ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。......
  • AGC021E Ball Eat Chameleons 题解
    本文网址:https://www.cnblogs.com/zsc985246/p/17501300.html,转载请注明出处。传送门AGC021EBallEatChameleons题目翻译有\(n\)只变色龙,一开始都是蓝色。你会依次扔出\(k\)个球,每次扔出都要指定一只变色龙吃掉这个球。扔出的球可以是红色或蓝色。变色龙从蓝色变成红......
  • 基于simulink平台的非线性模型预测控制算法实现代码,无人驾驶运动控制,代码自己编写的。
    基于simulink平台的非线性模型预测控制算法实现代码,无人驾驶运动控制,代码自己编写的。ID:2910607171173480......
  • EV高压电机控制器360v乘用车平台,某知名电控厂家主推产品,软件源代码,软件FOC矢量控制算
    EV高压电机控制器360v乘用车平台,某知名电控厂家主推产品,软件源代码,软件FOC矢量控制算法,boot源码,全部开源,强大的上位机调试工具带实时波形显示,原理图。资料完全配套。ID:692000606807589191......
  • 【机器学习】Optuna机器学习模型调参(LightGBM、XGBoost)
    文章目录1.optuna简介2.LGBM和XGBoost调参汇总2.1LGBM2.1.1定义Objective2.1.2调参try2.1.3绘图2.1.4最佳参数2.2XGBOOST2.2.1定义Objectove2.2.2调参try2.2.3绘图2.2.4最佳参数1.optuna简介在Kaggle比赛的过程中我发现了一个问题(大家的Kernel模型中包含了众多c超参......