如何解释鲁棒性？

参考知乎回答：https://www.zhihu.com/question/304499849/answers/updated
鲁棒性，英文为Robustness（承受故障和干扰的能力），是许多复杂系统（包括复杂网络）的关键属性。复杂网络的鲁棒性研究对许多领域都非常重要。本文着重介绍了鲁棒性的基本定义、命名起源、分类区别、提升方法和具体应用，供大家学习参考。

鲁棒性的基本定义

鲁棒性（英语：Robustness）,鲁棒是Robust的音译，“robust”有四个含义：

1. “强健的；强壮的”

2. “结实的；耐用的；坚固的”

3. “（体制或机构）强劲的；富有活力的”

4. “坚定的；信心十足的”。

百度百科对鲁棒性的定义是：鲁棒是Robust的音译，也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，也是指控制系统在一定（结构，大小）的参数摄动下，维持其它某些性能的特性。

鲁棒性的起源

据考察，鲁棒一词最早起源于1979年，南开大学涂奉生、齐寅峰教授在《信息与控制》上，分别发表题为《鲁棒（Robust）调节器》和《鲁棒调节器的一种设计》3的两篇文章，文章中首次将robust翻译为“鲁棒性”。有学者认为，将“robust”译为“鲁棒”是“音义兼顾”的绝好译法。因为“robust调节器”具有“使系统保持稳定且具有渐进调节特性的能力”，而“‘鲁’者粗莽也，‘棒’者强之同义也。”所以“‘鲁棒’一词较好地表明了此类调节器的特征，且较‘粗壮’，‘强壮’等词生动。”鲁棒性一词因其形神兼备的译法逐渐得到学术界的认可，渐渐沿用下来。

鲁棒性与稳定性的区别

鲁棒性和稳定性都是反应控制系统抗干扰能力的参数，但鲁棒性不等同于稳定性。

定义上

“鲁棒性”，是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。

“稳定性”，是指控制系统在使它偏离平衡状态的扰动作用消失后，返回原来平衡状态的能力。

受到的扰动

稳定性是指系统受到瞬时扰动，扰动消失后系统回到原来状态的能力，而鲁棒性是指系统受到持续扰动能保持原来状态的能力。

稳定的概念

稳定性分为一致稳定和渐进稳定，就是说可以慢慢的稳定也可以螺旋形绕着稳定点稳定:

鲁棒性，是指你可以设定一个鲁棒界(可以 2 范数也可以是无穷范数)，只要系统在这个界内就是稳定的。

以送外卖为例做一个形象的比喻：

外卖小哥在送餐时遇到了极端天气（如暴雨暴雪），当这个极端天气结束后，外卖小哥仍然可以以原先的速度送餐，我们可以说外卖小哥是稳定的；但如果在遭遇极端天气的过程中，外卖小哥冒着雨雪将外卖按时送到顾客手中，这种情况就称为鲁棒性好。

稳定性是指系统不随外界而变化的能力，鲁棒性是指当外界变化时，系统自适应的能力。

3. 鲁棒性的分类

在实际问题中，系统特性或参数的摄动常常是不可避免的，产生摄动的原因主要有两个方面：一个是由于测量的不精确使特性或参数的实际值会偏离它的设计值(标称值)，另一个是系统运行过程中受环境因素的影响而引起特性或参数的缓慢漂移。

控制系统的一个鲁棒性是指控制系统在某种类型的扰动作用下，包括自身模型的扰动下，系统某个性能指标保持不变的能力。对于实际工程系统，人们最关心的问题是一个控制系统当其模型参数发生大幅度变化或其结构发生变化时能否仍保持渐近稳定，这叫稳定鲁棒性。进而还要求在模型扰动下系统的品质指标仍然保持在某个许可范围内，这称为品质鲁棒性。

设计一个控制器，如果该控制器对对象集合中的每个对象都能满足给定的性能指标，则称该控制器对此性能指标(特性)是鲁棒的，两个重要的鲁棒概念是：

稳定鲁棒性：一个控制器如果对集合P中的每一个对象都能保证系统稳定则是鲁棒稳定的。

品质鲁棒性：一个控制器如果对集合P中的每一个对象都能保证系统稳定和一种特定品质则认为是品质鲁棒的。

如何提高鲁棒性

AI模型的鲁棒可以理解为模型对数据变化的容忍度。假设数据出现较小偏差，只对模型输出产生较小的影响，则称模型是鲁棒的。 Huber从稳健统计的角度给出了鲁棒性的3个要求：

1.模型具有较高的精度或有效性。

2.对于模型假设出现的较小偏差（noise），只能对算法性能产生较小的影响。

3.对于模型假设出现的较大偏差（outlier），不能对算法性能产生“灾难性”的影响。

提升鲁棒性的方法：

1）从数据上提升性能

收集更多的数据、产生更多的数据、对数据做缩放、对数据做变换、特征选择、重新定义问题

2）从算法上提升性能

算法的筛选、从文献中学习、重采样的方法

3）从算法调优上提升性能

注意力机制（给与每个像素权重，来衡量像素间的相关性SPNet）、模型可诊断性、权重的初始化、学习率、激活函数、网络结构、batch和epoch、正则项、优化目标、提早结束训练

4）用融合方法提升效果

模型融合、视角融合、stacking、多尺度融合（使用不同尺度的卷积核，增加模型的感受野，典型代表金字塔Deeplab系列）

5）增加模型宽度

将通道分成多组，每组单独进行卷积，然后再将通道合成可以减少模型的参数，提高模型准确率，增加鲁棒性（ResNext）。

鲁棒性的应用

在实际中，鲁棒性的应用非常广泛，由于测量的不精确和运行中受环境因素的影响，不可避免地会引起系统特性或参数缓慢而不规则的漂移，所以在应用复杂性范式对各种类型控制系统进行设计时，都要考虑鲁棒性问题。如组织行为管理、制定战略规划、提供决策方案，生态系统的恢复性，动态平衡、遗传网络、遗传变异的阻尼，生物复杂性的发展定向进化进化的自动选择，免疫系统里的分布式反馈。神经系统，计算机网络系统，经济社会系统的经济博弈、社会制度、政治协议、体制机制等等。