鲁棒性分析和优化模型(鲁棒性算法)

鲁棒性的含义以及如何提高型号的鲁棒性1、含义

Robust是Robust的音译，意思是鲁棒、坚固。这也是系统在异常和危险情况下生存的能力。例如，计算机软件的鲁棒性是指它能否在输入错误、磁盘故障、网络过载或故意攻击的情况下幸存下来而不崩溃或崩溃。所谓“鲁棒性”还指控制系统在某些参数扰动下保持某些其他性能特性的能力。根据性能的不同定义，可以分为稳定性鲁棒性和性能鲁棒性。以闭环系统的鲁棒性为目标而设计的固定控制器称为鲁棒控制器。

稳健性包括稳定性稳健性和质量稳健性。控制系统是否鲁棒是其实际应用的关键。因此，现代控制系统的设计已将鲁棒性作为最重要的设计指标之一。

AI模型的鲁棒性可以理解为模型对数据变化的容忍度。假设数据存在很小的偏差，并且只对模型输出产生很小的影响，则该模型被认为是鲁棒的。Huber从稳健统计的角度给出了稳健性的三个要求：

该模型具有较高的准确性或有效性。模型假设中的小偏差只能对算法性能产生很小的影响。模型假设中的大偏差不会对算法性能产生“灾难性”影响。

2、鲁棒性和稳定性的区别

鲁棒性就是鲁棒性，其外延和内涵不同；稳定性只是对其自身特性的描述。鲁棒性是指特定控制器。如果对于模型族中的每个对象都能保证反馈系统的内部稳定性，则称为鲁棒稳定。稳定性是指系统在某一稳定状态下受到微小扰动后恢复到原来状态或另一稳定状态的能力。

3、鲁棒性和泛化性的区别

鲁棒性是控制理论中的一个词，主要是指当某些参数发生微小变化或控制量稍微偏离最优值时，系统仍然保持稳定性和有效性。泛化能力是指基于有限样本得到的网络模型对于其他变量域也具有良好的预测能力。基于具有良好泛化能力的网络设计的神经网络控制器的鲁棒性也将得到提高。鲁棒性是指你可以主动改变网络中的相关参数，甚至轻微修改模型来得到想要的效果；而泛化能力意味着你可以被动地接受它，而不需要主动修改模型。不同的外部输入可以产生相应的理想效果。

4、如何提升模型鲁棒性

研究方向

为了提高模型的鲁棒性，目前主流研究大致分为三个方向：

1、修改模型输入数据，包括训练阶段修改训练数据和测试阶段修改输入样本数据。

2.修改网络结构，例如添加更多网络层、更改损失函数或激活函数等。

3、在原有网络模型上添加外部模块作为附加插件，提高网络模型的鲁棒性。

常用的方法

1、Dropout

解决的问题：协同适应。Dropout可以看作是噪声【公式】和全连接矩阵【公式】的乘积，随机导致一部分连接权重为0。Dropout可以有效缓解神经元之间的协同适应。在训练期间，每个dropout都会获得一个新的子网络。预测时，所有神经元都会行动，可以看作是多个子网络的平均。因此dropout与bagging和[公式]正则化类似，只不过dropout的多个子网络之间共享参数，并且神经元是随机丢弃的。

2、Batch/LayerNormalization

归一化对激活层的输入进行归一化，使得标准化后的输入能够落在激活函数的不饱和区域。

3、LabelSmoothing

标签平滑就是表示原来的one-hot，并在每个维度上添加一个随机噪声。这是一种简单粗暴但非常有效的方法，已在许多图像分类模型中使用。

标签平滑优点：

1.在一定程度上可以缓解模型过于任意的问题，并且具有一定的抗噪声能力。

弥补了简单分类中监督信号不足的问题，增加了信息量；

2.提供训练数据中类别之间的关系；

3.可以增强模型泛化能力

4.减少特征范数来收集每个类别的样本的效果

5.生成更好的校准网络，可以更好地概括并最终对未见过的生产数据产生更准确的预测。

标签平滑缺点：

1.单纯添加随机噪声无法反映标签之间的关系，因此模型的改进有限，甚至存在欠拟合的风险。

2、对于建立以后当老师的人脉没有什么用处。硬目标训练将产生更好的教师神经网络。

4、Mixup

mixup是一种非常规的数据增强方法，一种独立于数据的简单数据增强原理，利用线性插值构造新的训练样本和标签。标签的最终处理如下式所示，这个公式非常简单，但对于增强策略来说却很不寻常。

\left(x_{i},y_{i}\right)

，

\left(x_{j},y_{j}\right)

两个数据对是原始数据集中的训练样本对。在

是服从B分布的参数，

乙

e

t

A

\lambda\simBeta\left(\alpha,\alpha\right)

Beta(,)。Beta分布的概率密度函数如下图所示，其中

[

,

+

无穷大

]

\alpha\in\left[0,+\infty\right]

[0,+]

所以

\

是一个超参数，其中

\

随着的增大，网络的训练误差会增大，其泛化能力也会相应增强。什么时候

无穷大

\alpha\rightarrow\infty

当时，模型将退化为最原始的训练策略。参考：

5、半监督学习，利用伪标签增加模型的泛化性

6、FocalLoss

Focalloss主要是为了解决目标检测中正负样本比例严重不平衡的问题。这不是通常的正则化方法。这种损失函数降低了训练中大量简单样本的权重，让模型更加关注困难样本和误分类样本。

以上方法是我常用的一些方法。更多信息请参考：