深度学习网络的各种激活函数：Sigmoid、Tanh、ReLU、Leaky_ReLU、SiLU、Mish。激活函数的目的是为网络提供非线性化
梯度消失：梯度为0，无法反向传播，导致参数无法更新。
梯度饱和：随着数据变化，梯度不发生明显变化
梯度爆炸：梯度越来越大，无法收敛。
梯度消失问题：
1.反向传播环节太长，积累后逐渐减少。
2.数据进入梯度饱和区
怎么解决：
1.选择正确的激活函数，relu，silu
2.BN归一化数据
3.resnet更短的反向传播路径
4.LSTM记忆网络
功能和衍生物：
特点：落在两端的数据导数趋于0，导致梯度消失，在深度网络中使用时难以收敛。这个问题可以通过BN批量归一化来优化。
功能和衍生物：
特点：与sigmoid类似，只是映射区间不同。
特点：简单粗暴，解决梯度消失问题，响应区间导数为1。小于0的神经元被抑制，使网络稀疏，抑制过拟合，有利于网络学习有效信息，加速收敛速度。
特点：**对relu的改进，小于0时也有轻微的激活，以避免梯度混叠问题。**
特点：**relu的改进，在0左右平滑，缺点：引入指数运算，增加计算量。**
特点：**与silu类似。**
大家好，今天小编关注到一个比较有意思的话题，就是关于培训机构网络推广提成的问题，于是小编就整理了3个相关介绍培训机构网络推广提成的解答，让我们一起看看吧。短视频…
2024-05-14 20:37:31
大家好，今天小编关注到一个比较有意思的话题，就是关于培训机构网络招生流程的问题，于是小编就整理了3个相关介绍培训机构网络招生流程的解答，让我们一起看看吧。培训师…
2024-05-09 07:50:03
Win11任务栏没有出现wifi图标怎么办？正常情况下，任务栏中会显示wifi图标，但win11中没有wifi图标。我不知道如何显示它。下面我们就来看看win1…
2024-05-02 17:13:36
本文主要介绍如何使用DNSMASQ作为PXE服务器直接通过网络安装Debian7。在这种情况下，假设您的服务器不提供任何CD/DVD/USB介质驱动器，或者.1…
2024-05-01 03:22:04
自动编码器一、自编码器原理自动编码器算法属于自监督学习的范畴。如果算法使用x作为监督信号来学习，这里的算法称为自监督学习。监督学习中神经网络的功能：是输入特征向…
2024-04-30 20:51:12
2024-05-17 16:16:29
2024-05-17 16:03:27
2024-05-17 15:50:42
2024-05-17 15:30:42
2024-05-17 15:18:16
大家好，今天小编关注到一个比较有意思的话题，就是关于学电脑照片设计的问题，于是小…
大家好，今天小编关注到一个比较有意思的话题，就是关于消防培训机构监管规定的问题，…
237