文章浏览阅读7k次，点赞9次，收藏66次。目录1 基本概念2 原因分析2.1 直接原因2.2 根本原因3 表现4 解决方案1 基本概念（1）梯度不稳定在深度神经网络中的梯度是不稳定的，在靠近输入层的隐藏层中或会消失，或会爆炸。这种不稳定性才是深度神经网络中基于梯度学习的根本问题。产生梯度不稳定的根本原因是前面层上的梯度是来自后面层上梯度的乘积。当存在过多的层时，就会出现梯度不稳定场景，比如梯度消失和梯度爆炸。所以梯度消失和梯度爆炸属于梯度不稳定的范畴。（2）梯度消失和梯度爆炸BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整，计_梯度消失的表现