特牛网址导航

理解Dropout和BatchNormalization_batchnormalization和dropout-CSDN博客

网友收藏
文章浏览阅读1.2k次。Dropout原理相信对于了解机器学习的朋友们来说,dropout必定不陌生。dropout是一种在神经网络训练过程中防止过拟合的技术。简单来说,dropout就是指在每一轮模型权重的训练过程中,每一次随机剔除确定比例的神经元,然后只训练剩下的部分,更新权重参数。具体一点来说,在每一轮的训练过程中,我们以最初的复杂模型为基础,以pre-given 的比例随机剔除掉一些神经元,然后形成一个新的简化版神经网络结构。然后将输入通过这个简化板的网络进行前向传播,然后对误差进行反向传播来update这个简化网络_batchnormalization和dropout