特牛网址导航

07 ,梯度下降 : 总结,学习率,步长的大小控制_步长要怎么设计?(用最贪心?太大或太小会怎么样?) 不用梯度,用其他方向会怎么样?-CSDN博客

网友收藏
  • 链接地址:https://loveing.blog.csdn.net/article/details/107296292
  • 链接标题:07 ,梯度下降 : 总结,学习率,步长的大小控制_步长要怎么设计?(用最贪心?太大或太小会怎么样?) 不用梯度,用其他方向会怎么样?-CSDN博客
  • 所属网站:loveing.blog.csdn.net
  • 被收藏次数:2287
文章浏览阅读4k次,点赞2次,收藏9次。1 ,梯度下降 : 总结求梯度 : 偏导数向量和作用 : 确定梯度下降的方向步长 :每次下降多少距离2 ,学习率 :定义 : 就是上面说的步长,每次移动的距离大小 : 最好是小一点,不适合过大1 ,小 : 走得慢,效率低2 ,大 : 走得快,计算的结果不准学习原则 :1 ,小学习率 : 步长小一点2 ,大学习次数 : 学习的次数多一点3 ,学习率的变动 :大步找谷底 :范围内大步靠近 :极值范围内 : 小步移动4 ,学习率 : 常用取值常用值 :从我做过_步长要怎么设计?(用最贪心?太大或太小会怎么样?) 不用梯度,用其他方向会怎么样?