文章浏览阅读1.4k次。如上文所说，面对高维度、更多参数的情况时，通过画图来寻找最小代价函数值是不现实的，因此本文介绍一种可以将代价函数J最小化的算法——梯度下降（Gradient Descent）。梯度下降是很常用的算法，不仅被用在线性回归上，还被广泛应用于机器学习的众多领域。直观理解梯度下降以包含两个参数的如下代价函数J为例，首先任选一个参数点作为起始点，然后我们需要一点一点的改变（微分）这两个参数的大小，并且每一次改变都要使代价函数值减小最多，直到到达一个无法再下降的最低点，这就是梯度下降。这就如同下山一样，假设下图._用梯度下降法如何求代价函数