机器学习(1)

优化是机器学习非常重要的部分,几乎每一个机器学习算法的核心都是一个优化算法

那么,梯度下降算法是一个简单的优化算法,任何机器学习算法都可以使用,该算法非常容易理解和实现。

本文从如下对梯度下降算法进行介绍

  • 什么是梯度下降?

  • 梯度下降何如应用到机器学习算法中(像线性回归)?

  • 梯度下降如何应用到规模比较大的数据集上?

  • 从梯度下降算法中获得的一些技巧

首先,梯度下降算法是一个优化算法,

用途: 找到函数(成本函数)的参数(系数)值,使该函数的值最小。

例如, 对于函数, 找到使该函数最小的点,如下图

gradient-descent-demo

此处是知道函数的参数的值,即,

而梯度下降使用的场景是:给定数据集,求出参数的值。

梯度下降的 目标: 尝试不同的参数,计算损失函数的值,然后选择是新的使损失函数较小的参数值。重复该过程,直到得到最小值(或接近最小值),从而得到最优的参数值