线性回归和梯度下降

由ypyu创建，最终由ypyu更新于2023-06-14 03:02 被浏览 23 用户

所有的文章都会在我的博客和我的知乎专栏同步进行更新，欢迎阅读

陈浩然的博客braverychr.github.io

线性模型

在上一章我们说到，机器学习中主要的两个任务就是回归和分类。如果读者有高中数学基础，我们很容易回忆到我们高中学习过的一种回归方法——线性回归。我们将这种方法泛化，就可以得到机器学习中的一种常见模型——线性模型，线性模型是监督学习的一种。我们已经说过，我们要从数据集中训练出模型，每个数据可以视为**（属性，标签）**二元组。其中属性可以为属性向量。假设给定具有n个属性的属性向量的数据 $vec x = (x_1,x_2,x_3 dots x_n)$ ，我们利用属性的线性组合来进行预测，即 $f(x) = w_1x_1+w_2x_2+w_3x_3+ dots + w_nx_n + b$ 我们可以将其写成向量形式 $f(x) = w^Tx+b$ 其中 $w=(w_1,w_2,w_3 dots w_n)$ ，w和b就是该模型中我们要求的参数，确定w和b，该模型就得以确定。我们将这样的模型称为线性模型，不得不提的是，线性模型并不是只能进行线性分类，它具有很强的泛化能力，我们后面会提到。

属性转换

在进行建模之前，我们要先对数据集进行处理，使得其适合进行建模。我们注意到，在线性模型中，属性值都是实数，那么会出现以下两种需要进行转化的情况- 属性离散，但是有序关系（可以比较）。例如身材的过轻，正常，肥胖，过于肥胖，可以被编码为-1,0,1,2，从而转化为实数进行处理。- 属性离散，但是无序关系（不可比较）。例如国籍的中国人，美国人，日本人。我们可以将取值有k种的值转化为k维向量，如上例，可以编码为 $(1,0,0),(0,1,0),(0,0,1)$ 。

单变量线性回归

如果 $x = (x_1,x_2,x_3 dots x_n)$ 中n= 1，此时x为一个实数，线性回归模型就退化为单变量线性回归。我们将模型记为 $f(x)=w x + b$

其中w,x,b都是实数,相信这个模型大家在高中都学习过。在这里我们有两种方法求解这个模型，分别是最小二乘法和梯度下降法。我们先定义符号， $x_i$ 代表第i个数据的属性值， $y_i$ 是第i个数据的标签值（即真值），f是我们学习到的模型， $f(x_i)$ 即我们对第i个数据的预测值。我们的目标是，求得适当的w和b，使得S最小，其中S是预测值和真值的差距平方和，亦称为代价函数，当然代价函数还有很多其他的形式。 $minS = frac {1} {2n} sum_{i=1}^{n} {(f(x_i)-y_i)^2}$ 其中的 $frac1n$ 只是将代价函数值归一化的系数。

最小二乘法

最小二乘法不是我们在这里要讨论的重点，但也是在很多地方会使用到的重要方法。最小二乘法使用参数估计，将S看做一个关于w和b的函数，分别对w和b求偏导数，使得偏导数为0，由微积分知识知道，在此次可以取得S的最小值。由这两个方程即可求得w和b的值。（此处省略过程）求得 $w = frac {sum_{i=1}^{n} {y_i(x_i-overline x)}} {sum_{i=1}^{n} {x_i^2} -frac 1m(sum_{i=1}^{n} {x_i})^2 }$ $b = overline y -b overline x$ 其中 $overline y，overline x$ 分别是y和x的均值

梯度下降法

我们刚刚利用了方程的方法求得了单变量线性回归的模型。但是对于几百万，上亿的数据，这种方法太慢了，这时，我们可以使用凸优化中最常见的方法之一——梯度下降法，来更加迅速的求得使得S最小的w和b的值。S可以看做w和b的函数 $S(w，b)$ ，这是一个双变量的函数，我们用matlab画出他的函数图像，可以看出这是一个明显的凸函数。

梯度下降法的相当于我们下山的过程，每次我们要走一步下山，寻找最低的地方，那么最可靠的方法便是环顾四周，寻找能一步到达的最低点，持续该过程，最后得到的便是最低点。对于函数而言，便是求得该函数对所有参数（变量）的偏导，每次更新这些参数，直到到达最低点为止，注意这些参数必须在每一轮一起更新，而不是一个一个更新。过程如下： $给w、b随机赋初值,一般可以都设为0$ $w_{new} = w - afrac {partial S(w,b)}{partial w}，b_{new} = b - afrac {partial S(w,b)}{partial b}$ $w = w_{new},b = b_{new}$ 带入真正的表达式，即为 $w_0 = w_0 - a frac1m sum_{i=1}^{n} {(f(x_i)-y_i)},w_0是常数项$ $w_j = w_j - a frac1m sum_{j=1}^{n} {(f(x_i)-y_i)x_i},jin{1,2,3cdots n}$ 其中a为学习率，是一个实数。整个过程形象表示便是如下图所示，一步一步走，最后达到最低点。

需要说明以下几点：- a为学习率，学习率决定了学习的速度。- 如果a过小，那么学习的时间就会很长，导致算法的低效，不如直接使用最小二乘法。- 如果a过大，那么由于每一步更新过大，可能无法收敛到最低点。由于越偏离最低点函数的导数越大，如果a过大，某一次更新直接跨越了最低点，来到了比更新之前更高的地方。那么下一步更新步会更大，如此反复震荡，离最佳点越来越远。以上两种情况如下图所示

- 我们的算法不一定能达到最优解。如上图爬山模型可知，如果我们初始位置发生变化，那么可能会到达不同的极小值点。但是由于线性回归模型中的函数都是凸函数,所以利用梯度下降法，是可以找到全局最优解的，在这里不详细阐述。

多变量线性回归

如果数据中属性是一个多维向量， $vec x = (x_1,x_2,x_3 dots x_n)$ ,那么该回归模型称为多变量线性回归。也就是一般意义上的线性回归模型。我们先定义符号， $vec x_i$ 代表第i个数据的属性值，它是一个向量， $x_i^j$ 表示第i个数据的第j个属性，它是一个实数， $y_i$ 是第i个数据的标签值，也是实数。f是我们学习到的模型， $f(vec x_i)$ 即我们对第i个数据的预测值。我们建立的模型为： $f(vec x_i) = vec w^T cdot vec x + b$ 我们的目标是，求得适当的 $vec w$ 和b，使得S最小，其中S是预测值和真值的差距平方和，亦称为代价函数，当然代价函数还有很多其他的形式。 $minS = frac {1} {2n} sum_{i=1}^{n} {(f(vec x_i)-y_i)^2}$ 其中的 $frac1n$ 只是将代价函数值归一化的系数。

特征缩放

由于 $vec x$ 具有很多维的特征，每一维的特征大小可能相差甚多，这样会大大影响学习的速度。假如房价范围0-10000000，房子大小范围1-200，那么这两个特征学习到的系数大小会差很多倍，而学习率必须按照最小的系数来进行设定，则大系数的收敛会非常慢。为了避免这种情况，我们使用了特征缩放将每个特征的值进行处理，使之在[-1,1]之间，当然，原本范围就于此在一个数量级的特征，也可以不进行处理。处理公式如下： $x_i = frac {x_i-overline x} {x_{max}-x_{min}}$ 或者 $x_i = frac {x_i-overline x} {sigma}$ 其中 $sigma$ 为数据标准差。

正规方程法

对于多元线性回归而言，正规方程法是一种准确的方法，就像最小二乘法对于单变量线性回归一样。为了使形式更加简化，我们做以下符号设定

$vec X = left begin{matrix} 1 & x_1^1 & x_1^2 & x_1^3 dots & x_1^n 1 &x_2^1 & x_2^2 & x_2^3 dots & x_2^n cdots& cdots& cdots & cdots 1 &x_n^1 & x_n^2 & x_n^3 dots & x_n^n end{matrix} right tag{3}$

由此，我们可以将S写成另一种形式，定义如下 $S^1 = (vec y -vec X cdot vec w)^T(vec y -vec X cdot vec w)$ 请注意， $S^1$ 和S的区别仅仅在于它没有 $frac 1n$ 的系数，而该系数是一个定值，故最小化的目标和过程是一样的，我们在此要将 $S^1$ 最小化。同理，我们将 $S^1$ 视为 $vec w$ 的函数，对于 $vec w$ 求导数，得到取得最小值时的 $vec w$ 的值，便是我们得到的结果，记为 $vec w^1$ $vec w^1 =(vec X^T vec X)^{-1}vec X^Tvec y$ 该方法得到了为准确值，即在我们给定条件下的最优解，但是该方法有两个弊端：- 需要计算 $(vec X^T vec X)^{-1}$ ，相对于矩阵规模n而言，算法复杂度是O(n3), n非常大时, 计算非常慢，甚至根本无法完成。- 可能出现矩阵不可逆的情况，在这里不进行数学上的分析，但是可以说明，以下两种情况容易导致矩阵不可逆。- 我们使用了冗余的特征，例如我们选取的两个特征始终保持倍数关系，则这两个特征向量线性相关。此时应该去除冗余的向量。- 我们使用了太多的特征(特征的数量超过了样本的数量).，也可以理解为样本的数量太少，对于这种情况我们可以删掉一些特征或者使用正则化（在下一篇文章中会讲到）。

梯度下降法

此处的梯度下降法和之前一元线性回归的梯度下降法基本相同，无非是一元线性回归只有两个需要求的参数，而多元线性回归中有多个待求参数。其余的只需要将导数项换掉即可。最终得到的式子如下： $w_0 = w_0 - a frac1m sum_{i=1}^{n} {(f(x_i)-y_i)},w_0是常数项$ $w_j = w_j - a frac1m sum_{i=1}^{n} {(f(x_i)-y_i)x_i^j},jin{1,2,3cdots n}$ 与正规方程法相比，梯度下降法当有大量特征时, 也能正常工作，仍可以在可接受的时间内完成。

泛化

之前我们提到过，线性模型并不是只能进行线性分类，它具有很强的泛化能力，如果仅仅使用在此之前的单元和多元线性回归，我们只能得到多维空间的高维平面，为了进一步增强泛化能力，我们可以引入幂次项。比如我们原来有只有一个特征 $x_1$ ，我们现在令 $x_2=x_1^2$ ,就人为的引入了第二个特征，拥有更强的拟合能力。我们还可以引入两个特征的交叉项，使得线性模型更强大。例如，我们原本只有一个模型： $y=w_1x_1+w_2x_2$ 我们引入 $x_3 = x_1^2,x_4=x_2^2,x_5=x_1x_2$ ，人为引入三个变量，我们的模型变为： $y=w_1x_1+w_2x_2+w_3x_3+w_4x_4+w_5x_5$ 也就是说，很多复杂的模型都可以转化为线性模型进行建模。但是，我们也要防范过拟合问题，过多的人为特征很容易导致过拟合，我们将在下一个章节详细讨论。

检验

那么，我们写好算法进行运行之后，如何检验我们的算法是否正常运行呢？一个办法就是看他的S（总误差）随时间变化的图像。正常情况下，S应该随着算法的运行逐渐降低，降低的速度越来越小，但是如果算法错误，或者学习率不适宜，那么可能出现S反而增大或者抖动的现象，如下图所示：

总结

线性模型以其简单和可解释性在众多模型中脱颖而出，至今仍是经常使用的回归算法之一，在机器学习中仍然具有重要应用，如趋势线，流行病学预测，金融经济等。

查看更多

所有的文章都会在我的博客和我的知乎专栏同步进行更新，欢迎阅读

陈浩然的博客braverychr.github.io 从零开始:一起入门机器学习zhuanlan.zhihu.com