线性拟合与最小二乘

一句话看懂

用直线近似数据点趋势，以残差平方和最小为准则估计直线参数。

线性关系指两个变量之间成正比、在坐标图上呈直线的数学关系。若变量 $x$ 与 $y$ 满足 $y = β_{0} + β_{1} x$ ，则称二者具有线性关系，其中 $β_{0}$ 为截距， $β_{1}$ 为斜率。

拟合直线指用一条直线近似表示一组数据点趋势的方法。给定数据点 $(x_{i}, y_{i})$ ， $i = 1, 2, \dots, n$ ，拟合直线写作

{\hat{y}}_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{i}

其中 ${\hat{y}}_{i}$ 为第 $i$ 点的拟合值， ${\hat{β}}_{0}$ 、 ${\hat{β}}_{1}$ 为待估参数。

最小二乘法指使残差平方和最小的参数估计方法。残差为观测值与拟合值之差

e_{i} = y_{i} - {\hat{y}}_{i} = y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}

残差平方和定义为

S ({\hat{β}}_{0}, {\hat{β}}_{1}) = \sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} {(y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i})}^{2}

最小二乘准则即选取 ${\hat{β}}_{0}, {\hat{β}}_{1}$ 使 $S$ 达到最小。

$S$ 是 ${\hat{β}}_{0}$ 与 ${\hat{β}}_{1}$ 的二次函数，对二者分别求偏导并令其为零：

\frac{\partial S}{\partial {\hat{β}}_{0}} = - 2 \sum_{i = 1}^{n} (y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}) = 0

\frac{\partial S}{\partial {\hat{β}}_{1}} = - 2 \sum_{i = 1}^{n} x_{i} (y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}) = 0

整理得正规方程：

n {\hat{β}}_{0} + {\hat{β}}_{1} \sum_{i = 1}^{n} x_{i} = \sum_{i = 1}^{n} y_{i}

{\hat{β}}_{0} \sum_{i = 1}^{n} x_{i} + {\hat{β}}_{1} \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} x_{i} y_{i}

当 $\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x})^{2} \neq 0$ 时，即 $x_{i}$ 不全相等，正规方程有唯一解：

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x}) (y_{i} - \overset{ˉ}{y})}{\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x})^{2}}

{\hat{β}}_{0} = \overset{ˉ}{y} - {\hat{β}}_{1} \overset{ˉ}{x}

其中 $\overset{ˉ}{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}$ ， $\overset{ˉ}{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}$ 。

$x_{i}, y_{i}$ ：第 $i$ 个观测点的自变量与因变量取值， $i = 1, 2, \dots, n$ 。
$n$ ：数据点个数，要求 $n \geq 2$ 。
${\hat{β}}_{0}$ ：截距估计值，量纲与 $y$ 相同。
${\hat{β}}_{1}$ ：斜率估计值，量纲为 $y$ 与 $x$ 的量纲之比。
$e_{i}$ ：第 $i$ 个残差。
$S$ ：残差平方和，非负。
条件： $x_{i}$ 不全相等，即 $\sum_{i = 1}^{n} (x_{i} - \overset{ˉ}{x})^{2} \neq 0$ ，否则斜率无唯一解。
拟合直线必过点 $(\overset{ˉ}{x}, \overset{ˉ}{y})$ ，由 ${\hat{β}}_{0} = \overset{ˉ}{y} - {\hat{β}}_{1} \overset{ˉ}{x}$ 可得。
残差满足 $\sum_{i = 1}^{n} e_{i} = 0$ 与 $\sum_{i = 1}^{n} x_{i} e_{i} = 0$ ，这是正规方程的直接结果。

暂无前置知识

当前知识线性拟合与最小二乘

暂无引用。

课程基础补充 · 服务于 KB-000068