最小二乘法

最小二乘法的基本含义

由于误差的存在，为了求得一组最佳的解，通常的做法是使测量次数 $n$ 大于所求未知量的个数 $m$，然后采用最小二乘法进行计算。最小二乘法是一类用于拟合实验曲线、确定经验公式（一般近似于多元线性关系）的数学方法，在对测量结果的误差处理中得到了广泛应用。

最小二乘法在误差理论中的基本含义是：利用等精度多次测定值求最可靠测量结果时，该测量结果等于当各测定值的残余误差二次方和最小时所求得的值。也就是说，如果把所有测定值都标在坐标图上，测定值与用最小二乘法拟合得出的直线或曲线（统称拟合线）上对应的点之间的残余误差二次方和最小。

残余误差与最小化条件

设直接测量量 $y$ 与 $m$ 个间接测量量 $x_i(i=1,2,\cdots ,m)$ 的函数关系为

现对 $y$ 进行 $n$ 次等精度测量得到 $n$ 个测量值 $l_i(i=1,2,\cdots ,n)$，其对应的估计值为 ${\widehat{y}}_i(i=1,2,\cdots ,n)$，即由所选模型和参数估计得到的拟合值（预测值），不是真值；在仅估计一个未知常数且各次等精度测量相互独立等条件下，它才退化为算术平均值。

对应的残余误差方程组为

最小二乘法原理要求的条件转化为

线性情形与矩阵求解

如果考虑线性测量的情形，即 $y=a_1{x}_1+a_2{x}_2+\cdots +a_m{x}_m$（大多数测量近似属于这种情形），用矩阵表示残余误差方程为

其中 $L$ 为测量值向量，$A$ 为系数矩阵，$X$ 为待求未知量向量，$V$ 为残余误差向量。残余误差二次方和最小用矩阵表示为

利用微分学原理，令其对未知数求导的结果等于 $0$ 可以满足极值要求，得到

将 $L-AX=V$ 代入，即要求

当设计矩阵 $A$ 列满秩（即 $A^{\mathrm{T}}A$ 可逆）时，由此解得

这就是用最小二乘法估计得到的最佳矩阵解。若 $A$ 列不满秩，则 $A^{\mathrm{T}}A$ 不可逆，上式不适用，此时最小二乘解不唯一，需另行处理（如附加约束或采用广义逆）。$n>m$ 只是超定方程组的常见前提，并不自动保证 $A$ 列满秩。

直线拟合的参数偏导条件

设拟合直线方程为 $y=kx+b$。第 $i$ 个校准数据与拟合直线上相应值之间的残差定义为

最小二乘法旨在寻找系数 $k$ 和 $b$，使得全部观测点的残差平方和达到最小，即求解

求解方法是通过令残差平方和对 $k$ 和 $b$ 的一阶偏导数等于 $0$，建立方程组并求出 $k$ 和 $b$ 的表达式。

精度依据与适用范围

在误差模型满足零均值、等方差、互不相关等条件时，最小二乘估计具有最小方差等统计最优性，此时残余误差二次方和最小意味着参数估计的方差最小、精度最高。但残差平方和最小本身只表示所选残差平方和达到最小，不能保证模型正确或无偏，也不能保证拟合线最接近真值；其直接含义是所选残差（沿因变量方向的偏差）的二次方和最小，而不是所有测量点到拟合线的欧氏距离和最小。对于一般回归拟合，若需由残差估计误差方差，自由度通常为 $n-m$（$n$ 为观测数，$m$ 为待估参数个数），不能直接套用算术平均值情形的贝塞尔公式（自由度 $n-1$）。

以上讨论适用于等精度测量。对于非等精度测量，需要采用加权处理。