最小二乘正规方程

从目标到方程

无权最小二乘目标$S(X)=(L-AX{)}^{\mathrm{T}}(L-AX)$。对参数求导并令零，得到$A^{\mathrm{T}}(L-AX)=0$，整理为
$(A^{\mathrm{T}}A)X=A^{\mathrm{T}}L\mathrm{.}$
这就是正规方程。它表达拟合残差与A各列正交，不能理解为每个残差必须零。

逆矩阵写法有条件

A满列秩时，$A^{\mathrm{T}}A$可逆，故可写$X=(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}L$。秩不足时，不可机械套逆；超定$n>m$本身不保证可逆。

教材MATLAB的inv语句用于展示矩阵公式；实际计算通常直接求解或采用QR等稳定方法，不必显式形成逆矩阵，也不能用软件返回结果替代秩与模型检查。

对A为三个1的一列、L=(2,3,4)，正规方程为$3X=9$，估计X=3，残差仍为−1、0、1。