最小二乘参数估计

问题设定

在特征层数据融合中，把待估计量（如手指姿态估计值）记为 $\widehat{y}$，把输入特征向量记为 $x$。假设二者满足线性关系

其中 $w$ 是待求的参数向量（课件中称参数矩阵），上标 $T$ 表示转置，$w^{T}x$ 是内积，输出 $\widehat{y}$ 为标量。

最小二乘准则

给定历史样本 $(x_i,y_i)$，$i$ 为样本序号，$x_i$ 是第 $i$ 个样本的特征向量，$y_i$ 是对应的真实值。对每个样本，预测残差为 $y_i-w^T{x}_i$。最小二乘法的目标是选取 $w$，使所有样本残差的平方和最小，即

课件给出的单样本形式为

即对单个样本的平方损失最小化。系数 $\frac{1}{2}$ 只是常数因子，不改变最优解的位置，其作用是使求导后的表达式更简洁。

求解思路

平方损失关于 $w$ 是二次函数，对 $w$ 求梯度并令其为零，即可得到使损失最小的 $w$。对单样本损失

求梯度得

令 ${\mathrm{\nabla }}_{w}L=0$，得到

当 $x_i\mathrm{\ne }0$ 时，才进一步得到

即在该样本特征向量非零的条件下，最优 $w$ 使该样本的预测值等于真实值；若 $x_i=0$，梯度恒为零，不能由此推出预测值等于 $y_i$。对多样本求和形式，令梯度为零得到一组线性方程（正规方程），解出 $w$ 即为最小二乘估计。

适用范围与条件

• 模型必须假定 $\widehat{y}$ 与 $x$ 近似线性，这里的线性指对参数 $w$ 线性；若原始输入与 $\widehat{y}$ 不呈线性，仍可先对原始输入做非线性变换得到特征 $x$，再对 $w$ 做线性最小二乘。只有 $\widehat{y}$ 对参数 $w$ 也不满足线性关系时，线性最小二乘估计才不再合适。
• 样本数应足够，且特征之间不应存在完全线性相关，否则正规方程可能无唯一解。
• 最小二乘只依赖历史样本 $(x_i,y_i)$，估计结果由这些样本决定。
• 残差平方和最小是准则，不保证每个样本的残差都为零。

单样本 $x_i=0$ 时梯度为零但未必能拟合非零 $y_i$；$x_i\mathrm{\ne }0$ 时可有多组参数使单样本残差为零。一般最小二乘描述线性参数模型，并不要求预测对原始物理输入一定线性，可使用选定非线性特征。