回归分析

回归分析的基本含义

回归分析（简称回归）是应用数理统计（如最小二乘法）、机器学习等方法，研究建立一组随机变量和另一组变量之间关系的数学方法，用于揭示变量间内在规律，常用于预测、控制等。对实验数据进行回归分析和处理，可得出反映变量间相互关系的经验公式，也称回归方程；这种基于已知或假设条件确定变量间数学（函数）关系的过程就是建立数学模型。在工程实践中，采用线性回归方程较为普遍。

最小二乘法原理

由于误差的存在，为了求得一组最佳的解，通常的做法是使测量次数 n 大于所求未知量的个数 m，然后采用最小二乘法进行计算。最小二乘法是一类用于拟合实验曲线、确定经验公式（一般近似于多元线性关系）的数学方法。

最小二乘法在误差理论中的基本含义是：利用等精度多次测定值求最可靠测量结果时，该测量结果等于当各测定值的残余误差二次方和最小时所求得的值。也就是说，把所有测定值标在坐标图上，测定值与拟合直线上对应点之间的残余误差二次方和最小。最小二乘使所选残差的平方和最小，不是各点到拟合线的欧氏距离和最小。它不保证拟合线最接近未知真值；统计最优性需要误差模型、权重和可辨识条件。

一般函数关系与误差方程组

设直接测量量 y 与 m 个间接测量量 $x_i(i=1,2,\cdots ,m)$ 的函数关系为

对 y 进行 n 次等精度测量得到 n 个测量值 $l_i(i=1,2,\cdots ,n)$，其对应的估计值为 ${\widehat{y}}_i(i=1,2,\cdots ,n)$（由所选模型和参数估计得到的拟合值，不是真值；在重复测量取平均等特定条件下才可能等于算术平均值），即有

若 $n=m$，只有在方程相互独立、系数矩阵满秩且解存在时，才可直接由方程组求得间接测量量；数量相等并不保证可求。测量结果总包含误差，为提高精度可适当增加测量次数使 $n>m$，通过抵偿减小随机误差对测量结果的影响，此时求解未知量应用最小二乘法。

一元线性拟合

当独立变量只有一个时，回归方程为一元线性回归（也称一元线性拟合或直线拟合），其形式为

式中 $b_0$ 为截距，$b_1$ 为斜率，x 为自变量，y 为因变量。设有 n 对测量数据 $(x_i,y_i)$，用该方程拟合，根据测量数据值求系数 $b_0,b_1$ 的最佳估计值。应用最小二乘法原理，使各测量数据点与回归直线的偏差二次方和为最小，所使用的误差方程组为

式中 ${\widehat{y}}_i$ 是在 $x_i$ 点上 y 的估计值，$v_i$ 为残余误差。

多元线性拟合

多元线性拟合是多个线性关系变量测试结果的数学表示。设因变量 y 与 m 个自变量 $x_1,x_2,\cdots ,x_m$ 之间存在线性关系，测得 n 组数据 $(x_{t1},x_{t2},\cdots ,x_{tm};y_t),t=1,2,\cdots ,n$。其数学模型可用矩阵表示为

式中 Y 为因变量向量，X 为设计矩阵（第一列全为 1，其余列为各自变量观测值），$\beta$ 为待估参数向量，$\epsilon$ 为误差向量。设其多元线性回归方程为

特征层数据融合中的线性回归

在特征层数据融合中，基于历史数据的机器学习方法以线性回归为例：将手指姿态估计值 $\widehat{y}$ 视为特征向量 x 的函数，并假设二者呈线性关系

式中 x 为特征向量，w 为参数向量（含偏置），$\widehat{y}$ 为姿态估计值。利用历史样本 $(x_i,y_i)$，通过最小二乘法估计参数矩阵 w，即求解使误差平方和最小的 w：

该式表示在给定历史样本下，寻找使预测值与真实值之差的二次方和最小的参数 w。

多个历史样本通常用 ${\min }_w{\sum }_i(y_i-w^T{x}_i{)}^2$ 拟合。单个样本不能唯一确定一般多维参数，特征秩不足也可产生多解。