1、背景描述
在工程应用中，我们通常会用一组观测数据去估计模型的参数，模型是我们根据经验知识预先给定的。例如，我们有一组观测数据 ( x i , y i ) (x_i,y_i) (xi,yi)，通过简单分析，我们猜测y与x之间存在线性关系，那么我们的模型可以给定为：
y = k x + b y=kx+b y=kx+b
该模型只有两个参数，理论上，我们只需要通过两组观测值建立二元一次方程组即可求解。类似的，如果模型有n个参数，我们只需要n组观测值即可求解。换句话说，这种情况下，模型的参数是唯一确定解
但是，在实际应用中，由于我们的观测会存在误差（偶然误差、系统误差等），所以我们总会做更多观测。例如，在上述例子中，尽管只有两个参数，但是我们可能会观测n组数据： ( x 0 , y 0 ) 、 ( x 1 , y 1 ) 、 . . . 、 ( x n − 1 , y n − 1 ) (x_0,y_0)、(x_1,y_1)、...、(x_{n-1},y_{n-1}) (x0,y0)、(x1,</
