简述最小二乘估计原理。

最小二乘估计的基本原理

对于x和y的n对观察值，用于描述其关系的直线有多条，究竟用哪条直线来代表两个变量之间的关系，需要有一个明确的原则。

这时用距离各观测点最近的一条直线，用它来代表x与y之间的关系与实际数据的误差比其它任何直线都小。根据这一思想求得直线中未知常数的方法称为最小二乘法，即使因变量的观察值与估计值之间的离差平方和达到最小来求得µº和µ¹的方法。

扩展资料

例子

已知有一个这样的方程组：

Ax=bAx=b

其中A∈Rm×nA∈Rm×n ; x∈Rn×kx∈Rn×k, b∈Rm×kb∈Rm×k

当 m=nm=n 时，且 ranA=nranA=n 时，这是一个适定方程组，有唯一解 x=A−1bx=A−1b

当 m

而相应的ran(A)ran(A) 中的这个向量就是 bb 在空间 ran(A)ran(A) 中的投影。

当 m>nm>n 时，即方程的个数大于未知数的个数，最小二乘超定系统问题。超定问题是最小二乘的关键，最小二乘的的意思就是最小化残差(residual)的平方和。

给定 mm 个数据，(a1,b1)(a1,b1), (a2,b2)(a2,b2),…,(am,bm)(am,bm), 以及一个模型函数 b=f(a,x)b=f(a,x) ，其中{x1,x2,...,xn}{x1,x2,...,xn}就是要估计的参数，该参数的估计就是通过最小化如下残差的平方和求得：

S=∑mi=1∥bi−f(ai,xi)∥2S=∑i=1m‖bi−f(ai,xi)‖2

其中残差为 ri=bi−f(ai,xi)ri=bi−f(ai,xi) 根据残差函数关于未知参数是否线性，可以最把小二乘分为线性最小二乘和非线性最小二乘。

参考资料来源：百度百科-最小二乘法

最小二乘法是通过使因变量的观测值与估计值之间的离差平方和达到最小来估计µº和µ¹的方法。
1、最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
2、利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

参差平方和最小