曲线拟合的最小二乘法

利用最小二乘法对空间中一组数据点进行多项式逼近的介绍

以下内容是参考了_《计算几何》第二版-浙江大学出版社-易大义&沈云宝&李有法_，根据所学整理 曲线拟合：已知$m$个数据点$(x_i,y_i)$，其中$i=(1,2,…,m)$，寻找一个近似函数$y=f(x)$

---

1.最小二乘法

根据实际情况，一般来说给定$m$个数据点，所求的的目标曲线很难保证全部的数据点都落在曲线上，即不能保证拟合的函数曲线在$x_i$处的残差（偏差）$\delta_i=\varphi(x_i)-y_i$其中 $i=1,2,…,m$ 都严格等于$0$。但是希望残差 $\delta$ 在总体上比较小。常见的做法有如下几种：

• 选取$\varphi (x)$，使得残差绝对值之和最小。(这种方法不可导，求解困难)
  $$
  \sum\limits_{i=1}^m\delta_i=\sum\limits_{i=1}^m\varphi(x_i)-y_i=min
  $$

• 选取$\varphi(x)$，使得残差最大绝对值最小。(比较复杂)
  $$
  \max\limits_{1\le i\le m}\delta_i=\max\limits_{1\le i\le m}\varphi(x_i)-y_i=min
  $$

• 选取$\varphi(x)$，使得残差平方和最小。(可导，求解较方便)
  $$
  \sum\limits_{i=1}^m{\delta_i}^2=\sum\limits_{i=1}^m[\varphi(x_i)-y_i]^2=min
  $$

综合多种因素，一般选择残差平方和最小的原则（称为最小二乘原则）进行选择拟合曲线$\varphi(x)$。按最小二乘原则选择拟合曲线的方法，称为最小二乘法。

---

2.最小二乘法的求解

已知$m$个数据点$(x_i,y_i)$，其中$i=(1,2,…,m)$，要求在函数类$\phi = {\varphi_0(x),\varphi_1(x),…,\varphi_n(x)} (n<m)$中寻找一个函数：
$$
\overline{\varphi}(x)=\overline{a_0}\varphi_0(x)+\overline{a_1}\varphi_1(x)+\cdots+\overline{a_n}\varphi_n(x)
$$
使得$\overline{\varphi}(x)$满足条件：
$$
\sum\limits_{i=1}^m[\overline\varphi(x_i)-y_i]^2=\min\limits_{\varphi(x)\in\phi}\sum\limits_{i=1}^m[\varphi(x_i)-y_i]^2
$$
$$
\varphi(x)=a_0\varphi_0(x)+a_1\varphi_1(x)+\cdots+a_n\varphi_n(x)
$$

其中$\varphi(x)$是函数类$\phi$中任意一个函数。满足上述条件的$\overline\varphi(x)$成为最小二乘问题的最小二乘解。 #（未完待续）