曲线拟合的最小二乘法

利用最小二乘法对空间中一组数据点进行多项式逼近的介绍

以下内容是参考了_《计算几何》第二版-浙江大学出版社-易大义&沈云宝&李有法_,根据所学整理 曲线拟合:已知\(m\)个数据点\((x_i,y_i)\),其中\(i=(1,2,...,m)\),寻找一个近似函数\(y=f(x)\)


1.最小二乘法

根据实际情况,一般来说给定\(m\)个数据点,所求的的目标曲线很难保证全部的数据点都落在曲线上,即不能保证拟合的函数曲线在$ x_i \(处的残差(偏差)\) _i=(x_i)-y_i \(其中\)i=1,2,...,m$都严格等于\(0\)。但是希望残差\(\delta\)在总体上比较小。常见的做法有如下几种:

  • 选取\(\varphi (x)\),使得残差绝对值之和最小。(这种方法不可导,求解困难) \[ \sum\limits_{i=1}^m\delta_i=\sum\limits_{i=1}^m\varphi(x_i)-y_i=min \]

  • 选取\(\varphi(x)\),使得残差最大绝对值最小。(比较复杂) \[ \max\limits_{1\le i\le m}\delta_i=\max\limits_{1\le i\le m}\varphi(x_i)-y_i=min \]

  • 选取\(\varphi(x)\),使得残差平方和最小。(可导,求解较方便) \[ \sum\limits_{i=1}^m{\delta_i}^2=\sum\limits_{i=1}^m[\varphi(x_i)-y_i]^2=min \]

综合多种因素,一般选择残差平方和最小的原则(称为最小二乘原则)进行选择拟合曲线\(\varphi(x)\)。按最小二乘原则选择拟合曲线的方法,称为最小二乘法


2.最小二乘法的求解

已知\(m\)个数据点\((x_i,y_i)\),其中\(i=(1,2,...,m)\),要求在函数类\(\phi = {\varphi_0(x),\varphi_1(x),...,\varphi_n(x)} (n<m)\)中寻找一个函数: \[ \overline{\varphi}(x)=\overline{a_0}\varphi_0(x)+\overline{a_1}\varphi_1(x)+\cdots+\overline{a_n}\varphi_n(x) \] 使得\(\overline{\varphi}(x)\)满足条件: \[ \sum\limits_{i=1}^m[\overline\varphi(x_i)-y_i]^2=\min\limits_{\varphi(x)\in\phi}\sum\limits_{i=1}^m[\varphi(x_i)-y_i]^2 \] \[ \varphi(x)=a_0\varphi_0(x)+a_1\varphi_1(x)+\cdots+a_n\varphi_n(x) \]

其中\(\varphi(x)\)是函数类\(\phi\)中任意一个函数。满足上述条件的\(\overline\varphi(x)\)成为最小二乘问题的最小二乘解。 #(未完待续)