最小二乘法

插值法在整个区间上不能高次插值，误差过大，而分段插值光滑性有限

拟合方法能够回避插值方法的不足，可以利用原函数更多的信息，精度更好

与分段插值相比，都是利用更多的节点，但是拟合曲线的光滑性要远远好处插值的结果

对于给定数据(x_i,y_i)，i=1,2,…,m，在函数空间Φ(x)中存在唯一函数：

$$\varphi^*(x) = a_0^* \varphi_0(x) + a_1^* \varphi_1(x) + \cdots + a_n^* \varphi_n(x)$$

使残差平方和最小

最小二乘解的系数a₀^*,a₁^*,…,a_n^*可通过解正则方程组

$$a_0 (\varphi_k, \varphi_0) + a_1 (\varphi_k, \varphi_1) + \cdots + a_n (\varphi_k, \varphi_n) = (\varphi_k, f) \quad k = 0, 1, \ldots, n\quad \quad \quad (1)$$

求得。用最小二乘解φ^*(x)来拟合数据(x_i,y_i),i=1,2,…,m的平方误差为

$$\|\delta\|_{2}^{2} = (y, y) - (\varphi^{*}, \varphi^{*})$$

引进向量f=(f(x_i))^Tφ₀=(1,1,1,1)^T，φ₁=(x_i)^T，φ₂=(x_i²)^T，以此类推

向量内积

内积时一定要带权函数，例如

$$(\varphi_k, \varphi_i) = \sum_{j=0}^{m} \rho(x_j) \varphi_k(x_j) \varphi_i(x_j)$$

$$(f, \varphi_i) = \sum_{j=0}^{m} \rho(x_j) y_j \varphi_i(x_j)$$

---

用加权最小二乘法进行拟合是对于观测数据(x_i,f(x_i))，i=1,2,…,m要求在某函数类Φ(x)中寻求一个函数φ(x)，使

$$\sum_{i=1}^{m} \omega_i \varepsilon_i^2 = \sum_{i=1}^{m} \omega_i [\varphi(x_i) - f(x_i)]^2$$

为最小。式中ω_i为一组正数，反映数据(x_i,f(x_i))特性的权，此时正则方程组仍如式（1），只是其中

$$\left\{ \begin{array}{l} (\varphi_{k}, \varphi_{j}) = \sum_{i=1}^{m} \omega_{i} \varphi_{k}(x_{i}) \varphi_{j}(x_{i}) \\ (\varphi_{k}, f) = \sum_{i=1}^{m} \omega_{i} \varphi_{k}(x_{i}) f(x_{i}) \end{array} \right.$$

线性拟合

设已知数据点(x_i,y_i)，i=1,2,…,m分布大致为一条直线，利用最小二乘原理，构造拟合直线y=a₀+a₁x，该直线不是通过所有数据点(x_i,y_i)，而是使如下残差平方和最小

$$\sum_{i=1}^{m} \left[ y_i - (a_0 + a_1x_i) \right]^2$$

此时正则方程组成为

$$\begin{pmatrix} \sum_{i=1}^{m} 1 & \sum_{i=1}^{m} x_i \\ \sum_{i=1}^{m} x_i & \sum_{i=1}^{m} x_i^2 \end{pmatrix} \begin{pmatrix} a_0 \\ a_1 \end{pmatrix} = \begin{pmatrix} \sum_{i=1}^{m} y_i \\ \sum_{i=1}^{m} x_i y_i \end{pmatrix}$$

二次拟合

构造拟合曲线为y=a₀+a₁x+a₂x²，有

$$\begin{bmatrix} \varphi_0\varphi_0 & \varphi_0\varphi_1 & \varphi_0\varphi_2 \\ \varphi_1\varphi_0 & \varphi_1\varphi_1 & \varphi_1\varphi_2 \\ \varphi_2\varphi_0 & \varphi_2\varphi_1 & \varphi_2\varphi_2 \end{bmatrix} \begin{bmatrix} a_0 \\ a_1 \\ a_2 \end{bmatrix} = \begin{bmatrix} f\varphi_0 \\ f\varphi_1 \\ f\varphi_2 \end{bmatrix}$$

有的拟合函数y=f(x)可通过变换化为线性模型

xi	1	2	3	4	5	6	7	8
yi	15.3	20.5	27.4	36.6	49.1	65.6	87.8	117.6
zi	2.72785	3.02042	3.31054	3.60005	3.89386	4.18358	4.47506	4.76729

S(x)=ae^bx两边取对数

解：设z=lny，则z=A+bx，其中A=lna，由z_i=lny_i得对z(x)作线性拟合曲线

取φ₀(x)=1，φ₁(x)=x，权函数ρ(x)=1，则φ₀=(1,1,1,1,1,1,1,1,1)^T,φ₁=(1,2,3,4,5,6,7,8)^T,

z=(2.72785,3.02042,3.31054,3.60005,3.89386,4.18358,4.47506,4.76729)^T,

得正则方程组

$$\begin{cases} 8A+36b=29.97865\\ 36A+204b=147.13503 \end{cases}$$

解得A^*=2.43686,b^*=0.29122，于是有

$$a^*=e^{A^*}=11.43707$$

拟合曲线为：

$$\varphi^*(x)=11.43707e^{0.29122x}$$

用最小二乘法求方程组的近似解

$$\left\{ \begin{array}{l} 3x - 2y = 1 \\ 2x + y = 2 \\ x - 4y = -1 \\ 3x + 2y = -3 \end{array} \right.$$

解：设

$$G(x, y) = (3x - 2y - 1)^2 + (2x + y - 2)^2 + (x - 4y + 1)^2 + (3x + 2y + 3)^2$$

令

$$\frac{\partial G}{\partial x} = \frac{\partial G}{\partial y} = 0$$

有

$$\left\{ \begin{array}{l} 6(3x - 2y - 1) + 4(2x + y - 2) + 2(x - 4y + 1) + 6(3x + 2y + 3) = 0 \\ -4(3x - 2y - 1) + 2(2x + y - 2) - 8(x - 4y + 1) + 4(3x + 2y + 3) = 0 \end{array} \right.$$

即

$$\left\{ \begin{array}{l} 23x - 2y = -3 \\ -2x + 25y = -2 \end{array} \right.$$

解得：x=-0.138354，y=-0.091068