*第十节 最小二乘法

数学学习 · 爱知数学讲义

18

科学实验常先给出若干组离散观测值,再根据背景知识和散点图选择函数类型,建立近似表达变量关系的经验公式。经验公式是对指定数据范围的拟合,不意味着测量点必须严格落在同一条曲线上,也不能仅凭拟合良好就随意外推。

【例1】测量刀具使用时间与厚度,数据如下。时间单位为小时,厚度单位为毫米。求厚度 与时间 的经验公式。

解:散点近似沿直线分布,取 。残差为 。残差直接相加会正负抵消,不能据此判断每个偏差都小;可采用绝对值和,也可采用便于微分运算的平方和。本例使用

选取使平方和最小的参数,就是最小二乘法。它最小化的是整体平方误差,并不保证每个点分别取得其最小可能误差,也不等同于最小化点到直线的垂直距离。

t / hy / mm01234567824252627ŷ = 27.125 − (17/56)t
刀具厚度的原始观测点与最小二乘拟合直线,纵轴采用截断刻度

令 ,得到 、。整理为正规方程组:

计算各项如下:

故 ,解得 。拟合直线为

它表示在这组观测的时间范围内,厚度每小时平均减少约 毫米。使用未舍入系数计算,再将结果显示到三位小数,可得:

精确残差平方和为 。残差向量的长度为 ;均方根误差按 定义,为约 。二者不能混称。若使用回归中扣除两个拟合参数的残差标准差,则是 ,其分母与RMSE也不同。不要用已经舍入的表中残差反算精确平方和。

对一般 组数据 ,同样有 、。只要至少两个横坐标不同,,正规方程有唯一解:

还应说明该驻点确为全局最小值:若最优参数为 ,令 ,利用正规方程消去交叉项,得到 。后项非负,且横坐标不全相同时只在 取零。若横坐标全相同,只有拟合值 能确定,斜率与截距不唯一。

有些非线性经验公式可以经变量变换化为线性拟合。变换前后最小化的误差度量可能不同,使用时必须分清。

【例2】研究单分子化学反应,测得时间 与反应物量 的数据如下,求指数型经验公式。

解:设 ,其中 。因所有 ,可取常用对数 ,则 ,其中 。在半对数坐标中,纵向位置与 成比例,因此指数关系显示为直线,纵轴上的原量刻度并非等距。

τ03691215182124124681020406080lg ŷ = 1.89525695 − 0.04503019τ
反应物量的半对数散点图:纵向位置按lg y计算,拟合直线对应原量中的指数衰减

用于求和的变换数据如下,表内对数显示到五位小数:

以未舍入的对数求和,。正规方程为

解得 ,所以 。因此经验公式可写为

负的指数系数与反应物量随时间减少相符。求和、解方程时保留精度,最后再舍入结果,可以避免截距及反变换参数因过早舍入而偏移。

这里最小化的是 ,不是原量残差平方和 ;二者一般得到不同参数。如果目标是原量上的平方误差最小,应直接求解相应的非线性最小二乘问题。出现零值或负值时,也不能直接取实数对数套用这一变换。