9.4 多元线性回归

数学学习 · 爱知数学讲义

18
本章目录 · 1 节

本章导读

【9.4 多元线性回归】实际响应常受多个解释变量影响。对于给定的,研究均值函数。本节采用包含截距的模型

系数和共同方差不随解释变量取值变化,所有观测误差相互独立。参数表示其他列保持不变时该列的线性系数;若解释列是同一物理变量的不同函数,解释具体变化时必须一起代入,不能把这些列误认为可独立操纵的物理量。

【最小二乘与正规方程】给定组设计值与响应,正态极大似然关于系数等价于最小化

分别对求偏导置零,有,以及对每个,。这就是正规方程组,不应漏掉截距对应的第一式。

令

为设计矩阵,为,为。于是,正规方程为,其中

【可逆条件与数值求解】需要列满秩,即,这时正定、可逆,解唯一:。这要求,但仅有容量达到要求并不足够,还不能存在解释列之间的精确线性关系。为估计误差方差和作下面推断,还需。

表达式使用逆矩阵便于推导,实际浮点计算一般用QR分解或相应稳定的最小二乘求解,不必显式求逆;强共线性也可能导致估计很不稳定。若不满秩,不能直接使用逆式声称每个系数唯一可估。

经验回归方程为,它估计给定解释变量时的条件均值,不使每个观察值都落在回归面上。

【例1 批量与单价的二次模型】12个批量(件)为20,25,30,35,40,50,60,65,70,75,80,90,对应每件平均单价(元)为1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21,1.20,1.18。

x^2201.81400251.7625301.65900351.551225401.481600501.42500601.33600651.264225701.244900751.215625801.26400901.188100
本节例题的全部12组批量与平均单价,补列x平方便于核对设计矩阵

采用。令、,这是对三个未知系数线性的模型;虽然它在平面上画成曲线,仍属于线性回归。与不是随机独立变量也不妨碍最小二乘,需要检查的是设计列的线性独立。

20304050607080901.21.41.61.8
图9—5 批量—单价原始散点及二次拟合曲线,曲线仅画在实际20至90件的设计范围内

设计矩阵的12行依次为,即、、、、、、、、、、、。响应列按上述价格顺序对应,不要把批量排序后漏排相应价格。

算得

行列式,逆矩阵可写为

解得、、,拟合式为

系数较小的二次项应保留足够有效数字,不能因写成0.0001就改变曲线。原书八位小数近似用于展示时须与精确矩阵解区分。单价随批量的拟合变化率为,不能把单独称作整个批量范围内不变的价格下降率。图形趋势及外推均不应替代真实定价或成本分析。(例完)

【整体回归检验的明确形式】原书提出检验对至少一个非零。为使方法可直接学习,补写统计量:满秩且时,,,,有

以F上尾作检验,共同误差方差的无偏估计为。本例、误差自由度9、,整体、上尾。这说明相对于只有截距的模型,解释项整体显著;不是证明二次模型形式、独立性和同方差全部正确,也不是说明每个系数各自都显著。

【给定设计点的预测】令新点向量,,杠杆量。在同一正态模型下,均值的逐点置信区间为;一个独立新观察的预测区间为。后一式多出新误差,不能混用。本例若预测新批量,必须令,不能给和任意不相容的组合。