本章导读
【9.4 多元线性回归】实际响应常受多个解释变量影响。对于给定的x1,…,xp,研究均值函数μ(x1,…,xp)=E(Y∣x1,…,xp)。本节采用包含截距的模型
Y=b0+b1x1+⋯+bpxp+ε,ε∼N(0,σ2),
系数和共同方差不随解释变量取值变化,所有观测误差相互独立。参数bj表示其他列保持不变时该列的线性系数;若解释列是同一物理变量的不同函数,解释具体变化时必须一起代入,不能把这些列误认为可独立操纵的物理量。
【最小二乘与正规方程】给定n组设计值与响应(xi1,…,xip,yi),正态极大似然关于系数等价于最小化
Q(B)=i=1∑n(yi−b0−j=1∑pbjxij)2.
分别对b0,…,bp求偏导置零,有∑i(yi−b0−∑jbjxij)=0,以及对每个k=1,…,p,∑ixik(yi−b0−∑jbjxij)=0。这就是正规方程组,不应漏掉截距对应的第一式。
X=11⋮1x11x21⋮xn1⋯⋯⋯x1px2p⋮xnp,Y=y1y2⋮yn,B=b0b1⋮bp.
X为n×(p+1)设计矩阵,Y为n×1,B为(p+1)×1。于是Q=(Y−XB)T(Y−XB),正规方程为XTXB=XTY,其中
XTX=n∑ixi1⋮∑ixip∑ixi1∑ixi12⋮∑ixipxi1⋯⋯⋯∑ixip∑ixi1xip⋮∑ixip2,XTY=∑iyi∑ixi1yi⋮∑ixipyi.
【可逆条件与数值求解】需要X列满秩,即rank(X)=p+1,这时XTX正定、可逆,解唯一:B=(XTX)−1XTY。这要求n≥p+1,但仅有容量达到要求并不足够,还不能存在解释列之间的精确线性关系。为估计误差方差和作下面推断,还需n>p+1。
表达式使用逆矩阵便于推导,实际浮点计算一般用QR分解或相应稳定的最小二乘求解,不必显式求逆;强共线性也可能导致估计很不稳定。若不满秩,不能直接使用逆式声称每个系数唯一可估。
经验回归方程为y=b0+b1x1+⋯+bpxp,它估计给定解释变量时的条件均值,不使每个观察值都落在回归面上。
【例1 批量与单价的二次模型】12个批量x(件)为20,25,30,35,40,50,60,65,70,75,80,90,对应每件平均单价y(元)为1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21,1.20,1.18。
本节例题的全部12组批量与平均单价,补列x平方便于核对设计矩阵 采用Y=b0+b1x+b2x2+ε。令x1=x、x2=x2,这是对三个未知系数线性的模型;虽然它在平面上画成曲线,仍属于线性回归。x与x2不是随机独立变量也不妨碍最小二乘,需要检查的是设计列的线性独立。
图9—5 批量—单价原始散点及二次拟合曲线,曲线仅画在实际20至90件的设计范围内 设计矩阵的12行依次为(1,x,x2),即(1,20,400)、(1,25,625)、(1,30,900)、(1,35,1225)、(1,40,1600)、(1,50,2500)、(1,60,3600)、(1,65,4225)、(1,70,4900)、(1,75,5625)、(1,80,6400)、(1,90,8100)。响应列按上述价格顺序对应,不要把批量排序后漏排相应价格。
XTX=1264040100640401002779000401002779000204702500,XTY=16.98851.351162.
行列式Δ=141918000000>0,逆矩阵可写为
Δ1485729250000−19571700000170550000−19571700000848420000−7684000170550000−768400071600.
解得b0≈2.198266287575、b1≈−0.0225223579814、b2≈0.000125065178483,拟合式为
y=2.198266287575−0.0225223579814x+0.000125065178483x2.
系数较小的二次项应保留足够有效数字,不能因写成0.0001就改变曲线。原书八位小数近似用于展示时须与精确矩阵解区分。单价随批量的拟合变化率为b1+2b2x,不能把b1单独称作整个批量范围内不变的价格下降率。图形趋势及外推均不应替代真实定价或成本分析。(例完)
【整体回归检验的明确形式】原书提出检验H0:b1=⋯=bp=0对至少一个非零。为使方法可直接学习,补写统计量:满秩且n>p+1时,SSE=∥Y−XB∥2,SST=∑i(yi−y)2,SSR=SST−SSE,有
F=SSE/(n−p−1)SSR/p∼F(p,n−p−1)(H0下).
以F上尾作检验,共同误差方差的无偏估计为s2=SSE/(n−p−1)。本例SSE≈0.00133712495948、误差自由度9、s2≈0.000148569440,整体F≈1767.398717、上尾p≈2.096434×10−12。这说明相对于只有截距的模型,解释项整体显著;不是证明二次模型形式、独立性和同方差全部正确,也不是说明每个系数各自都显著。
【给定设计点的预测】令新点向量z0=(1,x01,…,x0p)T,μ0=z0TB,杠杆量h0=z0T(XTX)−1z0。在同一正态模型下,均值的逐点置信区间为μ0±tα/2(n−p−1)sh0;一个独立新观察的预测区间为μ0±tα/2(n−p−1)s1+h0。后一式多出新误差,不能混用。本例若预测新批量x0,必须令z0=(1,x0,x02)T,不能给x和x2任意不相容的组合。