附录 §3中有关统计量结果的证明

数学学习 · 爱知数学讲义

18
本章目录 · 1 节

本章导读

【附录:第三节有关统计量结果的证明】原书在此列出六项结论并将证明指向二维码。这里把推导直接写出,仍对应这六项结果。设固定设计值不全相同,,模型,误差独立,。令、、、、。

【1 样本均值的分布】独立正态变量的线性组合仍正态。由,得;方差为。所以。各响应均值不同,不影响这一独立线性组合结论。

【2 斜率估计的分布】记。由于、,有。方差为,因此。进一步,;二者联合正态,所以相互独立。这里不能仅用零相关就对任意非正态变量断言独立。

【3 指定点的拟合均值分布】令。由前两项及独立性,有

它是正态线性组合,所以服从以该均值和方差确定的正态分布。这证明了第三节均值区间所需的分子分布。

【4 残差平方和的卡方分布】令、,则、。把它们扩展为的一组标准正交基。

误差向量。正交变换后的坐标仍为相互独立的标准正态。真均值向量位于张成的二维空间;拟合值是在此空间的正交投影。

残差向量因此为。由正交分解,

残差自由度由投影余空间维数得到,不能把个残差误当作个独立原始误差。

【5 均值、斜率与残差平方和相互独立】只依赖于,只依赖于,只依赖于其余个正交坐标的平方和。上述坐标相互独立,所以相互独立。这一证明给出的是相互独立,不只是逐对协方差为0。

因为是与的确定函数,它与也独立。结合第2项与第4项,即得到斜率t枢轴量;结合第3项与第4项,即得到均值函数的t枢轴量。估计截距与斜率本身则一般不独立,不能从这三项独立误推其他任意估计量都独立。

【6 新观察、拟合值和残差平方和相互独立】另作独立试验,,其中且与整个训练样本独立。于是与联合独立,而第5项又给出与独立,所以这三个量相互独立。

有,并与独立。再除以,其中,得到自由度的t分布。这正是新观察预测区间比均值区间多出一个1的原因。若所谓新观察与训练误差相关,此独立性前提就不成立,不能直接使用同一个预测公式。