9.3 一元线性回归
本章目录 · 1 节
本章导读
【9.3 一元线性回归】变量关系可以是确定的函数关系,也可以包含无法由解释变量完全说明的随机波动。回归分析研究给定解释变量时响应量的分布,尤其是条件均值,并据数据估计、检验和预测。本节把视为给定且可精确记录的设计值,在这些值处独立观察;不把本身的随机分布纳入模型。
【一、回归函数与线性模型】对每个固定,记响应分布为,均值存在时定义。若二阶矩有限,则对任意确定的近似值,
所以在给定处,以条件均值作平方损失下的预测最优。这个结论不说明每次观察都等于均值,也不表示仅凭相关就能推出因果。
在指定范围内设,并假设,。未知参数为和,三者不依赖于。各独立但均值通常不同,因此一般不是同分布样本。斜率表示增加一个单位时条件均值的改变,不是某个个体必然增加的量。
【例1 温度与化学得率】温度(摄氏度)为100,110,120,130,140,150,160,170,180,190,对应得率百分数为45,51,54,61,66,70,74,78,85,89。
散点呈明显上升且大体接近直线,可把线性模型作为起点。图形不能单独证明正态、共同方差或严格线性;仍须结合专业背景和残差检查。(例完)
【二、a与b的估计】对个设计值,要求它们不全相同,即。正态联合似然为
关于的极大似然估计等价于最小化。两个偏导置零,得到正规方程
系数行列式为,所以解唯一且为最小值。定义
解为、。拟合式通过几何中心。最小二乘准则本身不要求正态;本节后面的精确t区间及卡方分布则需要相应正态误差条件。
【例2 化学得率的回归方程】续例1,原始计算如下。
、、、、,、。得、,因此、。
拟合方程为,或。后一式便于保持中心和精度。原书先把斜率取0.48303再计算截距写−2.73935;直接保留原始数计算截距应为−2.739393939。截距对应0摄氏度,超出本组100至190的设计范围,不宜据此赋予化学实际含义。(例完)
【三、误差方差的估计】在真模型下,以真条件均值近似响应的均方误差为。样本中的残差为,其中,残差平方和记作。
展开得到。正规方程还保证、。在正态模型下,估计两个系数用掉两个自由度,,故为的无偏估计。极大似然方差估计是,两者不要混同。后文用作估计标准误,不把它当作已知总体标准差。
【例3 化学得率的误差方差】续例2,,精确计算,所以、,自由度8。原书写7.23与0.90是中间舍入结果;后续统计量、区间都用未舍入值重新计算,不能由0.90再推导成精确数。(例完)
【四、斜率的显著性检验】先假定线性误差模型适用,检验对。估计量满足,且与独立,所以
原假设下取,以拒绝,双侧p为相应t分布的两尾之和。
【斜率检验不是线性拟合优度检验】原书称“线性假设的显著性检验”,必须限定为上述线性模型内部的零斜率检验。直线也可为水平线,所以“只要线性模型符合实际,b就不能为零”并不成立。显著斜率不能证明真实均值恰是直线,不能证明共同方差、独立性或正态性,更不能单独证明因果;不显著也可能因为样本少、噪声大或存在未被线性项捕捉的非线性关系。模型诊断需另看残差、设计与必要的失拟检验等证据。
【例4 化学得率的斜率检验】续例2与例3,,自由度8;,双侧,拒绝零斜率。原书用已舍入得到约46.25;未舍入结果约46.168970,显著性结论相同。结论是模型中温度的线性斜率不为零,不能代替对直线形式和化学机理的验证。(例完)
【五、斜率的置信区间】由上述t枢轴量,固定设计下的置信区间为。无论零斜率是否被拒绝,都可以计算和报告这个预先定义的区间,不需要先筛选“显著”才估计。
化学例的95%斜率区间约,单位为每摄氏度的得率百分点。原书给出0.45894至0.50712来自中间方差粗舍入;本值依据原始数据。不能把百分点与相对增长百分率混同。
【六、均值函数的点估计和区间】对预先指定的,令,均值点估计。在正态模型下,,方差,且与独立,所以
得到的置信区间。它是均值的不确定性,长度在处最短,随增大而增大。
【七、新观察值的预测】若在处另作一次独立试验,,且与已有样本独立。点预测仍为,但预测误差方差多了新误差一项,成为。因此
预测区间为
同一位置、同一置信水平下,新观察预测区间严格宽于均值置信区间。重复抽样解释是:将来按同一设计反复获取训练样本并获取新观察,这个程序以相应比例覆盖新观察;不能把固定未知参数的区间与未来随机观察的区间混成一回事。两者均依赖在处继续适用模型,不能仅凭公式对远处外推作可靠保证。
【例5 125摄氏度处及各点的区间】续化学例。(1),,。95%均值区间半宽约0.844408,区间约;95%新得率预测区间半宽约2.348410,区间约,均使用得率百分数的数值单位。
(2)任意指定处的点预测为,预测半宽为。原书125至165摄氏度每5度的九个点,全部重算列在下表,同时补列均值半宽便于区分。
在125、130、135、140、145、150、155、160、165处,预测半宽依次约2.348410,2.326622,2.310933,2.301468,2.298305,2.301468,2.310933,2.326622,2.348410。若保留两位小数,应分别为2.35、2.33、2.31、2.30、2.30、2.30、2.31、2.33、2.35,不沿用先把方差取0.90所得的半宽。
将各点上下端点连线得到两条曲线,只是把逐点区间可视化。不能把它称为整个温度区间内所有未来观察同时落入的95%范围;同时推断需要另行构造。(例完)
【八、可转化为线性回归的模型】变换不仅要让均值公式看起来简单,还要检查误差形式、支持范围、方差是否仍符合拟合方法。
(1)乘法指数模型,、、。取,得到,。按独立同方差的对数误差拟合,。原尺度直接反变换估计条件中位数;因为,原尺度条件均值为,不是。均值估计需要相应反变换偏差处理,不能直接改标签。
(2)乘法幂模型,还要求、。令、,得到,其反变换的中位数与均值也有相同区别。没有正值条件时不能直接取对数。
(3),已知函数,独立正态同方差误差。令,以为解释变量作线性回归,再代回原。变换后的仍须不全相同,否则即使原不同也不能唯一估计斜率。曲线是否对弯曲,与模型是否对未知参数线性是不同问题。
【例6 历史旧轿车价格】原题列1957年美国旧车调查中,使用年数1至10对应报告平均价格2651,1943,1494,1087,765,538,484,290,226,204美元。这是历史教学数据,不是当前估价,也不虚构为十辆个体车的完整抽样资料。沿原题将这些响应记录用于指数型乘法误差模型的示范拟合。
散点随年数递减,可尝试。各原价取自然对数,保留完整精度拟合,不先把对数值缩成四位小数。
得、,对数残差平方和约0.0557959724、无偏对数误差方差约0.00697449655。对的双侧t统计量约−32.375826,自由度8,p约。原书约32.3693与逐步舍入有关,不影响显著结论。
直接反变换曲线为。
若严格采用同方差对数正态模型,条件算术均值为;将估计方差代入是一个常用模型插件估计,本例相应乘数约1.003493,并非无偏性保证。原题响应本身是分组平均价,若需对实际个体车辆价格建模,还需要每组样本量、组内变异和抽样设计,不能由这十个均价反推出来。(例完)
【线性与非线性回归的区别】一般模型,若均值对未知系数是给定基函数的线性组合,称线性回归;不要求它对也是直线。例如对参数线性。均值对参数非线性则是非线性回归。
例如加性正态误差模型与上述乘法误差模型不同,不能通过直接取对数得到同方差正态误差回归。即使某个观察值为正,变换误差仍为,其分布依赖于及未知参数,也不再是给定的均值零正态误差;正态加性模型还允许负的Y,使对数未必有定义。因此应保留非线性模型处理,不把改变误差模型当成纯代数等价变换。
