本章导读
【6.3 抽样分布】统计量是样本的函数,其计算式不含未知参数。它在抽样前是随机变量,代入样本值后得到观察值。统计量的概率分布称抽样分布,描述重复抽样时统计量如何波动;它不等于原总体的分布。
【常用统计量】对容量n的样本,定义样本均值、样本方差和标准差为
X=n1i=1∑nXi,S2=n−11i=1∑n(Xi−X)2=n−1∑iXi2−nX2,S=S2.
方差及标准差要求n≥2。样本k阶原点矩Ak=n−1∑iXik;k≥2阶中心矩Bk=n−1∑i(Xi−X)k。特别B2=(n−1)S2/n,不能与S2混为一谈。把大写Xi换成观测xi便得到相应样本均值x、方差s2、标准差s及样本矩的观察值。
若E∣X∣k<∞,辛钦大数定律给出AkPμk=E(Xk)。连续函数g进一步满足g(A1,…,Ak)Pg(μ1,…,μk),这是矩估计的依据。不能在所需矩不存在时照搬这一结论。
Fn(x)=n1i=1∑n1{xi≤x}.
它非减、右连续,在负无穷极限为0、正无穷极限为1;每个不同数据值处的跳跃高度为该值出现次数除以n,重复观察必须合并计数。若排序数据互不相同,则Fn(x)=0于x<x(1),Fn(x)=k/n于x(k)≤x<x(k+1),Fn(x)=1于x≥x(n)。有并列值时优先用指示函数定义,避免把不存在的区间也画成阶梯。
例如样本值−1,1,2的经验分布函数依次在(−∞,−1)、[−1,1)、[1,2)、[2,∞)上取0,1/3,2/3,1。
图6—6 样本−1、1、2的经验分布函数;实点是跳跃处函数值,空点表示该段不包含的端点 【定理1 格里汶科定理】独立同分布样本的经验分布函数满足
P(n→∞limx∈Rsup∣Fn(x)−F(x)∣=0)=1.
即在整个实轴上几乎必然一致收敛,不只是某一个固定x的点态收敛。这为用样本描述总体分布提供依据,但不保证某个有限样本恰好等于总体分布。一般证明从略。
【一、卡方分布】若Z1,…,Zν相互独立且为标准正态变量,则Q=∑i=1νZi2∼χ2(ν),ν为自由度。密度为
fν(y)=⎩⎨⎧2ν/2Γ(ν/2)yν/2−1e−y/2,0,y>0,y≤0.
单个Zi2∼Γ(1/2,2),独立同尺度伽马变量的和为Γ(ν/2,2),所以得到上述密度。独立的Q1∼χ2(ν1)、Q2∼χ2(ν2)满足Q1+Q2∼χ2(ν1+ν2)。由E(Z2)=1、E(Z4)=3得E(Q)=ν、D(Q)=2ν。
图6—7 自由度1、2、4、6、11的卡方密度;自由度1在原点右侧趋向无穷,图上超出纵轴范围的部分未显示 上α分位数χα2(ν)满足P(Q>χα2(ν))=α。例如χ0.12(25)≈34.382。大自由度时可用费希尔近似
χα2(ν)≈21(zα+2ν−1)2,P(Z>zα)=α.
对ν=50、α=0.05,保留完整zα得约67.219,准确分位数约67.505。书中使用1.645得到的67.221是舍入后近似,两者都不能标作准确分位数。极端尾部和较小自由度应使用准确分布函数或可靠分位数计算。
图6—8 卡方上分位数示例:自由度6、右尾概率0.1;阴影向右延伸至无穷 【二、t分布】若Z∼N(0,1)、Q∼χ2(ν)且相互独立,则
T=Q/νZ∼t(ν),hν(t)=πνΓ(ν/2)Γ((ν+1)/2)(1+νt2)−(ν+1)/2,t∈R.
密度关于0对称,有限自由度的尾部比标准正态更厚;自由度趋于无穷时密度趋于标准正态密度。上α分位数tα(ν)满足P(T>tα(ν))=α,由对称性t1−α(ν)=−tα(ν)。大自由度可近似tα(ν)≈zα,但精度还取决于尾部概率,不把某个固定自由度阈值当成所有情况下的保证。
图6—9 自由度2、9、25的t密度与标准正态密度比较 图6—10 t上分位数示例:自由度9、右尾概率0.05;分位数位于右侧而非左右两尾各0.05 【三、F分布】若U∼χ2(ν1)、V∼χ2(ν2)独立,则
R=V/ν2U/ν1∼F(ν1,ν2).
分子与分母分别除以自己的自由度,两个自由度的次序不能互换。其密度为
g(y)=⎩⎨⎧Γ(ν1/2)Γ(ν2/2)Γ((ν1+ν2)/2)(ν2ν1)ν1/2yν1/2−1(1+ν2ν1y)−(ν1+ν2)/2,0,y>0,y≤0.
图6—11 F密度的参数次序:(10,40)与(11,3),两条曲线按公式计算 倒数1/R∼F(ν2,ν1)。上分位数定义为P(R>Fα(ν1,ν2))=α,于是
F1−α(ν1,ν2)=Fα(ν2,ν1)1.
证明:取倒数时不等号反向,原变量左尾概率变为倒数变量右尾概率,再用连续分布的分位数唯一性。注意同时交换自由度并把α改为1−α。例如F0.95(12,9)=1/F0.05(9,12)≈1/2.80≈0.357,这里2.80本身已经是查表舍入值。
图6—12 F上分位数示例:自由度(10,40)、右尾概率0.05;阴影表示右尾而非左尾 【四、样本均值与方差的一般矩性质】只要独立同分布总体有均值μ、有限方差σ2,便有
E(X)=μ,D(X)=nσ2,E(S2)=σ2.
第三式由∑i(Xi−X)2=∑iXi2−nX2取期望得到:分子期望为n(σ2+μ2)−n(σ2/n+μ2)=(n−1)σ2。因此n−1使S2成为总体方差的无偏估计;并不意味着S也无偏。上述矩等式不需要总体正态。
【定理2 正态样本的均值】若总体N(μ,σ2)且σ>0,则X∼N(μ,σ2/n),这是有限样本的准确分布,不是CLT近似。
【定理3 正态样本的方差与独立性】在同样条件且n≥2时,
σ2(n−1)S2∼χ2(n−1),X 与 S2 相互独立.
证明要点:把标准化样本向量Z=((X1−μ)/σ,…,(Xn−μ)/σ)T作正交变换,第一行取(1,…,1)/n。变换后的坐标W1,…,Wn仍为独立标准正态;其中W1=n(X−μ)/σ,而∑j=2nWj2=∑i(Xi−X)2/σ2。后者为n−1个独立标准正态的平方和,并且与W1独立,故两结论成立。这也解释了估计均值后减少的一个自由度。
【定理4 单个正态总体的t量】结合前两定理与t分布定义,
分母是样本标准差所形成的标准误S/n;若把S换为已知总体标准差σ,则是标准正态。含未知μ的这一表达式是枢轴量,严格说不能在μ未知时称为只由样本算出的统计量;这与X、S2本身是统计量不矛盾。
【定理5 两个独立正态样本】设样本容量n1,n2≥2,总体分别为N(μ1,σ12)、N(μ2,σ22)且两整组样本独立。则
σ12/σ22S12/S22∼F(n1−1,n2−1).
Sw2=n1+n2−2(n1−1)S12+(n2−1)S22,Sw=Sw2,
Sw1/n1+1/n2(X−Y)−(μ1−μ2)∼t(n1+n2−2).
证明:两个标准化残差平方和独立且分别为卡方分布,按自由度归一化取比便得F量;等方差时二者相加为χ2(n1+n2−2),又与标准化均值差独立,代入t分布定义即得。方差不等时不能继续宣称这一合并方差公式具有相同的准确t分布。这里的准确卡方、t、F结论依赖正态性及所列独立条件,一般总体仅有前述均值、方差矩等式。