8.6 分布拟合检验
本章目录 · 1 节
本章导读
【8.6 分布拟合检验】前面的均值、方差检验预先指定了总体的分布类型。本节由观察频数考察一个给定分布或一个分布族是否与数据相容。采用Pearson卡方拟合检验,须同时交代抽样独立性、分组、尾部、参数估计和卡方近似条件;仅有样本量大,并不足以保证所有分组的近似良好。
【一、单个给定分布】设独立同分布样本容量为,检验对,其中完全给定,不含需要用本样本估计的参数。把可能取值空间划成个互不重叠、合起来覆盖全部可能值的集合。记观察频数为,原假设概率为,则、。连续分布的相邻区间要统一开闭端点,最左、最右组必须包括相应尾部。
各组的期望频数是,不是本身。统计量为
最后一个等号利用两个总和约束。独立抽样下,频数向量服从多项分布;各组频数并不互相独立。固定分组和固定正概率时,增大可得到的极限分布,少掉的一个自由度来自总频数约束。偏离越大,越大,因此拒绝域在右尾:。这里沿用本书的上尾分位数记法。
【分组检查】常用做法是让每组期望频数至少约5;这是改善近似的经验规则,不是“满足就严格精确”的定理,也不存在只看就能通用保证的方法。尾部期望频数小,可合并相邻组,随后重新计算概率、频数和组数。最好事先确定规则。若利用数据反复选择分组、估计模型再检验,严格校准时应通过参数自助法等方法重现整个选择过程。某个零概率事件若实际出现,已与原假设矛盾,不能在公式里除以0;零概率且零观察的空组不算一个有效自由度。
【例1 雷暴频数与指定泊松分布】100个观测单位记录到的雷暴次数0,1,2,3,4,5,至少6,对应频数22,37,20,13,6,2,0。在独立同分布的教学模型下,检验,取。这里参数1由原假设指定,不用样本均值替换。
合并为0、1、2、至少3四组,观察频数22,37,20,21;相应概率为。它们的期望频数约36.787944,36.787944,18.393972,8.030140,都超过5。
代入得,自由度3,上尾,小于0.01,拒绝指定的泊松参数1。原书27.04为按表中舍入数计算的近似值。本结论只否定这里指定的分布,不能据此说一切参数的泊松分布都不适用。(例完)
【例2 四类遗传性状的给定比例】360头牛的黑色无角、黑色有角、红色无角、红色有角四类观察频数依次为192,78,72,18。教学模型给定四类概率为,检验此模型,。期望频数依次202.5,67.5,67.5,22.5,故
自由度3,临界值,上尾,未拒绝。表述为“本数据未提供足够证据反对给定比例”,不表示已证明遗传定律,也不表示原假设成立的概率为0.336963。(例完)
【二、含未知参数的分布族】检验,其中允许在某个参数空间取值。需先估计参数,再求各组概率。固定分组后记,分组多项似然的对数除常数外为
由这些分组频数求极大似然估计,再用计算。在模型可识别、真参数为内点、概率光滑且为正等正则条件下,若参数对分组概率的有效影响维数为,则渐近服从,要求。本节例子中的有效维数分别为1、1、2。
【参数估计不能机械扣自由度】分组极大似然估计或相应的最小卡方估计,与直接用全部原始观察求出的极大似然估计并非总相同。把任意估计值代入后机械减去参数个数,不能普遍得到同一个标准卡方极限。为把检验与自由度依据对应起来,下列三例同时保留原书的原始数据估计作比较,并采用最终分组的极大似然估计给出主要卡方近似。有限样本仍是参考近似值;参数自助模拟必须逐次重新估计参数,并重现实际采用的分组规则。
【例3 放射性粒子计数与泊松分布族】100个等长观察时段,计数0至11以及至少12的观察频数依次为1,5,16,17,26,11,9,9,2,1,2,1,0。检验是否属于参数未知的泊松分布族,。
总计数420,原始观察的均值为4.2。若按原书将代入,随后合并为0或1、2、3、4、5、6、7、至少8八组,观察频数为6,16,17,26,11,9,9,6,得;与书中6.281的差别来自中间舍入。最后一组的概率必须为,不能遗漏计数超过11的可能性。
现在对这八组重新作分组极大似然估计。首组概率为,中间各组为泊松单点概率,末组为完整右尾。数值极大化得,得到下表。
各组期望频数均超过5,,。上尾参考,小于拒绝阈值的条件并未满足;临界值,故未拒绝泊松分布族。这不是确认参数精确等于4.2或4.160115。独立时段及稳定计数机制是这个拟合解释的前提。(例完)
【例4 地震间隔的指数分布拟合】沿用原书的历史教学记录:观察期1965年1月1日至1971年2月9日,标为2231天、162次事件;间隔天数0—4、5—9、10—14、15—19、20—24、25—29、30—34、35—39、至少40,对应频数50,31,26,17,10,8,6,6,8。最后八个间隔为40,43,44,49,58,60,81,109。这里使用题目给定的频数,不把这些陈旧记录当作完整现代全球地震目录。
拟合密度(),其他处为0,。为与书中分组一致,采用连续边界0,4.5,9.5,14.5,19.5,24.5,29.5,34.5,39.5及正无穷;这是按整数记录分组的建模约定,不意味着掌握了未舍入的真实间隔。原书以为尺度估计,末两组合并后八组的观察频数为50,31,26,17,10,8,6,14,直接代入得到。
【观察期与间隔样本的区别】若2231仅是固定观察窗口长度、162仅是事件数,不能自动断言共有162个完整、独立的间隔且总和2231。窗口起止的截断或删失需要另外处理;泊松计数模型下用窗口长度除事件数估计尺度,和用完整间隔样本估计,依据并不相同。下面仅对题目给出的间隔频数作分组拟合,不补造缺失间隔,也不由拟合结果推断所有地震都独立发生。
八组的概率可统一写为,末组取、第二项为0。由最终八组频数求极大似然估计得天;注意尺度单位是天,不能当成事件率。
最小期望频数约5.724150,,自由度,参考,未在0.05水平拒绝。大不是“指数模型几乎肯定正确”,也不是原假设为真的后验概率。(例完)
【例5 头部宽度的正态拟合】使用第六章第二节例1已经列明的84项头宽数据,检验正态分布族,。数据总和12077,原始数据的极大似然估计为、;原书提前取143.8和6.0造成后续概率与统计量偏移。标准差的极大似然分母为84,不要与无偏样本方差分母83混淆。
原始七组的边界为负无穷,129.5,134.5,139.5,144.5,149.5,154.5,正无穷;观察频数1,4,10,33,24,9,3。原书合并两端后成为五组,频数5,10,33,24,12。用未舍入原始估计计算,五组期望频数约4.962185,14.838792,26.289239,23.855512,14.054272,得,不是书中的3.67;第一组仍小于5,不能声称已经全部达到经验阈值。
若在这五组上重新估计,得到、,但第一组期望频数约3.627773,问题仍未解决。为了展示满足该经验阈值的分组计算,将前两组再合并,使用、、、四组,观察频数15,33,24,12,并按最终四组重新估计。
各组概率为。分组极大似然解为、,四组期望频数约15.869897,30.062670,26.981454,11.085978。
得,自由度;临界值,参考,因此此分组卡方近似未拒绝正态族。合并降低了可区分分布差异的能力,不能将较小统计量理解为证明模型正确。本例展示合并与重新估计的过程;因为合并方案是在考察数据后调整的,若需要严格的最终显著性报告,应预定方案或用模拟重现整个调整流程,不能宣称以上参考是数据自适应过程的精确检验水平。(例完)
【结果怎样报告】写清原假设是指定分布还是参数未知的分布族,列出原始频数和全部尾部,说明最终分组与估计方法,报告、自由度、显著性水平和参考。没有拒绝只表示当前数据和检验分辨率下证据不足,不能证明分布相同;更不能把对参数族的未拒绝误写成确认某个估计参数值。
