11.6 bootstrap方法

数学学习 · 爱知数学讲义

18
本章目录 · 25 节

本章导读

【11.6 bootstrap方法】本节按原书的12个例题,用R实施第十章的自助估计、百分位区间与假设检验。数据与统计目标沿用原题,程序补上明确的随机数算法、独立种子和分位数规则,避免依赖上一段程序留下的不明对象。所有新结果均来自实际R运行,不能声称复现原书未提供种子的同一条随机序列。

【运行规则】先执行下面公共代码,再执行所需例题。B为10000,例1至12各自种子为110601至110612。RNGkind指定均匀、正态及抽样算法;Python与R即使使用相同整数种子,也不能假设产生相同序列。每份重抽样容量与原样本相同,sample.int抽取原始下标并放回,重复值不会被去掉。

原书quantile没有指定type,实际使用默认插值规则type=7;第十章的排序位置描述则不是同一个一般规则。这里明确使用type=1,即经验分布逆分位数,第q分位取第项。95%、90%、80%百分位区间分别取本节六个概率位置中的第1与6、第2与5、第3与4项。若要研究原书的默认插值,另标type=7,不把插值端点误称为一个实际排序值。

【公共R代码与原始数据】原始数据均保留重复值;基金是13项回报率百分数,铂是26项千卡每摩尔,热泵15项年数,猫例10项按原书保留小数,存活时间16项月数,销售量按8个频数还原为48个月。参数、单位及模型限制见10.1—10.2。

RNGkind('Mersenne-Twister','Inversion','Rejection')

B <- 10000L

probs <- c(.025,.05,.10,.90,.95,.975)

qboot <- function(v) as.numeric(quantile(v,probs=probs,type=1))

boot <- function(x,stat) replicate(B,stat(x[sample.int(length(x),length(x),replace=TRUE)]))

fund <- c(9.5,21.1,12,10.2,12,21.1,10.2,18.2,12,9.5,18,10.2,18.2)

platinum <- c(133.7,134.1,134.3,134.4,134.5,134.7,134.8,134.8,134.8,134.9,134.9,135,135,135.2,135.2,135.4,135.4,135.8,135.8,136.3,136.6,141.2,143.3,146.5,147.8,148.8)

heat <- c(.4,.6,.7,.9,1,1.3,1.9,2,4.8,5.1,5.3,5.3,6,12.2,15.8)

cats <- c(15.1,14.6,12,19.2,16.1,15.5,11.3,18.7,17.1,17.2)

survival <- c(8,13.6,13.2,13.6,12.5,14.2,14.9,14.5,13.4,8.6,11.5,16,14,19,17.9,17)

sales <- rep(9:16,times=c(1,6,13,12,9,4,2,1))

例1 基金中位数的标准误

R代码

set.seed(110601)

theta <- boot(fund,median)

ex1 <- c(original=median(fund),bootstrapMean=mean(theta),SE=sd(theta))

ex1

【计算与解释】原样本中位数12。每次从13个下标放回抽13项,求中位数;sd(theta)对10000个中位数计算分母9999的样本标准差。原书这次模拟的重抽中位数平均12.83701、标准误2.676131;本次种子110601得到平均12.81518、标准误约2.683867337。注意这不是对原始13个回报率直接求标准差。经验总体中的精确条件标准误约2.681842809,见10.1,有限模拟允许合理波动。(例完)

例2 铂中位数的均方误差

R代码

set.seed(110602)

md <- boot(platinum,median)

ex2 <- c(original=median(platinum),MSE=mean((md-median(platinum))^2),SE=sd(md),bias=mean(md)-median(platinum))

ex2

【计算与解释】原始中位数135.1。以每份重抽中位数与135.1的差平方取平均,分母B,得到本次MSE约0.07136475。原书为0.07432325;10.1的精确条件值约0.0674505806,平方误差模拟的重尾波动使10000次运行仍可能有可见差别。不能把SE与MSE混为一谈,SE先中心化于重抽统计量的平均,MSE在这里中心化于原始估计。(例完)

例3 铂中位数的偏差

R代码

set.seed(110603)

md <- boot(platinum,median)

ex3 <- c(bias=mean(md)-median(platinum))

ex3

【计算与解释】本例重新指定种子110603并产生自己的10000份重抽样,原数据、容量由公共对象platinum确定,不依赖上一个例题留下的n或md。偏差是mean(md)减原中位数,本次约0.045810,原书0.04333,条件精确值约0.043197406。正偏差不代表每一份重抽样的中位数都大于135.1。

[[fig:gl-c11e-tpoint|例1—3 原书未给种子的结果与本次固定种子R运行的点摘要对照]](例完)

例4 铂中位数与20%截尾均值的区间

R代码

set.seed(110604)

both <- boot(platinum,function(a)c(median=median(a),trim20=mean(a,trim=.2)))

ex4 <- list(median=qboot(both['median',]),trim20=qboot(both['trim20',]),medianType7=as.numeric(quantile(both['median',],probs=probs,type=7)),trim20Type7=as.numeric(quantile(both['trim20',],probs=probs,type=7)))

ex4

【计算与解释】同一份重抽样同时计算中位数与截尾均值。mean(a,trim=.2)按每端20%删除,26项各端删除5项、留下16项,等价于本题排序后取第6至21项平均。不能把每端20%误作两端合计20%。

本次95%中位数区间[134.8,135.8],20%截尾均值区间[134.88125,137.4]。ex4还单独计算同一份运行的type=7结果,截尾均值95%端点变为约[134.88734375,137.40015625],差异来自分位数约定,而不是换了原始数据。

[[fig:gl-c11e-tqtypes|例4 同一批10000次重抽统计量的type=1与type=7六个分位数,专门展示算法差异]](例完)

例5 指数热泵寿命均值的参数自助区间

R代码

set.seed(110605)

m <- replicate(B,mean(rexp(length(heat),rate=1/mean(heat))))

ex5 <- qboot(m)

ex5

【计算与解释】15项原始寿命均值4.22年。rexp的参数rate是率,故填1/mean(heat),不是直接填4.22。每次抽15项指数变量求均值。本次95%区间约[2.355661,6.601540]年;原书[2.392090,6.682134]年是另一条随机运行的结果。条件解析分位数及置信区间近似性质见10.2,不能把从拟合模型抽样当成真实参数已知。(例完)

例6 猫听觉神经数据的泊松计算演示

R代码

set.seed(110606)

m <- replicate(B,mean(rpois(length(cats),lambda=mean(cats))))

ex6 <- qboot(m)

ex6

【计算与解释】原书10项平均15.68,以rpois每次产生10个整数,求均值。本次95%端点[13.3,18.2],六个分位数与原书比较见后表。但原始观察含15.1、14.6等小数,与固定时段未经处理的泊松计数不相容。若它们是重复计数平均或换算速率,还需原始计数与暴露量。此代码仅演示把15.68代入模型后的运算,不把该模型自动认作已获数据支持,更不能擅自将原数据四舍五入来消除矛盾。(例完)

例7 正态存活时间的均值与中位数区间

R代码

set.seed(110607)

mu <- mean(survival)

sig <- sqrt(mean((survival-mu)^2))

both <- replicate(B,{a<-rnorm(length(survival),mean=mu,sd=sig);c(mean=mean(a),median=median(a))})

ex7 <- list(mean=qboot(both['mean',]),median=qboot(both['median',]),mu=mu,sd=sig)

ex7

【计算与解释】由16项原数据直接计算均值mu=13.86875、最大似然方差8.0633984375,标准差sig约2.8396123745。rnorm第三参数是标准差。原书用mu=13.87、sd=2.84,后者的平方为8.0656,并非它前面展示的方差8.06;这里统一使用原始数据的全精度MLE参数。

每份同一组16个正态变量同时计算均值和中位数,replicate把两个结果存为两行。按行名提取,避免把整矩阵混作一个样本求分位数。本次均值95%区间约[12.459867,15.272084]月,中位数区间约[12.169746,15.575467]月。正态总体的均值和中位数相同,但样本估计量不同,所以两套区间不同;正态寿命模型仍是题设近似。(例完)

例8 月销售量的参数与非参数区间

R代码

set.seed(110608)

param <- replicate(B,mean(rpois(length(sales),lambda=mean(sales))))

nonparam <- boot(sales,mean)

ex8 <- list(param=qboot(param),nonparam=qboot(nonparam),n=length(sales),sum=sum(sales))

ex8

【计算与解释】sales由rep的times频数构造,长度48、总和575。先用种子110608,从泊松模型产生10000份48项样本;接着在同一随机会话中继续做10000份经验重抽样,两套统计量各自存储,不是每种方法各自重新设同一个种子。

本次参数法95%区间[11,12.979166667],非参数法[11.5625,12.416666667],单位件每月。不同替代总体的方差不同,区间宽度也会不同;不能仅凭更窄就断言方法更正确。原书与新运行的全部六个分位数分别保留如下。

2.5%5%10%90%95%97.5%134.8134.85134.9135.4135.6135.8134.8938134.9437135136.525136.9938137.45632.392092.6163412.9043445.6531826.1581926.68213413.313.714.117.317.818.212.4635712.6970712.9499414.7601315.0324315.2513412.1797312.44612.7588614.9328915.2714515.543541111.1458311.3333312.62512.812512.9583311.562511.62511.7083312.2708312.3333312.41667
例4—8 原书打印的六个分位数,原书未给种子且默认quantile插值;用于对照,不冒充本次程序输出

[[fig:gl-c11e-tnewq|例4—8 本次R固定种子运行的六个type=1分位数,每行明确统计量]](例完)

例9 平衡模型的基因频率

R代码

set.seed(110609)

n <- 1029L

thetaHat <- (500+2*187)/(2*n)

p <- c((1-thetaHat)^2,2*thetaHat*(1-thetaHat),thetaHat^2)

counts <- rmultinom(B,size=n,prob=p)

theta <- (counts[2,]+2*counts[3,])/(2*n)

ex9 <- list(thetaHat=thetaHat,p=p,CI90=as.numeric(quantile(theta,c(.05,.95),type=1)),exampleTheta=(492+2*198)/(2*1029),allCountsValid=all(colSums(counts)==n))

ex9

【计算与解释】三类原始人数342、500、187,共1029。由原始人数计算thetaHat=874/2058,再用完整精度形成三类概率。原书先取0.331、0.489、0.180,因舍入而改变了替代模型;本次不预先舍入。

rmultinom一次生成10000份三分类人数,每份总人数1029;每份再按(X2+2X3)/2058估计a等位基因频率。它等价于原书对每个人产生均匀数并分类、计数的多项抽样,但随机数消耗方式不同,不期待同种子下与逐人循环得到同一结果。若使用逐人法,分界应连续覆盖全部区间:u<p1为AA,否则若u<p1+p2为Aa,否则为aa,每份开始将三个计数器清零。

本次90%区间约[0.4071914480,0.4426627794],原书[0.4067055,0.4422012]。原书另举人数339、492、198,其估计值(492+2×198)/2058约0.4314868805,检查它的总人数仍为1029。两种人数表不能互换。区间是平衡模型内的频率推断,并未证明真实总体已满足该平衡。

[[fig:gl-c11e-tgenes|例9 原始人数、原书舍入概率、完整拟合概率及原书单份抽样人数,保留不同表格的各自含义]](例完)

例10 两队行李均值差的右侧检验

R代码

set.seed(110610)

x <- c(34,39,41,28,33)

y <- c(36,40,35,31,39,36)

pool <- c(x,y)

nx <- length(x)

ny <- length(y)

cutoff <- nx*sum(y)-ny*sum(x)

hit <- replicate(B,{sx<-sum(pool[sample.int(length(pool),nx,replace=TRUE)]);sy<-sum(pool[sample.int(length(pool),ny,replace=TRUE)]);nx*sy-ny*sx>=cutoff})

ex10 <- c(count=sum(hit),p=mean(hit),integerCutoff=cutoff)

ex10

【计算与解释】原始两组均值35与217/6,观察差7/6千克。原假设的共同经验总体是两组合并的11项;每份先抽5项给甲,再抽6项给乙。为防止浮点边界差异,将比较写为5×乙总和−6×甲总和至少35,等价于右尾均值差至少7/6。

原书第十章步骤含等号,本节原程序却写严格大于;离散观察下二者不总相同。这里统一用含等号的事件,明确比较规则。本次3143/10000=0.3143,经验总体条件精确p约0.3098682822,均大于0.05,不拒绝原假设。不能说已证明乙队平均行李不比甲队重。(例完)

例11 元件寿命均值的原假设中心化检验

R代码

set.seed(110611)

x <- c(159,280,101,212,224,379,179,264,222,362,168,250,149,260,485,170)

mu0 <- 225

cutoff <- 2*sum(x)-length(x)*mu0

hit <- replicate(B,sum(x[sample.int(length(x),length(x),replace=TRUE)])>=cutoff)

ex11 <- c(count=sum(hit),p=mean(hit),integerSumCutoff=cutoff)

ex11

【计算与解释】原始16项均值241.5,检验原假设mu=225对右侧备择。可先用z=x−241.5+225,再重抽并比较重抽均值至少241.5。代码用完全等价的整数和阈值:从原始x重抽16项,总和至少4128;这已经把原假设中心化写进阈值,并不是直接用未经调整的重抽分布检验。

本次2360/10000=0.236,条件精确p约0.2396772546。大于0.05,不拒绝原假设,证据不足以支持均值大于225小时。原书严格大于的程序与含等号的事件有边界差别;除了随机运行,比较约定也应一起说明。(例完)

例12 地球密度的正确双侧检验

R代码

set.seed(110612)

a <- c(407,488,510,526,527,529,529,530,534,534,536,539,542,544,546,547,550,553,555,557,558,561,562,563,565,575,579,585,586)

cutoff <- abs(sum(a)-length(a)*551)

hit <- replicate(B,abs(sum(a[sample.int(length(a),length(a),replace=TRUE)])-sum(a))>=cutoff)

ex12 <- c(count=sum(hit),p=mean(hit),integerAbsoluteSumCutoff=cutoff,meanOriginal=mean(a)/100)

ex12

【计算与解释】29项密度按原书数值乘100保存为整数a,第一项仍为407,即4.07克每立方厘米。精确均值157.17/29约5.4196551724;原假设5.51对应整数均值551。以原假设为中心比较绝对偏差,事件等价于|重抽整数和−15717|至少262。代码采用整数比较避免舍入中心和边界误分。

本次1428/10000=0.1428,条件精确p约0.1389753073。原书程序只比较mean(zB)>mean(x),得到0.9144,是一个方向不合题意的单侧事件,不能作为双侧p值沿用。本例要在原假设均值左右两边累计同样远或更远的事件,不能以0为中心,也不能不加说明机械乘某一侧尾概率的2倍。

两种正确计算都不拒绝原假设,但不能据此证明真实均值恰好5.51。原书的错误p值即使没有改变这次0.05水平的决策,也仍应纠正。

[[fig:gl-c11e-ttests|例10—12 原书p值、本次R运行与条件精确概率;密度例标明原书尾部错误]](例完)

【核算与使用】例2同一批重抽结果满足MSE=(B−1)/B×SE的平方+偏差的平方;可检查程序中心和分母。数据依赖、参数模型不适用或统计量不规则的问题不能靠增加B自动解决。检验得到较大p值时统一使用“不拒绝”,不把p当作原假设为真的概率;若p接近决策阈值,还应提高模拟精度并报告蒙特卡罗误差。

本节新模拟的实际R运行信息、随机数算法与全部12个种子有记录。对原书差异区分随机运行、先舍入参数、分位数算法、离散事件边界及确定性的检验方向错误,不把所有差异都归为一种原因。