10.1 非参数bootstrap方法

数学学习 · 爱知数学讲义

18
本章目录 · 1 节

本章导读

【10.1 非参数bootstrap方法】自助法把已知样本中的信息用于近似未知的抽样分布,可估计标准误、偏差、均方误差及区间。它以重新抽样和反复计算同一统计量实现,关键不是创造新的真实观察,而是用一个可计算的替代分布模拟原来的抽样过程。本章先讨论非参数方法,再讨论参数方法与假设检验。

【一、估计量的标准误差】待估参数为,估计量为,标准误差指。它是估计量在重复抽样中的波动,不是原始观察的标准差。如果总体F已知,可反复从F抽取容量n的独立样本,计算B个统计量,再用它们的样本标准差近似该标准误;问题是实际F通常未知。

【经验分布的替代】原始数据给出经验分布。从中抽样等价于独立均匀抽取一个原始下标,再取对应数值,抽后放回,重复n次。每个原始下标概率为;若某个数值a在数据中出现次,其概率质量是。

原书将每个“数值”都写成概率的离散均匀分布,遇到重复值容易产生误解。应对下标均匀抽样,不能先去重后给每个不同数值相同概率;经验分布是离散概率质量,不是连续概率密度。

【重复抽样的步骤】固定原始数据,独立产生B个重抽样,每份容量均为n,样本内部放回抽取。对每份计算,令,标准误的蒙特卡罗估计为

中心是重抽样统计量的平均,而不是原始估计值;若用后者作中心,估计的是含偏差成分的均方误差。原书建议B至少10000,可作为本章示范选择,不能理解成所有任务的统一必要或充分条件。增大B主要减少模拟误差,不会把原始n项数据变成更多独立真实观察,也不会自动消除原始小样本的不确定性。

【例1 基金回报率中位数的标准误】13项年回报率百分数为9.5,21.1,12.0,10.2,12.0,21.1,10.2,18.2,12.0,9.5,18.0,10.2,18.2。总体分布未知,原样本中位数为第7个顺序值12.0,估计总体中位数的标准误。

19.5221.1312410.2512621.1710.2818.2912109.511181210.21318.2
例1 全部13项原始回报率,重复值不能删除

六个不同值9.5,10.2,12.0,18.0,18.2,21.1的次数依次2,3,3,1,2,2,因此抽到10.2的概率为3/13而非1/6。

9.510.21218.221.101/132/133/1318.0
补充图 原始基金数据的经验概率质量,体现重复值的抽样权重

从这13个下标放回抽取13次,计算中位数,重复10000次后用上述公式。原书展示样本1、2与10000的完整抽样序列如下,它们的中位数依次为18.2,10.2,12.0。

110.218.221.1210.29.59.5318.221.110.2418.221.19.5518.210.212610.21812710.29.521.1821.110.218.291210.2181018.29.521.11121.110.2121221.1129.5131221.121.1
例1 原书展示的三条重抽样序列,每条13项;这些是原书的抽样实例,不是下述固定种子运行的前三条

原书某次模拟报告标准误2.676131,但没有提供随机种子。为可复算,这里另外采用Python的,每次调用独立取下标,B为10000,得到标准误约2.655449,单位为回报率百分点。随机运行不同,不应强行要求最后数字完全相同。

本例还能直接算出经验分布下的精确条件结果。若,重抽样中位数满足

相邻支持点的累积概率相减得到各中位数的概率,再计算方差,得到。这里“精确”指固定原始经验分布后的重抽样分布,不是宣称已精确知道真实总体中位数估计的标准误。(例完)

【二、均方误差的bootstrap估计】真实目标为。自助法在替代总体中,以原始估计作为对应参数值,近似为条件均方误差,其模拟估计为

这里分母B,与标准误公式的B−1不同。原书把真实总体参数直接替成样本值后写成同一个F下的期望,容易混淆;应明确是改在经验分布下求条件期望,所得数值仍是对真实抽样误差的近似。

【例2 铂升华热中位数的均方误差】26项已排序数据为133.7,134.1,134.3,134.4,134.5,134.7,134.8,134.8,134.8,134.9,134.9,135.0,135.0,135.2,135.2,135.4,135.4,135.8,135.8,136.3,136.6,141.2,143.3,146.5,147.8,148.8,单位千卡每摩尔。按原书换算口径1千卡每摩尔为4186.8焦耳每摩尔,不能混用另一卡的定义。

1133.714135.22134.115135.23134.316135.44134.417135.45134.518135.86134.719135.87134.820136.38134.821136.69134.822141.210134.923143.311134.924146.51213525147.81313526148.8
例2 全部26项铂升华热,左右两列的序号合起来为1至26

原中位数为第13和14项的平均。每次重抽26项,仍用中间两项的平均作中位数。原书的首份与第10000份样本完整列在下表,得到134.85与135.2,相对135.1的平方误差分别为0.0625、0.01。

1143.31135.82134.82135.23148.83134.94135.44135.25135.25135.46135.26135.27134.87134.38134.48134.99134.79134.310135.2101351113511134.51213512135.813135.413146.514135.414143.315136.31513516134.416135.217134.917148.818134.818136.619136.619135.420134.120136.621134.821135.222134.822133.723133.723146.524134.82413525134.825135.426134.426134.8
例2 原书两份完整26项重抽样,展示中位数与平方误差的计算,不虚构未印出的9998份样本

原书10000次运行的均方误差为0.07432325。这里固定种子20261117、B为10000,按统一下标放回抽样得到。两者不能仅凭末位不一致就断言算法错误。

为了独立核算,直接按经验分布的26次多项抽样枚举两个中央次序值的联合概率,得到精确条件,条件标准误约0.256094835。平方误差受少量较大的中位数影响,此条件分布下,B为10000时均方误差模拟平均的蒙特卡罗标准误约0.004951252;原书0.07432325与精确条件值的差在这种随机波动量级内,不能当成确定性的计算错误。(例完)

【三、偏差的bootstrap估计】估计量的真实偏差为。替代分布下对应,模拟估计为。正偏差表示重抽样统计量的平均比原始点估计大,不等于每份样本都偏大。

【例3 铂样本中位数的偏差】续例2,以135.1作为经验分布中的中位数统计量。原书样本1的偏差差值为,样本10000为。全部10000个差取平均,原书报告0.04333。

同一固定种子20261117的运行得到约0.041840;按精确条件分布计算,所以条件偏差约0.043197406。模拟MSE、偏差与标准误还满足有限B的恒等式

这可用于核验程序中心与分母是否用错。它不表示真实总体偏差已精确得知。(例完)

【四、分位数法置信区间】将B个重抽样统计量排成,重复值允许相等。经验分位数需声明约定。这里采用经验分布逆函数,即分位数取第项,。用与两个经验分位数构造百分位数区间。

当B为10000且时取第250和9750项,与原书本例的排序位置相同;90%时取第500和9500项。原书用向下取整写通式,在不是整数时可能与此逆函数约定相差一项,甚至小B时出现第0项,所以不能不加限制地照抄。软件若用插值分位数,应明确其规则,不把插值数误称为某个实际排序观察值。

百分位数区间通常只是近似区间。以真实总体近似经验总体以及统计量相应的正则性为依据,不是仅由B大就保证覆盖率。原数据偏倚严重、相关、统计量不规则或涉及边界时,需要相应设计和方法;独立个体抽样也不能未经处理用于时间相关序列或聚类数据。

【例4 铂中位数和20%截尾均值的95%区间】续例2。(1)每次重抽26项计算中位数,排序后取第250与9750项。原书及本次固定种子运行均得到;精确条件中位数分布的2.5%与97.5%分位数也为这两个值。但真实总体覆盖率仍不是由这个条件计算自动证明。

(2)按每端20%截尾的约定,26项先排序,左右各删除项,对剩余16项求平均;每一份重抽样也按同样规则处理。原始截尾均值为135.2875,不能把“20%截尾”误作两端合计只删20%。原书报告区间,固定种子20261117、本次10000份样本得到。这些是不同随机运行结果,不把原书端点硬写进程序作为计算结果。中位数与截尾均值估计的总体函数不同,两个区间不可互换。(例完)

【例5 仔猪存活数均值与标准差的90%区间】30窝的存活只数为9,8,10,12,11,12,7,9,11,8,9,7,7,8,9,7,9,9,10,9,9,9,12,10,10,9,13,11,13,9。

191192192812722931013723124121482410511159251061216726977179271389189281191119102913108209309
例5 原始30窝的整数计数,三组并列序号组成完整1至30

原样本均值,以分母计算的样本标准差。每次放回抽30项,分别计算均值与样本标准差,重复10000次后各取第500和9500项。原书展示的首份和最后一份重抽样如下,两份都保持30项容量。

1891179219828101299221011310713101323894121014811241395791591225896117161110269117119171012279128871813122871191010199102910121012720993089
例5 原书样本1与样本10000的完整序列,表中两列分别对应这两份样本

原书将均值区间写为。按“某个排序的样本均值”这个约定,10.038不可能正确,因为任何30个整数的均值都必须是的整数倍,而不是整数。这里不能擅自猜成别的数字,而应重新计算并交代分位数规则。

固定种子20261118、B为10000,本次均值90%区间为,标准差90%区间约。原书标准差区间与本次按两位小数展示一致。

均值还可不用模拟:将单次经验计数分布的概率生成多项式取30次方,得到30次之和的精确条件分布,再除以30。按经验分布逆分位数,精确条件均值90%百分位区间为。固定10000次模拟的上端点与这个条件分位数相差,是有限模拟波动,不能把两种结果当成不同的真实总体参数。(例完)

2.6761312.6554492.6818430.074323250.066502500.067450580.043330.0418400.04319741[134.8,135.8][134.8,135.8][134.8,135.8][134.8938,137.4563][134.8875,137.4]-[9.03,10.038] (*)[9.033333,10.066667][9.033333,10.033333][1.35,1.98][1.349329,1.984132]-
本节结果对照:原书未给种子的运行、固定种子10000次运行与可直接核算的精确条件结果;星号标出原书仔猪均值上端点的确定性错误

【如何复算与解释】三个原始数据集按正文顺序录入,分别用种子20261116、20261117、20261118,B均为10000;以Python随机生成器Random创建独立实例,每次randrange(n)取下标,一份样本连续取n次后重新计算统计量。标准差用,偶数样本中位数用中间两项平均,截尾两端各删向下取整的20%,分位数用第项。精确条件计算用于核验这套经验分布下的重抽样算法,并不消除对真实总体的建模近似。报告时应同时说明原始样本、统计量、重抽样单位、次数、随机种子、分位数规则及区间的近似性质。