7.1 点估计
本章目录 · 1 节
本章导读
【7.1 点估计】设总体分布族的形式已知,参数未知。点估计用不含未知参数的统计量估计。抽样前它是估计量,代入具体数据后得到估计值;不同样本通常给出不同估计值。参数可以是向量。
【例1 泊松参数的估计】原书教学数据为250天内每天着火次数:0、1、2、3、4、5、6次分别有75、90、54、22、6、2、1天,7次及以上为0天。假定每日计数为同一泊松总体的独立样本,,所以用。加权总次数,故估计值为;保留两位小数才是1.22。不能把舍入后的1.22写成未经舍入的精确等式。该模型也不说明现实生产过程必然满足独立、恒定发生率。(例完)
【一、矩估计法】设有个待估参数,总体前阶绝对矩有限。写出总体原点矩,再用样本矩代替,求解方程。连续型的矩由积分得到,离散型由得到。
若总体矩能够唯一确定参数,逆映射在真实矩处连续,则样本矩的依概率收敛和连续映射性质给出矩估计的相合性。方程不一定有唯一解,也可能得到不属于参数空间的值;应检查可识别性、存在性和参数约束,不能把“有个方程”当作总能解出个有效参数的保证。
【例2 均匀分布两端点的矩估计】总体,。总体均值,二阶矩。由此
所以、,其中。这里分母为,不是。矩估计的区间未必包含所有样本观察值,不能误把它当成均匀模型似然的最大化结果。若样本全相同,形式上两端点重合,不再属于的参数空间,需要单独说明。(例完)
【例3 总体均值和方差的矩估计】总体有有限正方差,不限定正态。由、,得到、。它们估计的是同名数字特征;若总体还包含其他分布参数,不能只凭这两个矩就声称估出了所有参数。特别对正态总体,它们也是均值、方差的矩估计。(例完)
【二、最大似然估计法】固定已观察的数据,把独立样本的联合概率质量函数或联合密度看成参数的函数:
在内使达到全局最大值的参数称最大似然估计值。连续型使用的是密度,单点样本概率为0,不能把密度大小直接说成该精确样本的概率。似然是关于参数的比较函数,也不是参数本身的概率分布。
在时可最大化。可微的内部极值可能满足得分方程,但还须检查边界、支持集限制、是否为最大值以及最大值是否存在。非光滑、边界最大值和无有限最大值的情况不能靠求导等于0解决。数值求解可用牛顿—拉弗森或拟牛顿等迭代方法,同时检查约束、收敛和不同初值,不能把一次迭代返回值直接认作全局最大值。
【例4 伯努利参数的最大似然估计】为独立伯努利样本,,记。。若,给出;且,为唯一最大值。若或,最大值分别在或1取得,必须检查边界而不能使用含零分母的导数式。若参数空间只允许,这两种数据没有可取得的最大值。估计量形式为,与矩估计相同。(例完)
【例5 正态均值与方差的最大似然估计】总体,、。记,则
利用,固定时最大值在;若残差平方和,再最大化得到。因此、。若数据全相同,则取为共同值、时似然无界,没有属于的有限最大值。独立连续正态样本时这种退化数据的概率为0,但数学讨论仍需区分。(例完)
【例6 均匀两端点的最大似然估计】采用在闭区间上为的密度约定。令、,则
必须保留依赖参数的支持集。若,可行区间宽度至少为,最窄时、,因此是最大似然估计。这是边界最大化,不是解内部导数方程。若所有数据相同,则可让区间宽度趋于0,似然无界,不能给出而仍宣称满足原参数空间。连续模型在端点处密度取值的版本需保持一致,本例明确采用上述教材常用约定。(例完)
【不变性】若为一一变换,且使原似然达到最大值,则使重新参数化后的似然达到最大值。因为重参数化只是把同一组候选模型重新编号,最大化位置相应映射。多参数时同理。例如正态模型的标准差最大似然估计为,而非直接把无偏方差估计的平方根当成最大似然估计。不变性本身也不意味着无偏性。
