4.3 协方差及相关系数
本章目录 · 1 节
本章导读
【4.3 协方差及相关系数】当两个变量都具有有限二阶矩时,定义。展开得到。它衡量两个中心化变量的乘积平均,并不单独给出因果关系。
【对称性与运算法则】、。常数不贡献协方差,故;加法满足。从而。
【相关系数及其前提】若,定义
它是无量纲的线性相关系数。任一变量方差为0时分母为0,通常的相关系数没有定义,不能随意赋值0。有限二阶矩保证协方差存在,但不保证两方差严格为正。
【从最佳线性预测理解相关】用近似,取均方误差为准则。先对求偏导并解方程,得
也可直接配方,得到。后两项非负,因此确为全局最小点,且
这一最小值非负且,故。在固定时,越大,最小线性预测误差越小;比较不同量纲或不同方差的变量时,应看归一化误差,不能只比较原始均方误差。
【等号条件】在两方差均正的前提下,当且仅当存在常数使,且。若相关系数绝对值为1,最小均方误差为0,由非负变量零期望推出残差几乎必然为0。反过来,几乎必然的非退化线性关系使最小误差为0,故。斜率为正对应,斜率为负对应。
【不相关与独立】称为不相关,在本节的有限正方差条件下等价于协方差为0。独立推出不相关;不相关一般不能推出独立。此时,用作线性预测不优于只用常数,但非线性关系仍然可能非常强。
【例1 完全依赖但不相关】在中等可能取值,令。联合分布表如下。、、,所以协方差为0。又有、,均为正,因此相关系数确为0。
但是,而,故不独立。甚至由完全确定。这个例子说明“线性不相关”并不是“没有关系”。(例完)
【例2 二维正态的相关参数】对非退化二维正态,设参数为,其中、。令,。密度作这一线性换元后成为,所以为独立标准正态,且。
于是,其相关系数正好是密度中的参数。因此均值向量、两方差及相关系数共同确定二维正态分布;在联合二维正态这一条件下,不相关与独立等价。仅知两个边缘分别正态还不能使用该等价结论。(例完)
