中心极限定理

中心极限定理(英语:central limit theorem,简作 CLT)是概率论中的一组定理。中心极限定理说明,在适当的条件下,大量相互独立随机变量的均值经适当标准化后依分布收敛于标准正态分布。这组定理是数理统计学误差分析的理论基础,指出了大量随机变量之和近似服从正态分布的条件。

10,000 次抛掷硬币实验中出现正面的平均比率,每次抽样(实验)的样本数为 200(抛掷 200 次硬币)

历史

Tijms (2004, p.169) 写到:

棣莫佛-拉普拉斯定理

 
用正态分布逼近二项分布

棣莫佛拉普拉斯(de Moivre - Laplace)定理是中央极限定理的最初版本,讨论了服从二项分布的随机变量序列。它指出,参数为n, p的二项分布以np为均值、np(1-p) 为方差的正态分布为极限。

内容

  伯努利实验中事件 A 出现的次数,每次试验成功的概率为 ,且  ,则对任意有限区间  

 ,当 

(i)  

(ii)  ,其中 

在高尔顿板问题上的应用

棣莫弗-拉普拉斯定理指出二项分布的极限为正态分布。高尔顿板可以看作是伯努利试验的实验模型。如果我们把小球碰到钉子看作一次实验,而把从右边落下算是成功,从左边落下看作失败,就有了一次 的伯努利试验。小球从顶端到底层共需要经过n排钉子,这就相当于一个n次伯努利试验。小球的高度曲线也就可以看作二项分布随机变量的概率密度函数。因此,中央极限定理解释了高尔顿板小球累积高度曲线为什么是正态分布独有的钟形曲线。

林德伯格-列维定理

 
中央极限定理的动态展示,独立同分布随机变量之和趋近正态分布。

林德伯格-列维(Lindeberg-Levy)定理,是棣莫佛-拉普拉斯定理的扩展,讨论独立同分布随机变量序列的中央极限定理。它表明,独立同分布(i.i.d., 即 independent and indentically distributed)、且数学期望和方差有限的随机变量序列的标准化和以标准正态分布为极限:

内容

设随机变量 独立同分布, 且具有有限的数学期望方差  。记

  ,则  

其中 是标准正态分布的分布函数。

证明

 特征函数 ,根据傅里叶变换,样本空间中的褶积在特征函数空间变为乘积,因此 的特征函数为 .由于  因此

 

所以

 

由于 是连续函数,它对应的分布函数为 ,因此由逆极限定理

 

定理证毕。

林德伯格-费勒定理

林德伯格-费勒定理,是中心极限定理的高级形式,是对林德伯格-列维定理的扩展,讨论独立的,但不同分布的情况下的随机变量和。它表明,满足一定条件时,独立的,但不同分布的随机变量序列的标准化和依然以标准正态分布为极限:

内容

记随机变量序列  独立但不一定同分布, 且有有限方差)部分和为

 

 

 .

如果对每个 ,序列满足

 

则称它满足林德伯格(Lindeberg)条件。

满足此条件的序列趋向于正态分布,即

 

同时,该条件也是期望为零、方差有限的独立变量之和趋于正态分布的必要条件。

与之相关的是李雅普诺夫(Lyapunov)条件:

 

满足李雅普诺夫条件的序列,必满足林德伯格条件。

证明

在此只对较强的李雅普诺夫条件给出证明。

以下证明对每一实数 ,特征函数满足 

 

泰勒展开,上式可近似为

 

由李雅普诺夫条件,当 时,第一项收敛于零。

 ,则由李雅普诺夫不等式

 

因此第二项也收敛于零。

证毕。

广义的定理

中心极限定理指出,随着随机变量数量的增加,许多具有有限方差的独立的且相同分布的随机变量的总和将趋于正态分布。

参阅

参考文献

  • 李贤平,概率论基础(第二版),高等教育出版社
  • Olav Kallenberg,现代概率论基础(第二版),Springer(2002)。

外部链接