样本方差的推导

有偏估计和无偏估计

• 有偏估计：由样本值求得的估计值与待估参数的真值之间有系统误差，估计值的期望不是系统的真值
• 无偏估计：估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。

我们常见的应用中，样本均值是对总体均值的无偏估计，而样本的整体方差不是对总体方差的无偏估计,。

极大似然估计

“似然”用现代的中文来说即“可能性”，因此可称之为“最大可能性估计”，用来求一个样本集的相关概率密度函数的参数。

定义,假设为离散随机变量，其概率分布函数,与参数相关。设为样本，为样本的观测值，样本的似然函数可以定义为样本观测值的概率，

$$L(x_1,...,x_n;\theta )=P(X=x_1,...,X_n=x_n)=\prod _{i=1}^{n}f(x_i;\theta )$$

给定样本观测值，似然函数是参数的函数，这个函数的目的就是求参数,使似然函数能取最大值。

例如,,从中取观测值，此时似然函数,表示是贝努力分布，要求,就是求能使取最大值的值，,可求得。

大数定律

大数定理简单来说，指得是某个随机事件在单次试验中可能发生也可能不发生，但在大量重复实验中往往呈现出明显的规律性，即该随机事件发生的频率会向某个常数值收敛，该常数值即为该事件发生的概率。

换个说法就是，样本均值的期望等于总体的均值。

公式化表示为，

定义：设是独立同分布的随机变量序列，并且其数学期望，取n个样本的算术平均,对任意的有以下不等式成立：

$$\underset{n\to +\mathrm{\infty }}{lim}P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<ϵ\}=1$$

中心极限定理

独立同分布的中心极限定理：设随机变量序列独立同分布，且其数学期望和方差分别为则随机变量之和的标准化变量：

$$Y_n=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$

服从于标准正态分布。

简单来说就是，样本均值服从于期望为总体均值,方差为总体方差除以样本数的正态分布，即

样本方差

给定一组观测数据,计算其总体方差时使用如下公式：

$$S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2$$

是样本均值。从上式可以看到，总体方差是样本观测值偏离样本均值误差平方的均值，其衡量了数据的离散程度，方差越大越离散。

从一个连续分布中随机取样得到一组观测值为,想要通过观测值估计连续分布的方差，一种自然的想法是使用样本观测值的总体方差做为连续分布方差的无偏估计，即假设

$$\begin{array}{rl}{\sigma }^2& =E[S^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu +\mu -\overline{x}{)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n[(x_i-\mu )-(\overline{x}-\mu ){]}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n[(x_i-\mu {)}^2+(\mu -\overline{x}{)}^2-2(x_i-\mu )(\overline{x}-\mu )]]\\ & =\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu {)}^2]+\frac{1}{n}\sum _{i=1}^{n}E[(\mu -\overline{x}{)}^2]-\frac{2}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\overline{x}-\mu )]\\ & =\frac{1}{n}\sum _{i=1}^{n}var[x_i]+\frac{1}{n}\sum _{i=1}^{n}var[\overline{x}]-\frac{2}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\overline{x}-\mu )]\\ & =\frac{1}{n}\sum _{i=1}^n{\sigma }^2+\frac{1}{n}\sum _{i=1}^n\frac{{\sigma }^2}{n}-\frac{2}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\frac{1}{n}\sum _{j=1}^n{x}_j-\mu )]\\ & =\frac{1}{n}n{\sigma }^2+\frac{1}{n}n\frac{{\sigma }^2}{n}-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\sum _{j=1}^n{x}_j-n\mu )]\\ & ={\sigma }^2+\frac{{\sigma }^2}{n}-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu )(\sum _{j=1}^n(x_j-\mu ))]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^n\sum _{j=1}^{n}E[(x_i-\mu )(x_j-\mu )]\end{array}$$

因为是独立变量，相互独立，当时,

$$\begin{array}{rl}E[S^2]& =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^n\sum _{j=1}^{n}E[(x_i-\mu )(x_j-\mu )]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu {)}^2]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}\sum _{i=1}^{n}var[x_i]\\ & =\frac{n+1}{n}{\sigma }^2-\frac{2}{n}\frac{1}{n}n{\sigma }^2\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$$

由上面的公式可以知道，样本观测值的总体方差的期望不等于随机变量分布的方差，因此样本观测值的总体方差不是随机变量分布方差的无偏估计。

$$E[S^2]=\frac{n-1}{n}{\sigma }^2$$

上式左右两边同时乘以,得

$${\sigma }^2=\frac{n}{n-1}E[S^2]$$$${\sigma }^2=E[\frac{n}{n-1}{S}^2]$$

因此能做为总体偏差无偏估计的样本偏差的计算公式为：

$${\sigma }^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2$$

为什么分母是时，才能得到无偏的总体方差估计呢？ 产生偏差的本质是因为均值用的是样本均值而非总体均值,这导致采样出来的样本之间不是完全相互独立的，自由度从减少了1,变成了。,当给定和任意个观测值时，剩下一个变量值都可以确定下来，因此只有个自由度，因此除以可以得到无偏估计。

(adsbygoogle = window.adsbygoogle || []).push({});

• 1.https://bookdown.org/hezhijian/book/intro.html#section-1.1.3 (opens new window)
• 2.https://www.statlect.com/fundamentals-of-statistics/variance-estimation (opens new window)
• 3.https://amsi.org.au/ESA_Senior_Years/SeniorTopic4/4h/4h_2content_4.html (opens new window)
• 4.https://rpubs.com/sagni2047/proofsamplevariance (opens new window)