【统计学】独立同分布

1. 概念

独立同分布是统计学中的一个重要概念，指的是在概率论和统计学中常见的一种假设，即一组随机变量之间相互独立，并且具有相同的概率分布。

具体来说，如果一组随机变量 {X₁, X₂, …, Xₙ} 是相互独立的，意味着它们的取值不会相互影响，即知道其中一个变量的取值不会提供关于其他变量取值的任何信息。而如果这组随机变量还具有相同的概率分布，那么它们就是独立同分布的。

举个例子来说明独立同分布的概念：

假设有一枚公平的硬币，抛掷一次可能出现正面（记为1）或反面（记为0），这个事件可以用随机变量X表示，X=1表示正面，X=0表示反面。现在进行了三次独立的硬币抛掷，分别得到了以下结果：

第一次抛掷：X₁ = 1
第二次抛掷：X₂ = 0
第三次抛掷：X₃ = 1

在这个例子中，每次抛掷都是相互独立的，也就是说，第一次抛掷的结果不会影响第二次或第三次抛掷的结果。而且，每次抛掷都是来自于同一个硬币，因此它们具有相同的概率分布（即每次抛掷正面和反面的概率都是相同的，均为0.5），所以这组随机变量 {X₁, X₂, X₃} 是独立同分布的。

2. 数学性质

独立同分布在统计学中具有一些重要的数学性质，其中一些包括：

1）独立性：如果一组随机变量是独立同分布的，那么它们之间是相互独立的。这意味着任意两个变量之间的协方差为零，即它们之间没有线性相关性。

2）期望的性质：如果一组随机变量是独立同分布的，它们的期望（均值）也是相等的，并且等于每个变量的期望。具体而言，如果 {X₁, X₂, …, Xₙ} 是独立同分布的随机变量，它们的期望都为 μ，则有 E(X₁) = E(X₂) = … = E(Xₙ) = μ。

3）方差的性质：如果一组随机变量是独立同分布的，它们的方差也是相等的，并且等于每个变量的方差。具体而言，如果 {X₁, X₂, …, Xₙ} 是独立同分布的随机变量，它们的方差都为 σ²，则有 Var(X₁) = Var(X₂) = … = Var(Xₙ) = σ²。

4）协方差和相关系数：如果一组随机变量是独立同分布的，那么它们之间的协方差为零，相关系数也为零。这意味着它们之间没有线性相关性，独立同分布的随机变量之间的变化是完全独立的。

5）大数定律：独立同分布的随机变量满足大数定律，即随着样本量的增加，样本均值会趋向于总体均值。这是因为独立同分布的假设使得样本的随机波动相互抵消，从而使得样本均值更加接近总体均值。

由 2）3）4）可以推导出独立同分布的随机变量的和的性质：

假设有两个独立同分布的随机变量 $X$ 和 $Y$，它们的均值分别为 $\mu$，方差分别为 ${\sigma }^2$。现在考虑它们的和 $Z=X+Y$：

由于 $X$ 和 $Y$ 独立且同分布，它们的和 $Z=X+Y$ 的期望值为：
$$E(Z)=E(X+Y)=E(X)+E(Y)=\mu +\mu =2\mu$$$Z=X+Y$ 的方差为：
$$Var(Z)=Var(X+Y)=Var(X)+Var(Y)+2\text{Cov}(X,Y)$$但由于 $X$ 和 $Y$ 是独立的，它们之间的协方差为零，即 $\text{Cov}(X,Y)=0$，因此有：$$Var(Z)=Var(X)+Var(Y)={\sigma }^2+{\sigma }^2=2{\sigma }^2$$

同理，$Z=X-Y$ 的方差也为$2{\sigma }^2$。