【数学】什么是方法矩估计？和最大似然估计是什么关系？

背景

方法矩估计（Method of Moments Estimation）和最大似然估计（Maximum Likelihood Estimation, MLE）是两种常用的参数估计方法。方法矩估计基于样本矩与总体矩的关系，通过样本数据计算样本矩来估计总体参数。最大似然估计基于最大化样本数据的联合概率密度函数，通过寻找参数值使得样本数据出现的概率最大来估计参数。

公式

方法矩估计

方法矩估计基于以下公式：

• 样本矩：$M_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$
• 总体矩：$E(X^k)={\mu }_k$

通过设定样本矩等于总体矩，可以解出参数估计值。

最大似然估计

最大似然估计基于以下公式：

• 似然函数：$L(\theta )={\prod }_{i=1}^{n}f(X_i;\theta )$
• 对数似然函数：$\ln L(\theta )={\sum }_{i=1}^n\ln f(X_i;\theta )$

通过最大化对数似然函数来求解参数估计值。

示例题目

示例 1：正态分布参数估计

假设样本数据来自一个均值为$\mu$，方差为${\sigma }^2$的正态分布$N(\mu ,{\sigma }^2)$，我们要估计$\mu$和${\sigma }^2$。

详细讲解

方法矩估计

1. 样本矩计算：

   • 一阶样本矩：$M_1=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
   • 二阶样本矩：$M_2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2$

2. 总体矩关系：

   • 一阶总体矩：$E(X)=\mu$
   • 二阶总体矩：$E(X^2)={\mu }^2+{\sigma }^2$

3. 通过样本矩等于总体矩，得到：
   $$\hat{\mu }=M_1=\frac{1}{n}\sum _{i=1}^n{X}_i$$
   $${\hat{\sigma }}^2=M_2-{\hat{\mu }}^2$$

最大似然估计

1. 似然函数：
   $$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(X_i-\mu {)}^2}{2{\sigma }^2}\right)$$

2. 对数似然函数：
   $$\ln L(\mu ,{\sigma }^2)=-\frac{n}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2$$

3. 对$\mu$和${\sigma }^2$求导并设为0，解得：
   $$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{X}_i$$
   $${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\hat{\mu }{)}^2$$

Python代码求解

import numpy as np

# 生成样本数据
np.random.seed(0)
data = np.random.normal(loc=5, scale=2, size=100)

# 方法矩估计
mu_mom = np.mean(data)
sigma2_mom = np.mean(data**2) - mu_mom**2

# 最大似然估计
mu_mle = np.mean(data)
sigma2_mle = np.var(data, ddof=0)

print("方法矩估计：")
print(f"mu = {mu_mom}, sigma^2 = {sigma2_mom}")

print("最大似然估计：")
print(f"mu = {mu_mle}, sigma^2 = {sigma2_mle}")

实际生活中的例子

在金融领域中，投资组合的收益通常被假设为正态分布。为了估计未来收益的均值和波动率，金融分析师可以使用历史收益数据来进行参数估计。通过方法矩估计或最大似然估计，可以得出投资组合的均值收益和方差，从而指导投资决策。

方法矩估计与最大似然估计的关系与优缺点

两种方法各有优缺点：

• 方法矩估计通常计算简单，易于理解，但在有限样本量下估计量的效率较低。
• 最大似然估计在大样本量下具有一致性和渐近正态性，估计量更有效，但计算复杂，尤其是对于复杂模型。

选择哪种方法更好取决于具体问题和数据特点。一般情况下，最大似然估计更受欢迎，因为它在大样本下具有良好的统计性质。