矩母函数，概率生成函数, 随机变量的变换方法

Thanks Ni Zihan.

随机变量的变换方法总结

（Thanks Dr. Ni Zihan，文中所有推导总结来自我的同学倪子涵）

时域信号和频域信号是等价的, 给出时域信号可以算出频域信号, 给出频域信号也可以算出时域信号. 同理拉普拉斯域和时域也是等价的, z 变换域与时域也是等价的. 利用上述三种变换可以简化信号与系统处理的复杂计算量…

那么随机变量的处理中是否也存在着变换的方法呢？

那么使用连续随机变量的概率密度函数的傅里叶变换和拉普拉斯变换以及离散随机变量的概率分布函数的傅里叶变换和 z 变换, 也可以仿照信号与系统的处理手段, 对概率密度函数或者概率分布函数进行简化计算处理.

1/ 连续随机变量的概率密度函数的拉普拉斯变换被称为矩母函数 (Moment Generating Function, MGF). [但是这里有一个小注意事项, 矩母函数定义中所描述的拉普拉斯变换不是我们信号与系统学的拉普拉斯变换公式, 这里的公式需要把信号与系统中拉普拉斯变换中的 $e^{-st}$ 改成 $e^{st}]$

2/ 离散随机变量的概率分布函数的 z 变换被称为概率生成函数 (Probability Generating Function, PGF). [但是这里有一个小注意事项, 概率生成函数定义中所描述的 z 变换不是我们信号与系统学的 z 变换公式, 需要我们把信号与系统学的 z 变换公式中的 $z^{-n}$ 改成 $z^n$ , 求和下限改成 0 ]

3/ 连续性或离散型随机变量的概率密度函数或概率分布函数的连续时间傅里叶变换或离散时间傅里叶变换成为特征函数 (Characteristic Function, CF). [但是这里有一个小注意事项, 特征函数定义中所描述的傅里叶变换不是我们信号与系统学的傅里叶变换公式, 这里的公式需要把信号与系统中傅里叶变换中的 $e^{-j\omega t}改成e^{j\omega t}$ , 离散的就是 $e^{-j\omega n}$ 改成 $e^{j\omega n}$.

概率生成函数 (probability-generating function, PGF)

面对这样一个问题，A服从均匀分布，B服从指数分布，C服从另一个高斯分布。则 A*B + C应该是什么分布呢？是否有办法求出其特征的闭式解？

概率生成函数就是这样一个工具，可以用来求解两个连续随机变量乘积的分布。而对于两个连续随机变量和的分布，可以采用卷积公式。

$\text{ 我们已经说过, 离散型 随机变量的概率分布函数的’ }z\text{ 变换’ 称为概率生成函数, 下面给出定义式 }$
$$\begin{array}{rl}{G}_X(z)& =E\left[z^X\right]=\sum _{n=0}^{\infty }{z}^{n}P(X=n)\\ & =P(X=0)+zP(X=1)+z^{2}P(X=2)+\cdots \end{array}$$

这里我强调一下收玫域. 对于 z 变换, 右边信号的收玫域为 $|z|>r$, 左边信号的收玫域为 $|z|<r$.我们这里使用的’ z 变换’ 是把 $z^{-n}$ 改成 $z^n$ 的’ z 变换’. 上面的结论也正好反过来, 而且我们的’ z 变换’ 是 $n\ge 0$ (理解成右边信号) 的’ 单边 z 变换’, 所以实际上 PGF 的收玫域结构是 $|z|<r$ . 再加上概率分布函数一定绝对可和, 其必有傅里叶变换, 所以其收玫域必定包含单位圆 $|z|=1$ . 综上所述 PGF 的收玫域结构为 $|z|<r,r>1$ . 我们考虑一下, 一个参数为 $\lambda$ 的泊松分布的的 PGF:

$$\begin{array}{rl}{G}_X(z)& =\mathrm{E}\left[z^X\right]\\ & =\sum _{n=0}^{\infty }{z}^n\mathrm{P}(X=n)\\ & =\sum _{n=0}^{\infty }{z}^n\frac{{\lambda }^n{e}^{-\lambda }}{n!}\\ & =e^{-\lambda }\sum _{n=0}^{\infty }\frac{(z\lambda {)}^n}{n!}\\ & =e^{-\lambda }{e}^{z\lambda }=e^{\lambda (z-1)}\end{array}$$

当已知 PGF 的时候, 可以考虑对 PGF 求导以获得概率分布函数:

$$\mathrm{P}(X=k)=\frac{{G_X^{(k)}(z)|}_{z=0}}{k!}$$

这里我必须要强调一件事, 就是说概率分布函数与 PGF 是一对’ $\mathrm{z}$ 变换’, 那我们使用’ 逆 $\mathrm{z}$ 变换’ 不就可以直接求得概率分布序列了么. 我们不使用’ 逆 $\mathrm{z}$ 变换’ 求概率分布的原因有两点: 1 . 逆 $\mathrm{z}$ 变换’是一个积分式子不好算; 2.‘z 变换’ 不是严格意义的’ z 变换’, 所以其对应我们在这里需要的所谓的’逆 $\mathrm{z}$ 变换’ 公式我们没有. 故, 我们利用求导一个一个算概率分布. PGF 不仅可以求概率分布函数,求解 n 阶矩也是可以滴. 对这个 $G_X(z)$ 求一个一阶导数

$$G_X^{\prime }(z)=\sum _{n=1}^{\infty }n{z}^{n-1}P(X=n)=\sum _{n=0}^{\infty }n{z}^{n-1}P(X=n)\text{\hspace{1em}(2.3)}$$

然后我们令 $z=1$

$$G_X^{\prime }(1)=\sum _{n=0}^{\infty }nP(X=n)=E[X]$$
对公式2.3乘个 z, 再求一阶导数

$${\left(z{G}_X^{\prime }(z)\right)}^{\prime }=\sum _{n=0}^{\infty }{n}^2{z}^{n-1}P(X=n)$$

然后我们再令 z = 1

$${\left(z{G}_X^{\prime }(1)\right)}^{\prime }=\sum _{n=0}^{\infty }{n}^{2}P(X=n)=E\left[X^2\right]$$

以此类推, 想求几阶矩就求几阶矩.

PGF 还有一个更牛逼的优势就是它非常适合辅助求解多个独立随机变量和的分布. 假设 $Y=X_1+\cdots +X_n$ , 且 $X_1,\cdots ,X_n$ 独立同分布. 利用的就是幕指数乘积的计算特性!

$$\begin{array}{rl}{G}_Y(z)& =E\left[z^Y\right]\\ & =E\left[z^{X_1+\cdots +X_n}\right]\\ & =E\left[z^{X_1}\right]\times \cdots \times E\left[z^{X_n}\right]\\ & =G_{X_1}(z)\times \cdots \times G_{X_n}(z)\end{array}$$

如此得到了 $Y$ 的 PGF, 想求 $Y$ 的概率分布只需要求导带 0 就可以了.

矩母函数（Moment Generating Function ， MGF）

https://zhuanlan.zhihu.com/p/148408669

矩母函数详细介绍

我们已经说过, 连续型随机变量的概率密度函数的’ 拉普拉斯变换’ 称为矩母函数, 下面给出定义式

$$M_X(s)=E\left[e^{sX}\right]={\int }_{-\infty }^{+\infty }{f}_X(x)e^{sx}dx\text{\hspace{1em}(2.4)}$$

MGF 也有收玫域. 右边信号的拉普拉斯变换收玫域结构是 $s>a$ , 左边信号的拉普拉斯变换收玫域结构是 $s<a$ , 双边信号的拉普拉斯变换收玫域是 $a_1<s<a_2$ . 由于 $e^{-st}$ 改成了 $e^{st}$ , 所以对于 MGF 来说, 右拖尾概率密度的 MGF 收玫域结构是 $s<a$ , 左拖尾概率密度的 MGF 收玫域结构是 $s>a$ , 双边拖尾概率密度的 MGF 收玫域是 $a_1<s<a_2$ . 由于概率密度函数绝对可积, 其一定有傅里叶变换, 所以 MGF 收玫域必定包括虚轴. 矩母函数可以用来求矩, 求导就行了.

$$M_X^{(n)}(s)={\int }_{-\infty }^{+\infty }{x}^n{f}_X(x)e^{sx}dx$$

令 $s=0$ 得到利用矩母函数求 $n$ 阶矩的公式

$$M_X^{(n)}(0)={\int }_{-\infty }^{+\infty }{x}^n{f}_X(x)dx=E\left[X^n\right]$$

当已知一个随机变量的 MGF 的时候, 可以利用现成的拉普拉斯逆变换公式求解概率密度函数
(PDF). 根据公式2.4, 我们知道

$$M_X(-s)=E\left[e^{-sX}\right]={\int }_{-\infty }^{+\infty }{f}_X(x)e^{-sx}dx$$

即, $M_X(-s)$ 是 $f_X(x)$ 的拉普拉斯变换. 我们只要对 $M_X(-s)$ 做拉普拉斯逆变换就可以得到概率密度函数 $f_X(x)$ . 但要注意, $s\to -s$ , 收玫域也要反过来. 最后要说的就是利用指数的计算特性以及矩母函数求解多个独立随机变量和的概率密度函数. 假设 $Y=X_1+\cdots +X_n$ , 且 $X_1,\cdots ,X_n$ 独立同分布. 我们有

$$\begin{array}{rl}{M}_Y(s)& =E\left[e^{sY}\right]\\ & =E\left[e^{s\left(X_1+\cdots +X_n\right)}\right]\\ & =E\left[e^{s{X}_1}\right]\times \cdots \times E\left[e^{s{X}_n}\right]\\ & =M_{X_1}(s)\times \cdots \times M_{X_n}(s)\end{array}$$

$\text{ 然后对 }{M}_Y(-s)\text{ 做逆拉普拉斯变换就可以得到 }Y\text{ 的概率密度函数辣, 但别忘了收玫域的事儿. }$

特征函数

有没有一种统一形式可以同时定义离散和连续随机变量的某种函数, 且也能实现便利计算的特性
呢? 有! 利用傅里叶变换产生的特征函数! 特征函数定义为

$${\phi }_X(\omega )=E\left[e^{j\omega X}\right]=\{\begin{array}{ll}{\int }_{-\infty }^{+\infty }{f}_X(x)e^{j\omega x}dx& \text{ 连续 }\\ {\sum }_{n=-\infty }^{+\infty }P(X=n)e^{j\omega x}& \text{ 离散 }\end{array}$$

特征函数的反变换就能求得概率密度函数或者概率分布函数

$$\begin{array}{r}f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }{\phi }_X(\omega )e^{-j\omega x}d\omega \\ P(X=n)=\frac{1}{2\pi }{\int }_{2\pi }{\phi }_X(\omega )e^{-j\omega x}d\omega \end{array}$$

任何一个概率密度函数或者概率分布函数不一定有 PGF 或 MGF, 但是由于他们本身的绝对可积
或者绝对可和, 他们一定有特征函数. 所以 PGF,MGF 不好使的时候, 可以用特征函数. 对特征函
数求导再带定值也可以得到 n 阶矩

$$E\left[X^n\right]=\frac{{{\phi }_X^n(\omega )|}_{\omega =0}}{j^n}$$

利用特征函数以及幕指数的计算特性可以求解多个独立随机变量和的概率密度函数或者概率分布函数. 假设 $Y=X_1+\cdots +X_n$ , 且 $X_1,\cdots ,X_n$ 独立同分布. 我们有
$$\begin{array}{rl}{\phi }_Y(\omega )& =E\left[e^{j\omega Y}\right]\\ & =E\left[e^{j\omega \left(X_1+\cdots +X_n\right)}\right]\\ & =E\left[e^{j\omega X_1}\right]\times \cdots \times E\left[e^{j\omega X_n}\right]\\ & ={\phi }_{X_1}(\omega )\times \cdots \times {\phi }_{X_n}(\omega )\end{array}$$

’ 频域’ 乘积, 时域就得卷积, 可以得到 $Y$ 的概率密度函数或概率分布函数为

$$\begin{array}{l}{f}_Y(x)=f_{X_1}(x)\ast f_{X_2}(x)\ast \cdots \ast f_{X_n}(x)\\ P(Y=k)=P\left(X_1=k\right)\ast P\left(X_2=k\right)\ast \cdots \ast P\left(X_n=k\right)\end{array}$$