贝叶斯定理，先验信念，似然，后验概率

贝叶斯定理形式如下：

$$P(H|D)=\frac{P(H)\cdot P(D|H)}{P(D)}$$

回顾一下，这个公式包含 3 个有特殊名称的要素：

• $P(H|D)$ 是后验概率，它告诉我们在给定数据的情况下，我们应该相信假设的程度。
• $P(H)$ 是先验信念，或者说，在看到数据之前我们认为假设发生的概率。
• $P(D|H)$ 是似然，即如果我们的假设为真，得到现有数据的可能性。

最后一部分 $P(D)$ 是独立于假设的、所观察数据的概率。我们需要 $P(D)$，以确保后验概率的取值位于 0 和 1 之间。如果掌握了以上这些信息，我们就可以准确地计算在给定观察数据的情况下，自己对假设的相信程度。

然而，通常情况下很难准确地定义 $P(D)$。因此，我们经常使用贝叶斯定理的比例形式，它允许我们在不知道 $P(D)$ 的情况下分析假设的可靠程度。它的比例形式如下：
$$P(H|D)\propto P(H)\cdot P(D|H)$$
简单来说，比例形式的贝叶斯定理告诉我们，假设的后验概率与先验概率和似然的乘积成正比。我们可以利用这一点来比较两个假设，即通过用先验概率乘以似然得出两个假设后验概率的比值：
$$\frac{P(H_1)\cdot P(D|H_1)}{P(H_2)\cdot P(D|H_2)}$$

现在得到的是，每个假设解释所观察数据能力的比值。也就是说，如果这个比值是2，那么$H_1$对所观察数据的解释能力是$H_2$的两倍；如果比值是$\frac{1}{2}$,那么$H_2$对所观察数据的解释能力是$H_1$的两倍。

###备注：摘自《趣学贝叶斯统计》