【Python深度学习】——信息量|熵
假设
例子：掷硬币
假设我们有一个公平的硬币。这个硬币有两个面：正面（H）和反面（T），每次掷硬币出现正面或反面的概率都是 0.5
1. 信息量
1.1 含义
信息量用来表示一件事发生的难易程度
一件事越容易发生, 它的信息量就越小.
1.2 信息量的公式:
I ( x ) = − log 2 P ( x ) \ I(x) = -\log_2 P(x) \ I(x)=−log2P(x)
其中,
I ( x ) \ I(x) \ I(x) 表示事件 ( x ) 的信息量, P ( x ) \ P(x) P(x)表示事件 ( x ) 发生的概率
以2为底, 是转换到二进制下的表示复杂度.
此外, 事件独立时, 两个事件同时发生的信息量,等于两个事件的信息量相加.
即
I ( A B ) = − log 2 1 P ( A B ) = − log 2 1 P ( A ) ∗ P ( B ) = − ( log 2 1 P ( A ) + log 2 1 P ( B ) ) = I ( A ) + I ( B ) \ I(AB)= -\log_2 \frac{1}{P(AB)} = -\log_2 \frac{1}{P(A)*P(B)} = -(\log_2 \frac{1}{P(A)}+ \log_2 \frac{1}{P(B)}) =I(A) + I(B) \ I(AB)=−log2P(AB)1=−log2P(A)∗P(B)1=−(log2P(A)1+log2P(B)1)=I(A)+I(B)
对于假设中的例子, 出现正面的信息量为:
I ( H ) = − log 2 P ( H ) = − log 2 0.5 = 1 bit I(H) = -\log_2 P(H) = -\log_2 0.5 = 1 \text{ bit} I(H)=−log2P(H)=−log20.5=1 bit
同理反面也是
I ( T ) = − log 2 P ( T ) = − log 2 0.5 = 1 bit I(T) = -\log_2 P(T) = -\log_2 0.5 = 1 \text{ bit} I(T)=−log2P(T)=−log20.5=1 bit
2. 熵Entropy
2. 含义
熵可以理解为一个整体/一个系统所携带的信息量.
系统整体由所有可能发生的事件构成. 例如, 抛硬币的结果出现正面和反面就构成一个完整的系统.
熵的值就等于概率分布中所有信息量的期望.
2.2 熵的计算公式:
H ( x ) = − ∑ i P ( x i ) log 2 P ( x i ) H(x) = - \sum_{i} P(x_i) \log_2 P(x_i) H(x)=−i∑P(xi)log2P(xi)
对于假设中的例子, 熵的计算为:
H ( X ) = − [ P ( H ) log 2 P ( H ) + P ( T ) log 2 P ( T ) ] H(X) = -\left [P(H) \log_2 P(H) + P(T) \log_2 P(T) \right] H(X)=−[P(H)log2P(H)+P(T)log2P(T)]
即,
H ( X ) = − [ 0.5 log 2 0.5 + 0.5 log 2 0.5 ] H(X) = -\left[ 0.5 \log_2 0.5 + 0.5 \log_2 0.5 \right] H(X)=−[0.5log20.5+0.5log20.5]
H ( X ) = − [ 0.5 ⋅ ( − 1 ) + 0.5 ⋅ ( − 1 ) ] H(X) = -\left[ 0.5 \cdot (-1) + 0.5 \cdot (-1) \right] H(X)=−[0.5⋅(−1)+0.5⋅(−1)]
H ( X ) = 1 H(X) = 1 H(X)=1
2.3 熵的作用
熵可以用来评估概率模型的不确定性程度——概率密度越均匀, 不确定性越高,即熵越高; 概率密度越聚拢, 不确定性越低, 熵越低.
如下图所示,左图为一个平均分布, 不确定性较高;
右图为一个正太分布, 不确定性较低.
