信息论基础:串联信道

串联信道

大学时候看过一期湖南卫视《快乐大本营》,那时候的主持人是何炅和李湘。节目的一个环节是邀请五名观众上台做猜谜游戏。五人带上耳机,坐在一排椅子上,两两中间隔着挡板,好像并排在一起上厕所。李湘把一部电影的名字写在纸板上,给第一名观众看。第一名观众用动作表演,试图让第二名观众理解。第二名观众再表演给第三名观众,以此类推到倒数第二名观众。然后何炅问最后一名观众电影名字。

那一期的电影名字是《泰坦尼克号》。第一名观众显然看过这部电影,稍做思考,就表演出电影海报中的经典画面。他先模仿Rose张开双臂享受的表情,再后退一步,模仿Jack双臂环抱的动作。他表演得很到位,主持人一脸赞叹的表情,场下观众报以热烈的掌声。第二名观众似乎看懂了,照猫画虎模仿了一遍。以此类推,动作越传越走形,到倒数第二名观众,表演已经相当僵硬、变形。何炅问最后一人,这是什么电影。那名观众自信满满地说“风筝”。也难怪,前面一只风筝张着翅膀飞,后面一个人双手拽着风筝。

这是一个串联信道(也叫级联信道)的例子。信道1的输出𝑌是信道2的输入。

该信道服从以下的不等式:
I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) . I(X;Y)I(X;Z).
证明如下:
按照互信息的链法则:
I ( X ; Y , Z ) = I ( X ; Y ) + I ( X ; Z ∣ Y ) I(X;Y,Z) = I(X;Y) + I(X;Z|Y) I(X;Y,Z)=I(X;Y)+I(X;ZY)
I ( X ; Y , Z ) = I ( X ; Z ) + I ( X ; Y ∣ Z ) I(X;Y,Z) = I(X;Z) + I(X;Y|Z) I(X;Y,Z)=I(X;Z)+I(X;YZ)
由于已知 Y Y Y时, X X X Z Z Z条件独立。
I ( X ; Z ∣ Y ) = 0 I(X;Z|Y) = 0 I(X;ZY)=0
合并以上式子得到:
I ( X ; Y ) − I ( X ; Z ) = I ( X ; Z ∣ Y ) ≥ 0 I(X;Y) - I(X;Z) = I(X;Z|Y) \geq 0 I(X;Y)I(X;Z)=I(X;ZY)0

I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) . I(X;Y)I(X;Z).
上式的意义是,串联信道的容量不可能大于各组成信道的容量。实际中,随着越来越多的信道串联起来,整个信道的容量会趋于0。

举个具体的串联信道例子。将一连串𝑛个相同参数(即出错概率𝑓相等)的二元对称信道(BSC)串联起来。

其总体的转移概率矩阵可以计算为:

当𝑛趋于无穷大时,转移概率矩阵的每一项都趋近于0.5。这个串联信道相当于一个𝑓=0.5的BSC信道,而该信道的容量为0 bit,完全不能传递信息。

下面利用串联的BSC信道,做个仿真实验。将一幅二值图像(一连串二进制的0和1),经过12个串联的BSC信道(𝑓=0.1)进行传输。我们观察从第1一直到第12个信道的输出。从下图可以看到,随着信道增多,噪声越来越严重。到了第12个信道,从输出的图像中完全看不到输入图像的影子;或者说,输出的图像与输入图像几乎完全无关;还可以说,输入的图像几乎完全没有发送过去。

如果把信号处理器看作是信道,对于输入信号做一连串的信号处理,就相当于经过了一连串的信道传输。上述不等式意味着,随着对于信号的处理越来越多,输出信号与输入信号之间的互信息越来越少,直至二者完全独立。也叫做数据处理不等式(Data Processing Inequality)。

相关推荐

  1. 使用 Qt API 获取串口信息

    2024-04-07 02:08:01       55 阅读
  2. 信息网络协议基础-接入网技术

    2024-04-07 02:08:01       60 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-07 02:08:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-07 02:08:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-07 02:08:01       87 阅读
  4. Python语言-面向对象

    2024-04-07 02:08:01       96 阅读

热门阅读

  1. 蓝桥杯算法基础(38)c++ STL

    2024-04-07 02:08:01       33 阅读
  2. UI python 中的basePage 类元素的最全的相关公共方法

    2024-04-07 02:08:01       109 阅读
  3. 数据库第四次作业

    2024-04-07 02:08:01       44 阅读
  4. linux命令大全(涵盖所有命令)

    2024-04-07 02:08:01       45 阅读
  5. ffplay用硬件进行编解码的命令的探索:

    2024-04-07 02:08:01       36 阅读
  6. 通过 ffmpeg命令行 调节视频播放速度

    2024-04-07 02:08:01       146 阅读
  7. Linux高级IO——多路转接之select

    2024-04-07 02:08:01       153 阅读
  8. 子集(迭代)(leetcode 78)

    2024-04-07 02:08:01       40 阅读
  9. 我的创作纪念日

    2024-04-07 02:08:01       46 阅读
  10. Redis7的10大应用场景和案例解析

    2024-04-07 02:08:01       154 阅读
  11. [深度学习]yolox训练参数含义

    2024-04-07 02:08:01       45 阅读
  12. LeetCode //C - 278. First Bad Version

    2024-04-07 02:08:01       40 阅读
  13. C++ vector

    2024-04-07 02:08:01       41 阅读