先验分布、后验分布、极大似然的一点思考

今天和组里同事聊天的时候,无意中提到了贝叶斯统计里先验分布、后验分布、以及极大似然估计这三个概念。同事专门研究如何利用条件概率做系统辨识的,给我画了一幅图印象非常深刻:
在这里插入图片描述
其中k表示时序关系。上面这个图表示后验分布是由先验分布与似然估计一同获得的。

我们经常在代码里给神经网络的最后一层的各个unit的概率值叫likelyhood,其实就是指在当前输入样本下输出各个logit的概率,其含义与极大似然估计是一样的。

后验分布:由果推因
先验分布:由历史推因

所以深度学习中常见的训练过程其实就是求参数的先验分布的过程,模型里的权重和偏差参数就是‘因’,输出就是‘果’。贝叶斯神经网络一般用的都是后验分布。

相关推荐

  1. 贝叶斯定理,先验信念,概率

    2024-03-15 06:28:02       46 阅读
  2. 极大估计“和”贝叶斯估计“思想对比

    2024-03-15 06:28:02       28 阅读
  3. python统计学-矩估计法、极大估计法?

    2024-03-15 06:28:02       59 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-15 06:28:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-15 06:28:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-15 06:28:02       82 阅读
  4. Python语言-面向对象

    2024-03-15 06:28:02       91 阅读

热门阅读

  1. web蓝桥杯真题:蓝桥校园一卡通

    2024-03-15 06:28:02       35 阅读
  2. 配置管理可能存在的问题

    2024-03-15 06:28:02       39 阅读
  3. 设计模式

    2024-03-15 06:28:02       39 阅读
  4. 如何理解 HTTP 状态码?

    2024-03-15 06:28:02       40 阅读