pytorch反向传播算法

1. 链式法则复习

在这里插入图片描述

2. 多输出感知机

在这里插入图片描述

3. 多层感知机

如图:
在这里插入图片描述

4. 多层感知机梯度推导

简化式子把( O k O_k Ok - t k t_k tk) O k O_k Ok(1 - O k O_k Ok)起个别名叫 δ k K \delta^K_k δkK
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

5. 反向传播的总结

在这里插入图片描述
在这里插入图片描述

个人认为所谓的反向传播就是从输出层->到第一层输入一层一层计算梯度的过程,然后不断迭代达到优化W的目的。注意输出层和隐藏层是不一样的。

相关推荐

  1. 反向传播算法

    2024-03-27 07:16:05       35 阅读
  2. PyTorch】前向传播反向传播和计算图

    2024-03-27 07:16:05       33 阅读
  3. 神经网络和反向传播算法

    2024-03-27 07:16:05       17 阅读

最近更新

  1. 探索数据的奥秘:sklearn中的聚类分析技术

    2024-03-27 07:16:05       0 阅读
  2. FPGA之术语

    2024-03-27 07:16:05       1 阅读
  3. 【Axure视频教程】页面滚动距离函数

    2024-03-27 07:16:05       1 阅读
  4. 如何判断服务器是否被攻击

    2024-03-27 07:16:05       1 阅读
  5. 网络服务器都包含哪些方面需要维护?

    2024-03-27 07:16:05       1 阅读

热门阅读

  1. OpenCV基础demo

    2024-03-27 07:16:05       22 阅读
  2. 05、Lua 变量

    2024-03-27 07:16:05       18 阅读
  3. leetcode - 843. Guess the Word

    2024-03-27 07:16:05       19 阅读
  4. 【Django】枚举类型数据

    2024-03-27 07:16:05       16 阅读
  5. 微服务设计原则——低风险

    2024-03-27 07:16:05       20 阅读
  6. 滴滴出行高级Node.js开发工程师笔试题2024

    2024-03-27 07:16:05       20 阅读
  7. 【Mysql】更新脚本SQL——新增删除修改字段

    2024-03-27 07:16:05       18 阅读
  8. day29【LeetCode力扣】15.三数之和

    2024-03-27 07:16:05       19 阅读
  9. js对比日期大小

    2024-03-27 07:16:05       17 阅读
  10. 搭建服务器 - 笔记

    2024-03-27 07:16:05       21 阅读