pytorch反向传播算法
- 开发
- 18
-
1. 链式法则复习
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/44ddc437fca643518fa4acc5b71accae.png)
2. 多输出感知机
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/fffb04dc928444b981bead4d7cc11f15.png)
3. 多层感知机
如图:
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/29d8b53ed6fd49af961b6c6ea19d4219.png)
4. 多层感知机梯度推导
简化式子把( O k O_k Ok - t k t_k tk) O k O_k Ok(1 - O k O_k Ok)起个别名叫 δ k K \delta^K_k δkK
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3323d52ce3d04098a860f407d8f76d2a.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/13f5c49b475242a4a95fcb4636341435.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/1f717ec15bdb486ab5922eeb93c31695.png)
5. 反向传播的总结
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/ceea3de5e1424c388dc0b8ce398dbe28.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/ede29b3c12e9472c8ccab4135a420879.png)
个人认为所谓的反向传播就是从输出层->到第一层输入一层一层计算梯度的过程,然后不断迭代达到优化W的目的。注意输出层和隐藏层是不一样的。
原文地址:https://blog.csdn.net/wyw0000/article/details/136970267
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。
本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:https://www.suanlizi.com/kf/1772764488014106624.html
如若内容造成侵权/违法违规/事实不符,请联系《酸梨子》网邮箱:1419361763@qq.com进行投诉反馈,一经查实,立即删除!