【pytorch15】链式法则

  • 开发
  • 23

在这里插入图片描述
x到u再到y，可以理解为x是输入，中间层hidden layer 是u，最后y是pred

在这里插入图片描述
对于一个简单的线性层可以展开得到y的表达式，但是对于实际的神经网络还要加上激活函数，此时展开就非常的复杂，不能够一次到位，因此使用链式法则一步步展开，通过链式法则会让求导的过程变得比较简单，而且每一个中间过程可能已经有了中间的结果所以用链式法则会让神经网络的求解变得非常清晰和简洁

在这里插入图片描述
把一个比较复杂不知道如何展开求导的式子，链式法则成3个偏导，对每一步再进行求解再乘积，可以完成对复杂函数偏微分

在这里插入图片描述
发现通过链式法则和直接使用pytorch自动求导功能是完成匹配的

阅读全部

相关推荐

  3. 数学基础 -- 求解微分问题之乘法法则、商法则和链式求导法则

    2024-07-09 17:50:05       18 阅读

  4. 深度学习之矩阵形式的链式法则推导

    2024-07-09 17:50:05       39 阅读

  6. 【深度学习】S2 数学基础 P4 微积分（下）偏导数与链式法则

    2024-07-09 17:50:05       50 阅读

  8. 软件系统架构黄金法则16：海量结构化数据的扩展架构法则

    2024-07-09 17:50:05       47 阅读

  9. 软件系统架构黄金法则17：图形数据存储架构法则

    2024-07-09 17:50:05       46 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-09 17:50:05       67 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-09 17:50:05       72 阅读

  9. 在Django里面运行非项目文件

    2024-07-09 17:50:05       58 阅读

  19. Python语言-面向对象

    2024-07-09 17:50:05       69 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-07-09 17:50:05       64 阅读

热门阅读

  1. 【MIT 6.5840/6.824】Lab1 MapReduce

    2024-07-09 17:50:05       21 阅读

  7. 【云原生】Kubernetes之持久化

    2024-07-09 17:50:05       22 阅读

  8. urlib Python爬虫

    2024-07-09 17:50:05       29 阅读

  9. fatal error: NvInfer.h: No such file or directory 的参考解决方法

    2024-07-09 17:50:05       18 阅读

  10. 【MySQL】SQL中的DROP、DELETE和TRUNCATE的区别

    2024-07-09 17:50:05       37 阅读

  14. 云原生监控-Kubernetes-Promethues-Grafana

    2024-07-09 17:50:05       30 阅读

  20. arm (exti中断)

    2024-07-09 17:50:05       29 阅读

  22. LRU Cache 双向链表以及STL list实现----面试常考

    2024-07-09 17:50:05       31 阅读

  24. gitlab每日备份以及restore

    2024-07-09 17:50:05       29 阅读

  27. Centos安装Node.js

    2024-07-09 17:50:05       45 阅读

  28. C#多线程并行计算实例

    2024-07-09 17:50:05       19 阅读