pytorch loss及其梯度

1.loss的种类

常见两种一种是均方差,一种是交叉熵
在这里插入图片描述

1.1 MSE

在这里插入图片描述

1.2 MSE推导

在这里插入图片描述

1.3 autograd.grad

在这里插入图片描述

1.4 loss.backward

在这里插入图片描述
注意:autograd.grad直接返回梯度,而backward梯度保存再w.grad中

2. Softmax

softmax函数范围是[0,1]所有分类概率和等于1,softmax的特性是使概率大的更大,概率小的更小。
在这里插入图片描述

2.1 softmax推导

  • i=j
    在这里插入图片描述
  • i/=j
    在这里插入图片描述
  • 。总结
    在这里插入图片描述
  • 应用
    在这里插入图片描述

相关推荐

  1. 25.梯度消失和梯度爆炸

    2024-03-16 14:34:03       8 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-16 14:34:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-16 14:34:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-16 14:34:03       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-16 14:34:03       20 阅读

热门阅读

  1. STM32的IAP讲解

    2024-03-16 14:34:03       16 阅读
  2. 力扣日记3.16-【贪心算法篇】53. 最大子数组和

    2024-03-16 14:34:03       21 阅读
  3. tmux终端复用器

    2024-03-16 14:34:03       21 阅读
  4. 前端图片预加载和懒加载

    2024-03-16 14:34:03       18 阅读
  5. 手写vue将虚拟 Dom 转化为真实 Dom

    2024-03-16 14:34:03       22 阅读
  6. 学习总结2

    2024-03-16 14:34:03       19 阅读
  7. 解决C#连接MySQL数据库报错: SslMode=None;

    2024-03-16 14:34:03       20 阅读
  8. 工大智信智能听诊器:科技创新,赋能医疗

    2024-03-16 14:34:03       20 阅读
  9. 【DP+贪心】跳跃游戏

    2024-03-16 14:34:03       21 阅读