pytorch中的zero_grad()函数的含义和使用

 optimizer.zero_grad() ,用于将模型的参数梯度初始化为0。

#反向计算
loss.backward()#反向传播计算梯度
optimizer.step()#更新参数,梯度被反向计算之后,调用函数进行所有参数更新
#在反向传播计算时,梯度的计算是累加,但是每个batch处理时不需要和其它batch混合起来累加计算,所以对每个batch调用zero_grad将参数梯度置0
#如果不是每个batch清理依次梯度,而是两次或者多次清理,相当于提高了batch批次大小
optimizer.zero_grad()#将模型参数梯度置为0;

相关推荐

  1. pytorchzero_grad()函数含义使用

    2024-06-10 13:18:02       7 阅读
  2. PyTorch】torch.distributed()含义使用方法

    2024-06-10 13:18:02       9 阅读
  3. 函数function{}return含义

    2024-06-10 13:18:02       30 阅读
  4. PyTorch模块、类函数命名调用

    2024-06-10 13:18:02       33 阅读
  5. Pytorch钩子函数Hook函数

    2024-06-10 13:18:02       15 阅读
  6. vuekeep-alive用法含义

    2024-06-10 13:18:02       13 阅读
  7. Pytorch forward 函数内部原理

    2024-06-10 13:18:02       15 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-10 13:18:02       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-10 13:18:02       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-10 13:18:02       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-10 13:18:02       18 阅读

热门阅读

  1. Ubuntu安装Protobuf

    2024-06-10 13:18:02       9 阅读
  2. 影子,介绍一下自己

    2024-06-10 13:18:02       6 阅读
  3. 【设计模式】结构型设计模式之 组合模式

    2024-06-10 13:18:02       9 阅读
  4. electron-vite如何解决跨域问题

    2024-06-10 13:18:02       10 阅读
  5. 近邻算法的详细介绍

    2024-06-10 13:18:02       9 阅读
  6. 深度学习中的监督学习

    2024-06-10 13:18:02       10 阅读
  7. 【Python】 了解二分类:机器学习中的基础任务

    2024-06-10 13:18:02       10 阅读
  8. 大学生如何学习Web前端

    2024-06-10 13:18:02       11 阅读
  9. HTML5 Canvas 绘图教程二

    2024-06-10 13:18:02       10 阅读
  10. 深入理解交叉熵损失 CrossEntropyLoss - CrossEntropyLoss

    2024-06-10 13:18:02       8 阅读
  11. Golang 高级面试题

    2024-06-10 13:18:02       10 阅读
  12. react学习-useReducer

    2024-06-10 13:18:02       10 阅读
  13. 【代码随想录】栈

    2024-06-10 13:18:02       7 阅读