深度学习中训练自己的模型的时候该如何设置学习率呢?

深度学习中训练自己的模型的时候该如何设置学习率呢?

前言

我们在看完论文之后,想要自己动手在自己家的数据集上试一试模型的效果。但是训练中有太多的超参数需要设置,而且我们的算力资源不一定会和论文作者恰好一样,故而可能设置不同的batch_size这写参数。

batch_size还是很好设置的,估计一个算力能承受的极限即可,当然最好要注意是4的倍数。

但是学习率这个参数往往让人犯了难,无从下手。我们可以借助一个公式来计算我们应该设置的学习率

公式讲解

学习率计算的公式如下:
lr[new]=
	lr[default]*(batch_size[new]*gpu_number[new])/
	(batch_size[default]*gpu_number[default])

这里带default的超参数就是论文原作者使用的超参数了。

相关推荐

  1. pytorch模型训练学习动态调整

    2024-01-06 13:36:06       11 阅读
  2. 深度学习“张量”怎么理解

    2024-01-06 13:36:06       19 阅读
  3. 深度学习如何入门?

    2024-01-06 13:36:06       13 阅读
  4. Qt事件如何学习?(附带案例)

    2024-01-06 13:36:06       22 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-01-06 13:36:06       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-06 13:36:06       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-06 13:36:06       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-06 13:36:06       20 阅读

热门阅读

  1. Leetcode349和350 两个数组的交集问题的思考

    2024-01-06 13:36:06       35 阅读
  2. from pydantic import BaseModel 这个BaseModel是什么意思

    2024-01-06 13:36:06       37 阅读
  3. 苹果MacOS、linux系统如何安装Homebrew

    2024-01-06 13:36:06       44 阅读
  4. opencv期末练习题(7)附带解析

    2024-01-06 13:36:06       38 阅读
  5. Vue将数据存放在会话存储中

    2024-01-06 13:36:06       43 阅读
  6. sqoop(DataX)-MySQL导入HIVE时间格问题

    2024-01-06 13:36:06       39 阅读