机器学习笔记：linear scaling learning rate （学习率 和batch size的关系）

  • 开发
  • 44
  • 在训练神经网络的过程中，随着batch size的增大，处理相同数据量的速度会越来越快，但是达到相同精度所需要的epoch数量越来越多
    • 换句话说，使用相同的epoch数量时，大batch size训练的模型与小batch size训练的模型相比，验证准确率会减小
  • ——>提出了linear scaling learning rate
    • 在mini-batch SGD训练时，增大batch size不会改变梯度的期望，但是会降低它的方差
    • ——>batch size 增加时，增大学习率来加快收敛
      • eg,batch size为256时选择的学习率是0.1，当我们把batch size变为一个较大的数b时，学习率应该变为 0.1 × b/256
阅读全部

相关推荐

  1. 机器学习笔记：linear scaling learning rate （学习率 和batch size的关系）

    2023-12-17 13:14:03       45 阅读

  5. 机器学习和大模型的关系，怎么入门

    2023-12-17 13:14:03       49 阅读

  8. 深度学习与机器学习的关系

    2023-12-17 13:14:03       52 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-17 13:14:03       98 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-17 13:14:03       106 阅读

  9. 在Django里面运行非项目文件

    2023-12-17 13:14:03       87 阅读

  19. Python语言-面向对象

    2023-12-17 13:14:03       96 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2023-12-17 13:14:03       91 阅读

热门阅读

  1. 人工智能和机器学习在测试中的应用

    2023-12-17 13:14:03       70 阅读

  7. 绘制一个动物——蟒蛇

    2023-12-17 13:14:03       61 阅读

  11. js字符串的方法

    2023-12-17 13:14:03       64 阅读

  12. 【无标题】

    2023-12-17 13:14:03       60 阅读

  14. Spark SQL中coalesce()函数

    2023-12-17 13:14:03       61 阅读

  16. Other -- 了解网上服务器（ECS、VPS）

    2023-12-17 13:14:03       72 阅读

  17. K-means聚类算法的优缺点及Python实现

    2023-12-17 13:14:03       57 阅读

  22. Hive建表语句

    2023-12-17 13:14:03       55 阅读

  24. 基于遗传算法求解旅行商问题（附Matlab代码）

    2023-12-17 13:14:03       64 阅读

  28. Oracle的编译流程优化的复盘

    2023-12-17 13:14:03       59 阅读