【深度学习基础】模型优化

  • 开发
  • 16

深度学习之优化

文章目录

基本概念

Batch

所有样本一起训练。

Epoch

所有样本一起训练一次叫一个epoch

miniBatch

一次训练的不是全部的样本。

SGD

一次只训练一个样本，然后用这个样本来更新梯度。我们通常说的SGD是指miniSGD

鞍点

如下图所示：在这里插入图片描述
鞍点是一个平的点，在该点处梯度为0，但是并不是我们想要的点。

梯度爆炸

对于复杂的模型，某个点的梯度非常大，以至于下一步不知道往哪走。
对于梯度爆炸通常采用梯度裁剪的方式，即设定一个值，当梯度超过这个值的时候就把梯度设定为该值。

动量

可以理解为惯性。
在这里插入图片描述

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

阅读全部

相关推荐

  4. 【深度学习】图形模型基础(7)：机器学习优化中的方差减少方法(2)

    2024-07-22 10:24:03       13 阅读

  5. 代码改进，模型优化，强化深度学习

    2024-07-22 10:24:03       19 阅读

  8. 【深度学习基础】模型文件介绍

    2024-07-22 10:24:03       22 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-22 10:24:03       52 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-22 10:24:03       54 阅读

  9. 在Django里面运行非项目文件

    2024-07-22 10:24:03       45 阅读

  19. Python语言-面向对象

    2024-07-22 10:24:03       55 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-07-22 10:24:03       50 阅读

热门阅读

  8. 探索半监督学习的力量：半监督目标检测全解析

    2024-07-22 10:24:03       16 阅读

  11. PyTorch张量形状

    2024-07-22 10:24:03       18 阅读

  13. 深度学习落地实战：人脸面部表情识别

    2024-07-22 10:24:03       16 阅读

  14. Python中Selenium 和 keyboard 库的使用

    2024-07-22 10:24:03       12 阅读

  15. 【mybatis 一级缓存】

    2024-07-22 10:24:03       17 阅读

  24. QT表格显示MYSQL数据库源码分析（七）

    2024-07-22 10:24:03       16 阅读

  25. 许昌市建筑设计资质与工程监理资质的区别是什么？

    2024-07-22 10:24:03       12 阅读

  27. Github 2024-07-22开源项目日报Top10

    2024-07-22 10:24:03       13 阅读

  29. 十六、多任务

    2024-07-22 10:24:03       14 阅读