深度学习之网络优化与正则化

视频链接:7.1 神经网络优化的特点_哔哩哔哩_bilibili

神经网络优化的特点

网络优化的难点

(1)网络结构差异大:不同模型之间的结构差异大——没有通用的优化算法、超参数多

(2)非凸优化问题:导致得到的最优解可能是全局最优解——参数如何初始化、如何逃离局部最优或鞍点

(3)梯度消失和爆炸问题:当网络非常深时,靠下的层的参数的梯度要么接近0,要么非常大,十分难优化

高维空间中的非凸优化问题

低维空间中的非凸优化问题要解决的核心问题是如何逃离f'(x)=0的局部最优解

而在高维空间中的非凸优化问题要解决的核心问题是如何逃离鞍点

鞍点:梯度为0的点

鞍点在某些维度上是局部最小点,而在某些维度上是局部最大点

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-06 05:26:11       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-06 05:26:11       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-06 05:26:11       82 阅读
  4. Python语言-面向对象

    2023-12-06 05:26:11       91 阅读

热门阅读

  1. 【水】pytorch:torch.reshape和torch.Tensor.view的区别

    2023-12-06 05:26:11       65 阅读
  2. 45. 跳跃游戏 II

    2023-12-06 05:26:11       53 阅读
  3. jenkins清理僵尸任务和排队任务

    2023-12-06 05:26:11       62 阅读
  4. LINUX 下部署github仓库

    2023-12-06 05:26:11       50 阅读
  5. CSS基础概念之选择器类型

    2023-12-06 05:26:11       73 阅读
  6. html css 布局layout

    2023-12-06 05:26:11       49 阅读
  7. #Django事务#

    2023-12-06 05:26:11       66 阅读
  8. MyBatis-Plus使用步骤

    2023-12-06 05:26:11       65 阅读
  9. 记录 | linux下互换键盘的Ctrl和CapsLock键

    2023-12-06 05:26:11       57 阅读