神经网络梯度下降优化参数

损失函数

神经网络的最终目的就是最小化损失函数的过程,损失函数越小,证明模型的预测值就越接近真实值。

梯度下降算法

为了最优化损失函数,开发了梯度下降算法,这里的梯度就是高等数学中的梯度。
在这里插入图片描述

误差反向传播算法

前向传播介绍

在这里插入图片描述
参数解释:这里的神经元阈值跟生物学中的神经兴奋类似,达到阈值以后就输出。连接权重表明了不同变量对于最终的输出结果的影响程度的不同。

  • 首先用输入参数和连接权重的乘积减去阈值获得隐藏层值
  • 用隐藏层值和连接权重的乘积减去阈值获得真实输出
  • 计算真实值和预期值之间的误差

反向传播优化

在这里插入图片描述

  • 根据前向传播可以知道待优化的参数有权重和阈值两个参数

在这里插入图片描述

  • 优化过程涉及学习率这个概念,简单理解就是在进行梯度下降算法的时候每一次迭代过程中下降的幅度,下降幅度过大就会导致过拟合,下降幅度太小会导致很长时间都没法拟合到最优解。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-22 08:30:05       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-22 08:30:05       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-22 08:30:05       82 阅读
  4. Python语言-面向对象

    2024-03-22 08:30:05       91 阅读

热门阅读

  1. Ubuntu 23.10 tar包安装和配置Elasticsearch kibana 7.13.3

    2024-03-22 08:30:05       44 阅读
  2. 物联网在工业自动化中的作用

    2024-03-22 08:30:05       38 阅读
  3. dgl安装

    2024-03-22 08:30:05       43 阅读
  4. Android获取应用/系统常用参数

    2024-03-22 08:30:05       42 阅读
  5. Flutter开发中问题及解决方案

    2024-03-22 08:30:05       30 阅读
  6. 开发chrome扩展( 禁止指定域名使用插件)

    2024-03-22 08:30:05       44 阅读
  7. 解释什么是事件冒泡和事件捕获。

    2024-03-22 08:30:05       39 阅读
  8. GD32/STM32 CAN通讯配置及应用

    2024-03-22 08:30:05       45 阅读
  9. 复试专业前沿问题问答合集3

    2024-03-22 08:30:05       35 阅读
  10. ARM-UART实验

    2024-03-22 08:30:05       47 阅读
  11. 本文解释什么是HTTPS及其工作原理

    2024-03-22 08:30:05       44 阅读
  12. https成功后怎么让输域名直接打开https

    2024-03-22 08:30:05       44 阅读