数学基础——微积分在机器/深度学习上的应用

目录

微分学

导数

偏导数

梯度

梯度下降算法

反向传播算法 

自动求导 

计算图

正则化与过拟合 

L1正则化

L2正则化

Dropout正则化

拉格朗日对偶问题

拉格朗日乘数法

凸优化

对偶问题

KKT条件

Slater条件

积分学 

笔记内容


微积分是17世纪后半叶发展起来的数学的一个分支。微积分有两个分支:微分学和积分学。

微分学

微积分(导数)涉及各种变化率的研究,包括切线的斜率。

导数

一元函数曲线上的切线斜率,也就是函数在该点的变化率。

偏导数

一元函数延伸到多元函数为一个曲面时,找到曲面上沿X、Y轴方向的切线斜率,偏导数就是该多元函数沿坐标轴的变化率。

梯度

函数在该点处的方向导数沿着该方向取得最大值,即函数在当前位置的导数

梯度下降算法

梯度下降算法是机器学习和深度学习中最常用的优化算法。

反向传播算法 

反向传播算法的梯度下降法,求损失函数关于权重参数的偏导数

自动求导 

深度学习框架可以自动计算导数:根据设计好的模型,系统会构建一个计算图。当定义一个变量并指定它需要计算梯度时,框架会跟踪所有与该变量有关的计算。然后,当计算一个目标值(通常是损失函数)并调用反向传播函数时。backward(),框架会沿着这些计算的路径反向传播,使用链式法则来计算每个变量的偏导数。每次调用。backward()时,新的梯度会加到已有的梯度上。

计算图
正则化与过拟合 
L1正则化
L2正则化
Dropout正则化
拉格朗日对偶问题
拉格朗日乘数法
凸优化
对偶问题
KKT条件
Slater条件

积分学 

积分学(积分)处理数量的累积,如曲线下的面积,或一个实体的体积。 


笔记内容

https://www.yuque.com/g/u42592276/ax6il7/pmfxty3ykhrtq0us/collaborator/join?token=zXNMqhSjjXay6pIO&source=doc_collaborator# 《数学基础——微积分在机器/深度学习上的应用》

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-06 18:50:07       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-06 18:50:07       100 阅读
  3. 在Django里面运行非项目文件

    2024-06-06 18:50:07       82 阅读
  4. Python语言-面向对象

    2024-06-06 18:50:07       91 阅读

热门阅读

  1. Visual Studio的使用教程

    2024-06-06 18:50:07       28 阅读
  2. rabbitmq的交换机类型以及他们的区别

    2024-06-06 18:50:07       30 阅读
  3. 【无标题】2024.6.6

    2024-06-06 18:50:07       36 阅读
  4. linux c 求取MD5 转char 输出

    2024-06-06 18:50:07       33 阅读
  5. 每天一个数据分析题(三百五十一)-树状体系图

    2024-06-06 18:50:07       32 阅读
  6. Redis安装教程

    2024-06-06 18:50:07       34 阅读
  7. 比较PWM调光和无极调光

    2024-06-06 18:50:07       36 阅读
  8. 多页面项目的按需打包

    2024-06-06 18:50:07       29 阅读
  9. DNS域名解析过程

    2024-06-06 18:50:07       24 阅读