每天五分钟深度学习:逻辑回归算法完成m个样本的梯度下降

本文重点

上节课程我们学习了单样本逻辑回归算法的梯度下降,实际使用中我们肯定是m个样本的梯度下降,那么m个样本的如何完成梯度下降呢?

m个样本的损失函数定义为:

我们定义第i个样本的dw、db为:

dw和db为损失J对w和b的偏导数,因为m个样本的代价函数J是1到m个样本总损失的平均。所以m个样本代价函数对wj的微分也同样是各项样本损失对wj微分的平均。

对比来说单个样本就是求出dw就ok了,而m个样本就是求出m个样本的dw然后加起来求平均,这就是求m个样本求dw的方式。(dw表示损失函数对参数w的偏导数)

求出m个样本的dw之后,我们就可以将其直接应用到梯度下降算法了。

伪代码表示为:

最近更新

  1. TCP协议是安全的吗?

    2024-06-15 09:42:02       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-15 09:42:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-15 09:42:02       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-15 09:42:02       20 阅读

热门阅读

  1. Android视频播放暂停动效的按钮

    2024-06-15 09:42:02       9 阅读
  2. Delphi打开网址链接的几种方法

    2024-06-15 09:42:02       7 阅读
  3. 【杂记-浅谈MTU最大传输单元】

    2024-06-15 09:42:02       8 阅读
  4. input输入框禁止输入小数点方法

    2024-06-15 09:42:02       10 阅读
  5. WPF第三方开源UI框架:打造独特体验的魔法师

    2024-06-15 09:42:02       13 阅读
  6. Spring Boot 和 Spring Cloud 的区别及选型

    2024-06-15 09:42:02       11 阅读
  7. 深入解析 MySQL 事务:从基础概念到高级应用

    2024-06-15 09:42:02       8 阅读
  8. C++ const关键字有多种用法举例

    2024-06-15 09:42:02       10 阅读
  9. 回溯算法练习题(2024/6/12)

    2024-06-15 09:42:02       7 阅读