1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文

目录

CNN 

RNN 

3种RNN模型 

简单RNN

LSTM (长短期记忆模型)

GRU

参考论文 


CNN 

CNN是卷积神经网络

 

提取图片特征

在输出阶段可以使用sigmoid函数返回01值

RNN 

3种RNN模型 

简单RNN

 

 

 

 

 H就是每层神经元所产生的一个输出信号,输出层产生的信号经过输出函数转化为最终输出

随着循环次数的增加 

 

 

 

 就是说简单的RNN模型容易导致梯度消失以及梯度爆炸的问题

整体框架类似于数电里的状态机、时序逻辑电路

LSTM (长短期记忆模型)

 

S函数返回0到1,T函数返回-1到1 

 

而T 

 

 

当遗忘门值为0时,意味着上期记忆完全遗忘 ;为1时,完全保留

输入们用来更新记忆

 

简单RNN种

 

 

GRU

更新门与重置门 

 

 

 http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://arxiv.org/pdf/1412.3555v1.pdf

参考论文 

最近更新

  1. TCP协议是安全的吗?

    2024-01-30 09:10:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-30 09:10:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-30 09:10:02       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-30 09:10:02       20 阅读

热门阅读

  1. 力扣面试题02.07-链表相交

    2024-01-30 09:10:02       37 阅读
  2. gorm框架之常用增删改查(CRUD)

    2024-01-30 09:10:02       33 阅读
  3. 如何多个excel中的数据分发到多个excel中去

    2024-01-30 09:10:02       26 阅读
  4. 每日OJ题_算法_前缀和⑤_力扣560. 和为 K 的子数组

    2024-01-30 09:10:02       38 阅读
  5. TensorFlow2实战-系列教程8:TFRecords数据源制作2

    2024-01-30 09:10:02       47 阅读
  6. 机器学习-逻辑回归【手撕】

    2024-01-30 09:10:02       35 阅读