GRU算法

2024-01-02 11:32:03
开发
32

前置知识：RNN，LSTM

LSTM需要训练的参数很多，极消耗计算资源。GRU是一种LSTM的改进算法，参数更少，更容易训练。

它将忘记门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。

结构

GRU的整体结构图与RNN没有区别

reset重置门

$r_t=\sigma(W_z·[h_{t-1},x_t]+b_r)$

rt就是重置门，得到rt后，将rt与上一时刻传入的ht-1进行点乘，得到重置之后的数据，并与xt进行拼接。

$h_{t-1}^{'}=h_{t-1}*r_t \\h'=tanh(w*[h_{t-1}',x_t]+b)$

h'包含了输入信息xt，经过选择后的上一时刻的信息h't-1，

update更新门

$Z_t=\sigma(W_z·[h_{t-1},x_t]+b_z) \\h_t=z_t*h_{t-1}+(1-z_t)*h'$

z*ht-1：表示对隐藏状态选择性的遗忘；
(1-z)*h'：表示对包含当前节点信息的h'选择性的记忆

原文地址:https://blog.csdn.net/lty1392309506/article/details/135329813 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：https://www.suanlizi.com/kf/1742025935248560128.html 如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！

阅读全部