RNN(循环神经网络)存在什么问题,如何改进?
- 开发
- 46
-
RNN(循环神经网络)存在什么问题,如何改进?
思路
基于BPTT算法学习的循环神经网络大多数情况下会出现无法成功捕捉到长时依赖问题,主要由于梯度消失问题导致
改进方法往往是通过改进模型,即使用LSTM(长短时记忆模型)及其GRU等模型加入门口机制,来弥补梯度消失带来的损失。
除此之外,RNN较少情况下也出现梯度爆炸情况
关于梯度爆炸改进方法:
1.权重衰减,例如L2权重衰减
2.梯度截断,检查误差梯度的值是否超过了阈值,如果超过了那么就截断梯度,将梯度设为阈值。
原文地址:https://blog.csdn.net/m0_51305283/article/details/136663111
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。
本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:https://www.suanlizi.com/kf/1767697091779497984.html
如若内容造成侵权/违法违规/事实不符,请联系《酸梨子》网邮箱:1419361763@qq.com进行投诉反馈,一经查实,立即删除!