九、ELMo 语言模型
- 开发
- 16
-
ELMo(Embeddings from Language Models)兼顾了两个问题:一是词语用法在语义和语法上的复杂特点;二是随着语言环境的改变,这些用法也应该随之改变,解决多义词的问题。
ELMo 语言模型原理图:
![](https://img-blog.csdnimg.cn/direct/0fde1ee4b25b43e3a630a3331ed5c6bb.png)
ELMo 模型原理图中虚线的部分是两个双层的 LSTM 网络结构。
- 左侧的是一个从左到右顺序的正向的双层LSTM 网络,主要用来理解预测词的上文 Context-before。
- 右侧是一个从右到左逆序的逆向的双层 LSTM 网络结构,主要用来理解预测词的下文 Context-after。
也就是说ELMo 会同时考虑上文和下文。
参考ELMo模型概述
原文地址:https://blog.csdn.net/contributed_l/article/details/136609875
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。
本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:https://www.suanlizi.com/kf/1769059060059082752.html
如若内容造成侵权/违法违规/事实不符,请联系《酸梨子》网邮箱:1419361763@qq.com进行投诉反馈,一经查实,立即删除!