神经网络与深度学习——第15章 序列生成模型

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章 序列生成模型,习题还没做先存在这里。

序列生成模型

在这里插入图片描述
在这里插入图片描述

序列概率模型

在这里插入图片描述

序列生成

在这里插入图片描述
在这里插入图片描述

N元统计模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深度序列模型

在这里插入图片描述

模型结构

在这里插入图片描述

嵌入层

在这里插入图片描述
在这里插入图片描述

特征层

在这里插入图片描述
在这里插入图片描述

输出层

在这里插入图片描述

参数学习

在这里插入图片描述

评价方法

在这里插入图片描述

困惑度

在这里插入图片描述
在这里插入图片描述

BLEU算法

在这里插入图片描述
在这里插入图片描述

ROUGE算法

在这里插入图片描述

序列生成模型中的学习问题

在这里插入图片描述

曝光偏差模型

在这里插入图片描述
在这里插入图片描述

训练目标不一致问题

在这里插入图片描述

计算效率问题

在这里插入图片描述
在这里插入图片描述

层次化Softmax

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

重要性采样

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

噪声对比估计

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

序列到序列模型

在这里插入图片描述
在这里插入图片描述

基于循环神经网络的序列到序列模型

在这里插入图片描述
在这里插入图片描述

基于注意力的序列到序列模型

在这里插入图片描述

基于自注意力的序列到序列模型

在这里插入图片描述

自注意力

在这里插入图片描述

多头自注意力

在这里插入图片描述

基于自注意力模型的序列编码

在这里插入图片描述
在这里插入图片描述

Transformer模型

在这里插入图片描述
在这里插入图片描述

总结和深入阅读

在这里插入图片描述
在这里插入图片描述

习题

在这里插入图片描述

在这里插入图片描述

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-11 20:16:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-11 20:16:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-06-11 20:16:02       87 阅读
  4. Python语言-面向对象

    2024-06-11 20:16:02       96 阅读

热门阅读

  1. WEB前端三大主流框架

    2024-06-11 20:16:02       33 阅读
  2. Docker面试整理-如何进行Docker镜像的构建和发布?

    2024-06-11 20:16:02       32 阅读
  3. es6基础语法

    2024-06-11 20:16:02       22 阅读
  4. React框架基础教程

    2024-06-11 20:16:02       28 阅读
  5. 电商财务管理---云账户系统

    2024-06-11 20:16:02       29 阅读
  6. C++多线程并发

    2024-06-11 20:16:02       20 阅读
  7. springboot链接kafka异步发送消息

    2024-06-11 20:16:02       31 阅读
  8. CSS弹窗

    CSS弹窗

    2024-06-11 20:16:02      26 阅读
  9. python:大文件分批/块导入数据库方式记录

    2024-06-11 20:16:02       33 阅读
  10. SpringBoot集成mongodb

    2024-06-11 20:16:02       32 阅读
  11. mysql(54) : dbcp多实例使用

    2024-06-11 20:16:02       23 阅读