【基础解读】初见Transformer

在这里插入图片描述
在这里插入图片描述

Encoder

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Decoder

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

第ai个输入只考虑前i-1个input的值,这里是masked self-attention,仅考虑左边的信息,不会考虑右边的信息。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Transformer

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Train

在这里插入图片描述

train的时候会看到真实答案

在这里插入图片描述
在这里插入图片描述

相关推荐

  1. Transformer原理解析

    2024-07-22 16:34:10       25 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-22 16:34:10       52 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-22 16:34:10       54 阅读
  3. 在Django里面运行非项目文件

    2024-07-22 16:34:10       45 阅读
  4. Python语言-面向对象

    2024-07-22 16:34:10       55 阅读

热门阅读

  1. linux环境下使用logrotate切分nginx日志

    2024-07-22 16:34:10       18 阅读
  2. css中浮动的原理

    2024-07-22 16:34:10       14 阅读
  3. c# 索引器

    2024-07-22 16:34:10       16 阅读
  4. 初入C语言的主要难点

    2024-07-22 16:34:10       16 阅读
  5. PostgreSQL 慢 SQL 排查

    2024-07-22 16:34:10       18 阅读
  6. YARA:第十六章-libyara之C API手册(威胁检测)

    2024-07-22 16:34:10       14 阅读
  7. ipython 的使用技巧的整理

    2024-07-22 16:34:10       16 阅读
  8. sklearn基础教程

    2024-07-22 16:34:10       16 阅读
  9. 自然语言处理基础【1】词嵌入

    2024-07-22 16:34:10       13 阅读