Transformer - model architecture

Transformer - model architecture

flyfish
在这里插入图片描述
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分

输入部分
在这里插入图片描述
输出部分
在这里插入图片描述
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码

输出部分包含:
线性层
softmax处理器

在这里插入图片描述

左侧编码器部分和右侧解码器部分
在这里插入图片描述
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成

解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
在这里插入图片描述

相关推荐

  1. Transformer

    2024-04-06 11:24:09       35 阅读
  2. Transformer

    2024-04-06 11:24:09       26 阅读
  3. Transformer

    2024-04-06 11:24:09       22 阅读
  4. PyTorch|transforms

    2024-04-06 11:24:09       37 阅读
  5. transformer beginner

    2024-04-06 11:24:09       35 阅读
  6. Transformer模型

    2024-04-06 11:24:09       20 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-06 11:24:09       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-06 11:24:09       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-06 11:24:09       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-06 11:24:09       18 阅读

热门阅读

  1. C++入门

    C++入门

    2024-04-06 11:24:09      14 阅读
  2. Linux 指令

    2024-04-06 11:24:09       21 阅读
  3. MySQL Payload

    2024-04-06 11:24:09       12 阅读
  4. 金蝶Apusic应用服务器 未授权目录遍历漏洞复现

    2024-04-06 11:24:09       13 阅读
  5. 在Ubuntu 14.04上如何备份和恢复Redis数据

    2024-04-06 11:24:09       17 阅读
  6. Flink集群从节点TaskManager启动分析

    2024-04-06 11:24:09       12 阅读
  7. 大语言模型LLM《提示词工程指南》学习笔记01

    2024-04-06 11:24:09       14 阅读
  8. 如何更改WordPress站点的域名:完全指南

    2024-04-06 11:24:09       15 阅读
  9. Day3-struct类型、列转行、行转列、函数

    2024-04-06 11:24:09       15 阅读
  10. MySQL 里记录货币用什么字段

    2024-04-06 11:24:09       13 阅读
  11. C# Socket发送、接收结构体

    2024-04-06 11:24:09       18 阅读