LLM 的储备知识

GPT一代

  • 模型堆叠了12个解码器层。由于在这种设置中没有编码器,这些解码器层将不会有普通transformer解码器层所具有的编码器-解码器注意力子层。但是,它仍具有自注意力层。

在这里插入图片描述
训练过程
在这里插入图片描述
Transformer Decoder 结构
在这里插入图片描述

  • 编码器(6 layers)
    • 多头自注意神经网络
    • 全连接神经网络
    • Residual Connections and Layer Normalization

  • 解码器(6 layers
    • 掩码多头自注意神经网络
    • 多头注意力机制
    • 全连接神经网络
    • Residual Connections and Layer Normalization
    n Softmax层权值矩阵与目标语言词向量矩阵共享参数。

在这里插入图片描述

相关推荐

  1. 有关区块链一些数学知识储备

    2024-07-18 14:26:03       22 阅读
  2. 【Linux线程篇章 - 线程基础知识储备

    2024-07-18 14:26:03       18 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-18 14:26:03       66 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-18 14:26:03       70 阅读
  3. 在Django里面运行非项目文件

    2024-07-18 14:26:03       57 阅读
  4. Python语言-面向对象

    2024-07-18 14:26:03       68 阅读

热门阅读

  1. HOW - SVG 图标组件封装(Lucide React)

    2024-07-18 14:26:03       22 阅读
  2. Linux-快捷键以及vim工具使用

    2024-07-18 14:26:03       19 阅读
  3. Web前端-Web开发CSS基础3-盒模型

    2024-07-18 14:26:03       19 阅读
  4. C++ bind和placeholders

    2024-07-18 14:26:03       20 阅读
  5. 力扣LCR184.设计自助结算系统

    2024-07-18 14:26:03       19 阅读
  6. SpringBoot 实现整合kafka的简单使用

    2024-07-18 14:26:03       21 阅读
  7. 模乘逆元计算器

    2024-07-18 14:26:03       21 阅读