论文阅读 BERT GPT - transformer在NLP领域的延伸

不会写的很详细,只是为了帮助我理解在CV领域transformer的拓展

1 摘要

1.1 BERT - 核心

双向 编码器 加上mask做完形填空超大模型无监督预训练 需要整个模型作为pretrain weight到下游任务做fintune

1.2 GPT - 核心

自回归 解码器 无需训练 只需Prompt

2 模型架构

2.1 概览

在这里插入图片描述
在这里插入图片描述

3 区别

3.1 finetune和prompt

BERT需要全部参数进行训练
GPT不需要训练即可完成下游任务
在这里插入图片描述

3.2 transformer及训练

BERT使用双向的编码器
在这里插入图片描述

GPT使用自回归的解码器
在这里插入图片描述

总结

总结个毛

相关推荐

  1. Transformer 论文阅读笔记

    2024-01-10 22:10:03       27 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-01-10 22:10:03       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-10 22:10:03       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-10 22:10:03       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-10 22:10:03       18 阅读

热门阅读

  1. mysql常见问题

    2024-01-10 22:10:03       34 阅读
  2. 向爬虫而生---Redis 拓宽篇3 <GEO模块>

    2024-01-10 22:10:03       32 阅读
  3. Qt基础-QtGlobal常用的全局函数及随机数产生实例

    2024-01-10 22:10:03       35 阅读
  4. 学习记录685@获取第三方文件后转存入自己服务器

    2024-01-10 22:10:03       36 阅读
  5. vue3利用自定义事件和v-model实现父子传参

    2024-01-10 22:10:03       37 阅读
  6. PAT (Basic Level)|1004成绩排名 c++满分题解

    2024-01-10 22:10:03       32 阅读
  7. flask flask-sqlalchemy sqlit3

    2024-01-10 22:10:03       32 阅读
  8. Linux kernel 学习笔记

    2024-01-10 22:10:03       46 阅读