【论文笔记】GPT，GPT-2，GPT-3

  • 开发
  • 57

参考：GPT，GPT-2，GPT-3【论文精读】

GPT

Transformer的解码器，仅已知"过去"，推导"未来"

论文地址：Improving Language Understanding by Generative Pre-Training

半监督学习：无标签数据集预训练模型，有标签数据集 微调

BERT

Transformer的编码器，完形填空，已知 “过去” 和 “未来”，推导中间值

论文地址：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding


GPT-2

zero-ont - 探索 模型泛化能力；兼容 下游任务 的无障碍使用；

论文地址：Language Models are Unsupervised Multitask Learners

GPT-3

引入 prompt，提升 GPT-2 的有效性；

论文地址：language models are few-shot learners



写在最后：若本文章对您有帮助，请点个赞啦 ٩(๑•̀ω•́๑)۶

阅读全部

相关推荐

  5. 人工智能论文：GPT, GPT-2, GPT-3 对比和演进的思路

    2024-01-28 07:36:03       28 阅读

  7. GPT系列 论文阅读笔记

    2024-01-28 07:36:03       42 阅读

  10. NERF论文笔记(1/2)

    2024-01-28 07:36:03       39 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-28 07:36:03       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-28 07:36:03       100 阅读

  9. 在Django里面运行非项目文件

    2024-01-28 07:36:03       82 阅读

  19. Python语言-面向对象

    2024-01-28 07:36:03       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-01-28 07:36:03       85 阅读

热门阅读

  13. 14 STM32标准库函数 之 实时时钟（RTC） 所有函数的介绍及使用

    2024-01-28 07:36:03       51 阅读

  14. 探索 Xind3 生态系统，解锁铭文资产的新玩法

    2024-01-28 07:36:03       59 阅读

  15. 2024/1/27 备战蓝桥杯 1

    2024-01-28 07:36:03       60 阅读

  16. 踩坑，新版swiper在ant design pro 或react组件中autoplay不起作用的更正设置方法

    2024-01-28 07:36:03       55 阅读

  20. 获取el-select的label

    2024-01-28 07:36:03       54 阅读

  21. Little云盘测试用例

    2024-01-28 07:36:03       53 阅读

  22. BGP故障分析——邻居无法建立的原因

    2024-01-28 07:36:03       48 阅读

  25. linux系统ansible工具简介与安装

    2024-01-28 07:36:03       54 阅读