NLP大模型的训练

NLP模型的训练主要分成两步:
1.先进行通用任务的训练;无监督的样本是无穷无尽的;
这里列举两种:MLM和NSP,NSP由于在某些论文中被证明是无效的,所以用的少;
MLM:
在这里插入图片描述
在这里插入图片描述

接下来会在特定任务上进行finetune==>supervised finetuning (SFT)
在这里插入图片描述

相关推荐

  1. NLP训练模型

    2024-04-26 10:10:03       12 阅读
  2. 浅谈NLP模型关系

    2024-04-26 10:10:03       42 阅读
  3. 模型之一:语言模型训练过程

    2024-04-26 10:10:03       13 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-26 10:10:03       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-26 10:10:03       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-26 10:10:03       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-26 10:10:03       18 阅读

热门阅读

  1. php curl_init proxy type

    2024-04-26 10:10:03       10 阅读
  2. php使用SoapClient对接sap的那些坑

    2024-04-26 10:10:03       11 阅读
  3. Android TV 桌面图标闪

    2024-04-26 10:10:03       13 阅读
  4. docker 部署 kafka-ui

    2024-04-26 10:10:03       12 阅读
  5. React 语法

    2024-04-26 10:10:03       12 阅读
  6. Elasticsearch

    2024-04-26 10:10:03       11 阅读
  7. 【算法模版】基础算法

    2024-04-26 10:10:03       9 阅读
  8. Visual Studio Code 快捷键大全

    2024-04-26 10:10:03       10 阅读
  9. Ubuntu 系统使用 root 用户登录

    2024-04-26 10:10:03       10 阅读