书生浦语训练营2期-第一节课笔记

笔记总结:

    了解大模型的发展方向、本质、以及新一代数据清洗过滤技术、从模型到应用的典型流程、获取数据集的网站、不同微调方式的使用场景和训练数据是什么,以及预训练和微调在训练优势、通信/计算调度、显存管理上的区别。

收获:

     理清了预训练和微调的区别,两者在什么情况下进行。针对我们的业务仍然要基于行业垂直领域进行续训,同时要考虑如何筛选高质量语料数据。

下节课前准备:

      提前看一下一期课程,了解大概需要做什么,同时补充一些相关论文阅读。

相关推荐

  1. 书生训练2-第5笔记

    2024-03-29 10:32:02       15 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-29 10:32:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-29 10:32:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-29 10:32:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-29 10:32:02       20 阅读

热门阅读

  1. 【期刊介绍】ICLR

    2024-03-29 10:32:02       18 阅读
  2. 抖音美女直播听小说项目全攻略【鹏哥创业】

    2024-03-29 10:32:02       63 阅读
  3. volatile关键字的作用、原理

    2024-03-29 10:32:02       22 阅读
  4. playbook的介绍、应用与实施

    2024-03-29 10:32:02       14 阅读
  5. String 类的常用方法都有那些?

    2024-03-29 10:32:02       16 阅读
  6. Dubbo负载均衡

    2024-03-29 10:32:02       18 阅读
  7. ES-LTR粗排模块

    2024-03-29 10:32:02       18 阅读
  8. Adipogen ZBP1单克隆抗体

    2024-03-29 10:32:02       18 阅读
  9. 有关在容器化的Jenkins中运行Docker服务记录

    2024-03-29 10:32:02       17 阅读
  10. 刚租用的服务器被恶意攻击怎么办?

    2024-03-29 10:32:02       18 阅读