二期实战营第一节课笔记

课程名称: 书生·浦语大模型全链路开源体系

第一部分

介绍了模型发展历史,从最开始的专有模型,逐步发展为越来越大的通用大模型。其中大模型是走向人工智能的一个重要途径。

PS:随着模型的规模越来越大,其表现出更强的通用智能。这个毫无疑问,近些年大模型的能力表现是惊人的,但距离智能还是有一定的差距的,比如没有RLHF和专有知识模型库时,其一些回答会表现的很智障。从我个人的角度理解,现有的大模型更多的是在语料库或多模态训练数据的高维压缩,因为训练数据足够多,模型参数足够大,因此其可以实现惊人的效果,举个栗子:如果给出一个万维数据库,对每个数据标注索引号,那么通过检索也可以获得精确结果。而大模型实际上是对万维数据库的压缩,通过在高维数据空间中检索,输出使用者想要的结果。所以从这个角度来看,也可以理解为一个数据压缩算法😄。

第二部分 InternLM2大模型

介绍了InternLM2大模型的能力和一些评测结果,具体就不说了,总之,很强!

第三部分、模型实际应用的流程

模型越大,表现出越来越强的通用智能能力,但这也给模型使用或者说工程化应用带来了更多困难,同时在实际应用中,模型表现能力和研究时也是存在一定的差距的。怎么样让模型从实验室走向实际应用,主要流程如下:
在这里插入图片描述

第一步是从开源模型选择适合自己场景的模型,主要关注模型不同维度的能力,尤其是模型在业务场景下的所相关的一些能力。经过初步评选。

第二步是评估业务场景下是否复杂。如果是简单场景如通用智能对话可以直接拿模型进行prompt engineer的方式接入业务场景。如果复杂需要模型的微调。则需要看算力是否足够。

第三步如果算力不足则考虑冻结部分参数,对部分参数微调。如果足够可以考虑全参数微调或继续训练多个轮次。

第四步,微调或续训练后的模型会再结合业务场景考虑是否需要交互等,然后对模型进行全面评测,如果符合预期,则可以部署上线。

书生·浦语开源的全链条体系:从数据、预训练模型体系、微调框架、部署框架、评测工具和应用工具。
在这里插入图片描述
通过书生浦语体系的介绍,可以看出训练大模型需要庞大的资源,高效的训练调度和高可拓展性能。因此对于普通玩家专注于大模型的应用会是一个不错的选择。

大模型作为一个较高智能程度的工具,对这个社会对影响是重大且细微的。这里可以看到除了在工程方面需要对数据模态进行融合和数据清洗、标准化处理及对齐外。其中重要的一点是对语料库或者数据集的价值观对齐,这点可能在实际应用中需要着重考虑,符合人类长远发展考虑的智能体才是研究员和工程人员考虑的。


还需要详细了解的内容

代码解释器

相关推荐

最近更新

  1. TCP协议是安全的吗?

    2024-04-01 20:28:03       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-01 20:28:03       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-01 20:28:03       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-01 20:28:03       18 阅读

热门阅读

  1. 自定义多阶段倒计时实现分段倒计时

    2024-04-01 20:28:03       14 阅读
  2. 1364:二叉树遍历(flist)

    2024-04-01 20:28:03       13 阅读
  3. 利用ChatGPT打造精彩的学术论文写作体验

    2024-04-01 20:28:03       17 阅读
  4. 通过多选按钮选择需要修改什么字段

    2024-04-01 20:28:03       17 阅读
  5. Qt:常见的exec()函数

    2024-04-01 20:28:03       13 阅读
  6. React组件异常捕获的解决思路

    2024-04-01 20:28:03       18 阅读
  7. HTML元信息

    2024-04-01 20:28:03       17 阅读
  8. 配置一个nginx的server, 提供获取ip的服务

    2024-04-01 20:28:03       16 阅读
  9. 标题:AI大模型学习:解放智能的未来之路

    2024-04-01 20:28:03       17 阅读